土佐の国高岡郡下米山の産まれ、片岡孫五郎は勤王の志篤き郷士であった。嘉永六年黒船が浦賀を脅やかし、惣ち泰平の離家破れて天下騒然となった際、世事を慷慨して土州藩の勤王家と交り、武市半平太に従って日夜王事に奔走した。不幸、王政維新の盛儀を見ずに（慶応三年八月十四日）死んだが、功に依って正五位が贈られている。
孫五郎には、妻女信子との間に儲けた二人の男の児があった。上が十二、下が九つで、これを育てて行く信子の苦労は並大抵ではなかった。が、信子は世にも珍らしい賢婦人で、この二孤児と山程ある借金とを抱えて、甲斐がいしく機織や賃仕事でようやく糊口をしのぎ子供らの行き先を楽しみに一生懸命貧苦と戦った。当時十二歳の子供こそ、後年大阪財界の大御所として、実業界はいわずもがな、府市百姓の重要問題に参与し、官民共にその鼻息を伺うにあらざれば何事も出来なかった程に権勢をほしいままにした片岡直輝その人である。九歳の子供とは、いうまでもなく弟の直温である。
世に賢兄愚弟という言葉がある。直温は愚弟か賢弟か、私はまだ研究し終わらぬが、直輝はたしかに賢兄だ。孟母三遷の古話のように、直輝は賢母に感化されただけあって、幼にして大志あり、十六歳の時、母から旅費五円をもらって上京、血の出るような苦学と労働で勉強を続けた。始めは電信学校に学び、後に海軍主計学校に入って、卒業後海軍主計官になつた。明治十九年、時の海軍大臣西郷従道に見い出され、西郷に随行して、欧米各国をまわり二十一年には帝国軍艦厳島建造に当たって、その監督官として仏蘭西に滞在することになった。当時西園寺公望も仏蘭西に滞在していた際とて、片岡はたちまち西園寺と君僕の間柄になった。だから、後年片岡が世に出るについては、陰徴の間、西園寺の後援に負う所が少くなかったようだ。
それはともかく、同軍艦は二十四年に竣工し、片岡は周航委員主計長として帰朝、その翌二十五年に進級令に対する意見の相違から、剣を捨てて時の内務大臣河野敏鎌の秘審官となり、同年九月、河野が文相に転ずるや、彼もまた文相秘書官に移った。小山健三の章で話した通り、片岡と小山とが知己になったのは、この時分のことである。翌二十六年には知事山田信道時代に、大阪府書記官に転じた。以上が彼の生い立ちと官歴の粗筋である。
その後片岡は、同郷の先輩、日本銀行総裁だった川田小一郎の推挽によって、日本銀行の人となった。これ片岡が実業界に身を投じた最初である。
三十年二月、片岡は抜擢されて日本銀行大阪支店長になった。日本銀行総裁や大蔵大をつとめて、今また浜口内閣の大蔵大臣をやっている井上準之助の如き当時はまだとるに足らぬ若輩で、片岡の配下に大阪支店でこつこつ働いていたものだ。
今日でこそ統制力を失ったからとでもいおうか、日銀の威力はめっきり衰えて、その総裁も平民扱いされるようになったが、当時の日銀ときたら大した勢いがあったものだ。殊に総裁には、川田小一郎、岩崎弥之助というような大人物をすえたから、自然支店長である片岡にも後光が輝いて、大阪財界の百般は、この片岡日銀支店長を中心として、それに藤田伝三郎、松本重太郎、田中市兵衛、外山脩造らによって動かされた。同時に、片岡が後年大阪財界の大御所として重きをなした土台を作ったのだ。
たしか明治三十一年頃の事と思うが、日銀総裁岩崎弥之助は、時の大蔵大臣松田正久と意見の衝突を来たして辞職した。後任には、日銀内部の意見によって、山本達雄が総裁になったが、山本の貫禄が軽かったと見えて、河上謹一、鶴原定吉、片岡直輝らの豪傑連を統御する力が少なかったらしく、日銀内には常に不穏の気分がはっていた。ちょうど三十二年志立鉄次郎を営業局長にするとかせぬとかの問題で遂に内乱が爆発して一騒動持ち上がった。その時の大蔵大臣は松方正義であった。松方は最初、河上、鶴原らに加担して山本を止めさす腹であったが、後入齋のこととて桂太郎、伊東巳代治らの熱心な運動でグニャグニャになったから、結局豪傑連は負けて、薄井佳久、河上謹一、鶴原定吉、志立鉄次郎らは、連袂辞職した。片岡もまた同士と進退を共にして日銀を去り、ちなみある大阪に腰を下ろすことになったのである。