T栃木県安蘇郡飯田町（現・佐野市）に、佐野商業銀行頭取などを務めていた実業家・小林庄太郎の二男として生まれる。宇都宮中学（現・栃木県立宇都宮高等学校）時代は舎監いじめなど問題行動が多く、灸を据えるためか、10ヶ月ほど休学して東京の商店に丁稚奉公させられたことがある。この時の経験が、後に働く者の立場を重視する姿勢を涵養したものと思われる。

第四高等学校（現・金沢大学）を経て、1906年東京帝国大学法科大学政治学科を卒業し、住友別子鉱業所（現・住友金属鉱山）に入社する。なお東大時代は父の知人である岩崎清七（磐城セメント創業者）の推薦により、岩崎の親友である社会主義者片山潜を保証人にしている。住友入社後間もなく東京紡績社長・田村利七の知遇を得、1910年娘盛子と結婚、利七の実家である宮島家の養子となる。同時に東京紡績に入社し、専務取締役まで昇進する。

1914年、東京紡績が尼崎紡績（現・ユニチカ）に吸収合併されると退職し、岩崎清七の斡旋で根津財閥系の日清紡績に専務取締役として迎えられる。1919年に社長に就任。「石橋を叩いて渡る」式の厳格な合理主義的経営を推進し、好不況の波に左右されない、紡績業界屈指の優良企業に育て上げた。また従業員の待遇改善にも意を注ぎ、1929年には業界でいち早く深夜操業を廃止している。

宮島清次郎

1945年、日清紡会長を退任し、社長に当時まだ41歳の桜田武を昇格させた。戦後は水野成夫・桜田武・小林中ら門下生を糾合し、東大時代の同期生である吉田茂の支援体制構築に尽力する。1949年の第3次吉田内閣組閣時には大蔵大臣のポストを打診されたが固辞、代わりに池田勇人を推挙し、自らは日本銀行政策委員に就任した（～1955年）また、1948年には日本工業倶楽部理事長に就任、終身務める。1951年（学）根津育英会理事長、1959年（財）根津美術館理事長。