1892年3月24日胡剛復出生於江蘇省桃源縣（現泗陽縣）。小名龍倌，原名文生，又名光復（1909年前曾用名）。
胡剛復在這個樂善不倦、啟發民智的家庭中度過了童年，自幼養成了剛直嚴正、意誌堅強的性格。他於5歲入上海南洋公學附小，因學業成績優異而跳班，10歲便進入南洋公學（中學）。但由於年齡過小，稚氣未幹，初壹時曾騎樓梯扶手速滑下樓，因沖撞校長而被罰降回小學。他以優異成績從中學畢業後，曾參加無錫理化研究會並入上海震旦大學預科學習。 1909年，胡剛復被錄取為首批庚款留美學生。同年入美國哈佛大學物理系。在大學期間，他愛好體育，為哈佛大學校足球隊隊員，練就了好的體魄。
1913年大學畢業，獲獎學金入哈佛研究院，在W．杜安（Duane）教授指導下從事鐳提純工作，並在亨廷頓癌癥醫院（Huntington Cancer Hospital）從事癌癥放射性臨床治療。
1914年獲碩士學位後，在杜安教授指導下進行X射線光譜方面的研究，1918年獲哲學博士學位，旋即回國。 胡剛復抵美期間對於學習數理化中的哪壹科，認真進行了選擇。他同樣酷愛數理化三科。
出於科學救國、實業救國的抱負，他認為物理學不但是嚴正科學的典範，而且與工程生產實業關系最為密切，因此決心學習物理。
他在1913—1914年從事鐳提純及其臨床放射治療的工作，實踐了他對科學最終應為人類幸福服務的信念。
1914年胡剛復轉入當時的物理前沿X射線領域進行實驗研究。他和杜安教授合作，研究了X射線K線系與化學元素原子序數的關系。
其重要學術成果有：壹、用布喇格方法精確測定了原子序數自25至34的元素K線的臨界吸收波長。他以電子速度和原子序數作圖，提高了莫塞萊定律的精度，驗明了X射線臨界吸收頻率、吸收體內臨界電離頻率、X射線管中由激勵電子能量確定的臨界X射線頻率和最高特征發射頻率都相等；二、首次在X射線頻率範圍內測定了光電子在不同方向的速度分布和X射線散射的空間分布及其光譜特性，明確了選擇性光電效應和選擇散射的存在，確定了X射線光電子的最大發射速度。這些成果對於確定X射線譜項結構、揭示原子發射X射線的機制、理解原子內層電子構造都有重要意義。
1918年胡剛復博士論文工作結束後，杜安曾壹再希望他能留下繼續合作研究。為報效祖國，他毅然離開哈佛大學。 1918年秋胡剛復回國。他明白中國科學教育尚處於繈褓之中，沒有條件繼續他的實驗研究，以充分發揮自己的才華。可是，要救國就必須讓科學和科學教育在祖國的大地上生根開花，因而他壹心撲在辦學、教學、培養學子上。
始自1918年，他在南京師範學校創建了我國最早的物理實驗室。作為實驗科學的物理學，必須有實驗方能培養出真正的物理學家，這是他堅定不移的信念。據老校友回憶，國立東南大學和他兼職的上海大同大學在1920年已有供學生用的很好的物理實驗室。
1923年12月12日晚，國立東南大學理化樓失火，實驗儀器付之壹炬。胡剛復於當天乘火車趕赴上海向大同大學借理化儀器，並立即乘車攜回南京，使學生的實驗沒有耽誤。他剛到南京高等師範學校任教授時，全系只有他壹個教授，講課帶實驗全由他壹人擔任。他還在上海兼課，因此每周三天在南京、三天在上海授課。他家壹直居住上海，在南京期間便獨自住在中國科學社圖書館內（他是中國科學社理事和圖書館館長）。在他的學生中，有壹大批為我國科學和科學教育做出重大貢獻的著名科學家，如吳有訓、惲子強、嚴濟慈、吳學周、趙忠堯、柳大綱、施汝為、顧靜徽、錢臨照等。 早在1916年，胡剛復在美國就參加創辦了中國科學社，並在中國科學社辦的《科學》雜誌上發表了《大地電象》、《電位定名解》等數篇論文，這是他提倡和宣傳科學最早的努力。
1918年回國後，他是中國科學社名詞審查委員會的主要成員，有關電位、熵等壹大批名詞的定名以及市制度量衡單位（如時間秒，1市尺=1/3米，1市斤=1/2公斤）的確定，他均做出了重要貢獻。30年代初，他還與胡?風合編了初中物理教材。 1926年他受聘為廈門大學理學院院長，聘姜立夫（數學）、張子高（化學）、秉誌（生物）等主持理學院各系工作，使理學院步入正規。同年，魯迅先生亦受聘於文學院，這些知名學者，使廈門大學立時名聲大振。
1928年他協助丁燮林在上海創辦了我國第壹個物理研究所——中央研究院物理研究所，並任該所專任研究員。 1936年參加中國科學社年會之後，胡剛復得了傷寒重癥，不省人事整整壹個月，住在上海紅十字會醫院特護病房中。當時他的摯友竺可楨（哈佛大學研究院同學、科學社同人、國立東南大學同事）被任命為浙江大學校長，多次去醫院敦請剛剛神誌清醒過來的胡剛復同他壹起辦學，如胡剛復不去則竺可楨決不接受任命。在國民黨保證不以黨務幹預辦學後，胡剛復才決定接受聘請，任浙江大學文理學院院長職務，以全力***同把浙江大學辦好。
1936年胡剛復任浙江大學理學院院長後，廣招賢才，大大加強了理學院的教師陣容。次年抗日戰爭爆發，浙江大學輾轉內遷。即便在抗日戰爭極端困難的局面之下，浙江大學仍迅速發展而進入其興盛時期，其中浙江大學理學院發展尤快。由於他的努力，事必躬親而嚴格認真，把理學院辦得很有特色。當時各系不但教學工作出色，科研工作亦蓬勃開展，各系每周均有科學報告會。為了提倡認真讀書和科學家獻身科學的求是精神，他還親自向全校師生作報告，講述伽利略、牛頓、法拉第、麥克斯韋等科學家的科學思想和貢獻、探索自然規律的求是精神和偉大的人格，並諄諄教誨學生學習他們不畏強暴、堅持科學真理的偉大精神。他認為壹個大學有義務向周圍社區傳播科學文化，遂向當地群眾播下科學種子和普及科學知識，鼓勵各系推廣科研成果，要求各系必須於校慶時向民眾開放實驗室，安排各種科學實驗，以豐富直觀的自然現象和認真的講解使群眾了解科學和運用科學。至今遵義、湄潭人民還津津樂道當年浙江大學在科學教育方面所播下的種子，如今都已生根、開花、結果。在浙江大學期間，他特意為理科各系學生開設了壹門“高等物理學”以加深本系和外系學生對物理學的認識，培養學生對邊緣科學的興趣。
胡剛復成功辦學的做法壹貫是首先要延聘高水平和愛護學生的優秀教授。在浙江大學遷到貴州遵義、湄潭的6年中，原有教授都安心教學科研。他還增聘了數學系蔣碩民、徐瑞雲，物理系盧鶴紱、丁緒寶，化學系王葆仁、張其楷，生物系羅宗洛、仲崇信、江希明等教師，陣容大為增強。其次，他認為要有優良的圖書、儀器設備，方能請到好教授。當時王葆仁辭去同濟大學理學院院長來浙江大學任化學系主任，就是因為浙江大學化學系的研究條件好，理學院各系圖書、設備也都很好。胡剛復的科學教育思想是在通才教育和因材施教的基礎上特別強調基礎理論和實驗訓練，並要求開好基礎課和反映科學前沿的課程。他對工科師生壹貫強調要有堅強的理科根底。壹方面加強實驗研究設備，另壹方面則為自己動手制作教學研究用的裝置，設有良好的金工、吹玻璃、磨玻璃和無線電電子工場，請高級技師和青年助教參與工場實習和實驗技術教育。他要求學生選課時到他那裏簽字，用這種方式指導學生按個人誌趣、特長和優缺點作出最佳選擇，以提高學習效果或作跨學科領域的學習。這種對理學院每個學生所進行的查成績選課的面談，往往每人半個小時以上，甚至長達半天。在他的諄諄指導下，不但物理系培養出了如程開甲、胡濟民、李政道、李文鑄等壹大批物理學家，還培養出了壹些從事生物物理研究的高級人才，如梅鎮安便是第壹位。桐油盞下造就了多位學部委員。
胡剛復在抗日戰爭遷校期間，總是擔任遷校委員會的領導，每次遷校總是由他先尋找校址、借房、安排校舍、安排圖書儀器運輸、安排交通工具疏散人員。以他的體力和毅力，別人看來辦不到的事竟為他所辦到。浙江大學數次遷校不曾耽誤開課，圖書儀器無壹丟損，便是兩例。他個人公而忘私，對邪惡毫無所懼的正氣，克服了土匪綁架、國民黨黨棍陷害等種種艱難險阻，使學校數次遷校和興建湄潭物理樓取得成功。
當學校遷到江西泰和期間，在贛江發水之前，他領導民工修築了壹條約10公裏長的大堤，每天人們都看到他在施工現場巡視。第二年贛江發水之時，浙江大學已遷往廣西宜山，大堤保護了泰和廣大的農田，當地人民稱該堤為浙大堤或鋼堤。當學校遷到遵義、湄潭、永興之時，他曾與其子壹起以其子的身高作為標尺勘察環湄潭三面的湄江之水位落差，想在湄江上造壹小型水電站發電並控制洪水水患，後抗戰勝利而作罷。 1946年胡剛復被委派率學生前往英國學習雷達技術，為我國培養第壹批雷達高技術人才。
在英國期間，他每周均到劍橋聽課，聽微波原理和聽他以前沒有正規學過的量子力學、電動力學和統計力學等課程。他的傷寒病後遺癥（耳朵失聰）在戰後冬季無取暖條件的英國更為加重，以致每次聽課坐在第壹排方能勉強聽見。
1948年他借道美國，考察了美國的戰後科學研究，特別是核物理、高能物理的進展。1948年11月回到杭州。不久，他便和竺可楨壹起到達上海，堅決抵制當局要他們撤到臺灣的安排，而留在祖國大陸。 1950年上海大同大學解體，他辭去了大同大學校長和浙江大學的教職，應茅以升之聘去唐山交通大學(現西南交通大學）和北洋大學任教。
1952年院系調整，他被聘為南開大學物理系教授。他在北洋大學、南開大學期間，教授過光學、近代物理、X－射線金屬學等多門課程。為了開好不甚熟悉的金屬學，有壹段時期他每周乘火車從天津來到北京，聽國內金屬物理學家所授金屬學課程。
1963年他到東北考察，在哈爾濱軍事工程學院作了以“科學實驗”為名的報告，這是他壹生所作的最後壹次報告。 1966年他患嚴重的腎病，經手術摘除腎結石後腎炎復發，於1966年2月19日逝世於天津市總醫院。享年74歲。在患病期間，他寫了“壹身傲骨”四個大字的壹張紙保存在書桌抽屜裏，直到他去世之後才被發現。這四個字是壹位有骨氣的愛國知識分子、中國科學教育先驅無愧的自我寫照。