建國後，任華東軍政委員會文化部文物處處長兼上海市文物保管委員會主任、上海博物館館長、全國第二中心圖書館委員會主任委員、國務院古籍整理三人領導小組成員、中央文史研究館副館長，是第壹至三屆全國人大代表。他壹生為查訪、發掘祖國文物奔走天南地北，發現大同的遼代古寺、趙城的元代戲臺、房山石經山唐代地契、北京的元代阿拉伯式浴池、薊縣唐代寺廟、三門峽摩崖石刻等，尤其是趙城古寺藏的多達44卷的石刻大藏經，更是稀世之珍寶。為國家征集鑒定大量具有重要價值的文物，其中有晉代王獻之，宋代司馬光、蘇軾的真跡，春秋、戰國和商代的青銅器，殷墟出土的壹批甲骨片，秦漢以來的不少帝皇印璽等。居滬30余年，積集書籍15000余冊。1958年，被錯劃為右派分子。“文化大革命”中遭殘酷迫害。
1971年5月19日，徐森玉在上海含冤去世。 徐森玉畢生為文物、古籍的保護作出了卓越貢獻。
抗日戰爭開始，北平淪陷前夕，他將北平圖書館珍藏的壹批善本書和唐人寫經8000多卷，搶運到上海保存。上海淪為“孤島”時期，他又與鄭振鐸壹起幾次設法轉移，才未遭日軍掠走。
抗日戰爭初期，他冒險潛回北京，與孫仲章***同策劃將尚陷北大研究所的“居延漢簡”2萬余枚秘密運出北平，寄存香港大學圖書館。民國27年（1938年）春，不辭艱險，押運故宮文物轉移至後方安全地帶。途經貴州安順，由於車禍事故，足部受傷致殘。“孤島”時期上海不少珍貴古籍流失海外。上海文化界著名人士張元濟、鄭振鐸致電重慶，要求政府搶救古籍。民國28年底，他受重慶方面委派赴滬收購善本圖書。歷時七個月，與鄭振鐸壹起竭盡全力搶救舉世聞名的藏書家——劉氏嘉業堂、張氏適園、劉氏回海堂、陶氏涉園、鄧氏鳳西樓等所藏珍貴版本古籍，揀選、收購了壹大批，而且冒險將最精的82部宋元版本502冊，親自攜帶經香港轉運至重慶，為保護祖國古籍作出了貢獻。
抗戰期間得悉日本帝國主義計劃搶走山西趙城的金代刻本《趙城藏》佛經4000多卷，為了避免這批國寶落入日軍手中，他通過鄭振鐸轉告中***地下組織，終於由山西的八路軍派出壹支隊伍趕赴趙城，把這批珍貴文物搶救了出來。
全國解放前夕，國民黨逃往臺灣，行政院下令故宮博物院把珍貴文物造冊上報、裝運臺灣，遭徐森玉反對。國民黨五個部門聯合聘請他赴臺灣主持文物工作，他卻婉言謝絕，毅然留在上海。
徐森玉和二希帖
解放初期，徐森玉參與籌備建立上海博物館和上海圖書館。他利用自己與國內收藏家的關系，運用本人鑒別專長，全力以赴開展了文物征集工作，訪求文物珍品、善本圖書，為博物館、圖書館收購了大量稀世之寶。1951年，為了征購晉王獻之《中秋帖》和王詢《伯遠帖》，親自陪同國家文物局局長王冶秋赴澳門，將《三希堂石渠寶笈法帖》中的“二希”購歸。此外，他還在上海的銀行保險櫃中，發現了太平天國的重要文物“天王玉璽”兩方，後調撥中國革命歷史博物館。
徐森玉在擔任上海市文物管理委員會主任和上海博物館館長期間，征集了晉王獻之《鴨頭丸帖》、唐懷素《苦筍帖》、宋司馬光《手跡》、宋蘇軾《文同合卷》、宋拓孤本《鳳墅帖》、《郁孤臺帖》和明天啟刻《蘿軒變古箋譜》等，均為稀世珍品。
1962年，經徐森玉動議和督促，將密封在鐵箱內30多年的宋刻龍舒本《王文公文集》玻璃版底片從故宮博物院找出來，由中華書局上海編輯所予以影印出版，為古文獻的整理、保存作出了貢獻。
由於徐森玉對文博工作的重大貢獻，中央文化部於1962年12月21日上海博物館建館十周年時為徐森玉頒發了獎狀。 1881年（清光緒七年辛巳）徐森玉（名鴻寶）生於夏歷七月廿三日於浙江吳興（今湖州市）菱湖鎮。兄守之（名鴻猷）長其9歲。母親閔氏，出身名門，世代以刊刻古籍為業。
1884年父親攜全家至江蘇泰州謀職、定居。弟鹿君（名鴻賓）生，小其三歲。母親授其詩書。1888年父亡。1890年家境貧寒，兄守之只身入川為幕府，閔太夫人攜兩兄弟投奔江西九江知縣之本家叔父。太夫人在縣衙家塾教授侄女輩，兩兄弟則附讀於縣衙之家塾。
1893年徐森玉天資聰敏，且已有古文功底，家塾兩年後，塾師已無力任教，乃建議其投考江西廬山白鹿洞書院。入白鹿洞書院，受業於式枚（晦若）之門8年，打下國學、版本目錄學基礎。
1900年有科學救國思想，棄科舉而考入山西大學堂，讀化學。1902年以每年所得獎學金之部分，供弟鹿君入山西大學堂讀書。撰寫《定性分析》壹書，並由商務印書館出版。
1905年畢業於山西大學堂化學系。時山西大學堂監督（校長）寶熙（字瑞臣，清皇族）甚賞其才華，經常接其進府談古論今。徐森玉以後成為壹代著名古文物鑒定大師以及金石學、版本目錄學專家，與寶熙有關。
1906年至奉天任測繪學校及實業學校監督（校長）。1907年回泰州與王氏完婚。1908年編撰《無機化學》出版。1911年為紅十字會赴武昌救護辛亥革命誌士。1912年任教育部僉事。安家北京，初住石駙馬大街內鮑家街，與周肇祥（字養庵）同住，後遷至都城隍廟街（今成方街）。
1915年清史館成立，趙爾巽任館長，聘其為協修，主修《職官誌》。1918年任教育部僉事和秘書，和魯迅***事。1919年委托商務印書館張元濟影印《北山錄》。1921年6月3日，北京國立八校教職員請願，馬敘倫、李大釗、沈兼士等在總統府（新華門）前被軍警打傷，由其護送至德國醫院救治。
1924年11月，馮玉祥逐溥儀出宮，徐森玉被派駐由當局與遜清***同組成的善後委員會工作，擔任古物保管委員會顧問及東陵盜案審查委員會委員。是年，任故宮博物院古物館館長。
1927年中年皈依三寶，精研唯識，與韓德清居士建三時學會。是年秋，遷居三時學會，公余之暇，茹素研讀經書。1931年與袁同禮、趙萬裏集資購明萬歷丁巳（1617年）刻本《金瓶梅詞話》，並影印120部。1933年故宮文物遷往上海，藏法租界四川南路天主堂，參加精選文物。
1937年8月，故宮文物南遷，率第壹路由南京出發溯江至武漢，轉由粵漢路到長沙。11月，由長沙潛赴天津，搶救居延漢簡。1939年春，主持故宮古物南遷，在貴州安順逗留經年，住讀書山。因日寇又將西侵，只得與同伴攜帶文物進行更艱巨之轉移，翻越數十道大山，歷時兩月，始到重慶。時腿部傷殘，不良於行。
1940年12月，至上海，與鄭振鐸、張壽鏞、張菊生、何炳松收購古籍善本。至1941年7月結束，攜帶80箱孤本善本赴香港，經桂林到重慶。1941年將在上海所購古籍精選編為《玄覽堂叢書初集》。“玄覽”二字取意《文賦》：“佇中區以玄覽，移情誌於典墳。”1942年為搶救《趙城藏》獻策。該藏後由山西八路軍搶救成功，現藏北京國家圖書館。
1947年6月19日，集中於重慶的故宮博物館文物，開始向江蘇南京發運，歷時半年，全部運到南京朝天宮庫房。1948年11月中旬，在蔣復璁電召下赴南京，於翁文灝宅參加故宮博物院、中央研究院聯席會議，與會者還有王世傑、朱家驊、翁文灝、傅斯年、李濟等，討論文物遷臺事。會上推徐森玉、李濟督運及照料文物。12月13日，徐森玉在給臺靜農信中言及此事雲：“袞袞諸公妄以臺灣為極樂國，欲將建業文房諸寶悉數運臺，牽率老夫，留京十日，廁陪末議。期期以為不可，未見采納。”從此與故宮博物院脫離關系，隱居上海，並將南京所予赴臺灣機票上交。1949年5月，上海解放。8月，陳毅領導建立上海文物保管委員會，任命文物專家李亞農為主任，黨外人士、著名文物鑒定家及圖書版本專家徐森玉為副主任。
1951年秋，受周恩來總理委派和文物整理委員會主任馬衡南下至廣州，贖取“三希堂”中之“二希”（即王獻之《中秋帖》、王珣《伯遠帖》）。經二老鑒定確屬“二希”無誤，乃以35萬元港幣（合人民幣27萬元）易得，由馬衡等帶至北京，完成國寶回歸之使命。
1953年收購劉體智所藏甲骨文1萬片，並以1萬元收購壹枚宰豐骨（1930年代殷墟南小屯出土商代帝乙帝宰時期之牛肋骨），刻辭文字及圖案均以綠松石嵌飾，精美絕倫。1960年80遐齡，中***上海市委辦公室為其祝壽。
1960年兼上海博物館館長及全國第二中心圖書館委員會主任，同年7月被聘任為中央文史研究館副館長。他策杖四處走訪，為國家征集、鑒定了大量具有重要價值的文物，特別是晉代王獻之、王羲之宋代司馬光、蘇東坡的真跡；秦漢以來的帝王印璽、商代及春秋戰國時期的青銅器和殷墟出土的龜甲骨片。
1962年，中央文化部向徐森玉頒發了嘉獎令，表彰他為文物事業作出的卓越貢獻。
1964年第三屆全國人民代表大會上，周恩來總理握著他的手深情地稱呼他為“國寶”。
“文革”伊始，便被打入“十大反動學術權威”之列，備受抄家、批鬥之辱。
1971年5月19日，被“四人幫”迫害逝世，時虛齡91歲。
1979年2月16日，上海市為徐森玉舉行骨灰安放儀式，鄭重地平反昭雪，為他恢復名譽。
1985年，其子女遵照他的遺願，將他生前的壹萬餘冊藏書全部捐贈給上海博物館。