1919年秋，吳縣書市有宋蜀大字書《後山居士》二十卷集。由於紙張顏色較深，大家都以為是明朝的再版，不屑壹顧。潘石兄弟獨具慧眼，決定收下200元。這套字集大如錢，字體古樸蒼勁。它印在黃麻紙上，上面有“金夫書畫印”和“景德堂書印”的標記。因此，他們將圖書館命名為“寶山樓”，以示珍惜。他們得到這個鎮館之寶後，傅增湘曾從北平南下，到吳縣潘宅借閱。傅形容為:“字大如錢，氣息淳樸厚重...我玩了壹遍又壹遍，驚喜出乎意料。蓋布是在海上獨辟蹊徑的根本，實際上是代代相傳的《後山集》最早的編纂。”潘石獲得宋版《後山居士文集》後，先後購買了《明弘固化後山集》、《江孜尊壽派陳鴻誌後山集》和《參松本後村居士集》，潘石對這三部都有自己的評價。此外，他們還收集了蔣正堂學派的明鈔後各村的收藏。
在《寶山樓》的收藏中，十分註重明末的史料。光緒末年後，晚明史料逐漸受到重視，收集和研究頗為盛行，其中謝國楨和朱希祖最為出色。博山和鄭經兄弟對此也提出了壹些建議。潘在評論明代史料時，贊揚了晚明人的愛國熱情。1938年，日本侵略的魔火蔓延到蘇州，丁遺風也是壹片狼藉，他手編的《河東君軼事》也走向了市場。此時，潘靖鄭靖之亂後，雖為溫飽所迫，卻“得餅錢”，並在書末做了後記。他首先回憶了與丁的舊情，並高度贊賞的治學態度。陳寅恪撰寫《劉傳》時，主要得益於丁所編《河東郡列傳》。
潘還有劉的書信和詩集《湖上草》。此外，還有很多藏文錢穆齋的藏品。在後記中，潘對穆宅的評價不如河東對的評價令人欽佩。潘石的愛國之心通過其藏書題跋最直接的表現在《明史抄本》中。對於那些美化的人，如“殺了名將，後人還以為愛東南”“安心也是國計”，潘在後記中憤怒地寫道:“讀這段歷史的人，要三思而行，不要把自己的野心混淆為異端，混淆歷史，自欺欺人，最終被知情者所不齒！”最初，潘還打算編纂《南明史》，這是受其老師章太炎的影響。因此，他買了很多這方面的書。後來，他放棄了，因為他的同學朱希祖已經開始寫作。
“寶山樓”的另壹種藏書是鄉村聖賢的文獻，這是“寶山樓”最大的特色。所有鄉賢的手稿、校對、後記，甚至只有幾個字、壹張紙上題字的書，他們都全盤接受。《硯樓書跋》幾乎有壹半是關於農村的信息，尤其是在藏書部。他們征收的範圍不僅限於吳縣，還包括舊時代蘇州府管轄的常熟、昆山兩縣。他們不僅收集，還經常整理和裝裱零散的手稿。潘氏兄弟勤於鄉村聖賢文獻，是壹個創舉。其實也是為中國經典留根的事業。他們的收藏目的包含著巨大的野心，那就是編纂類似《蘇州藝文誌》的作品，但壹直沒有實現。
抗日戰爭以來，“寶山樓”屢遭炮火襲擊和盜竊，圖書損失約為34/10。兩兄弟遷居上海，對藏書的興趣稍減，再加上博山病逝，潘氏家族失去了主要的經濟支柱。從那以後，鄭經賣掉了壹些薏米來養家。比如明朝？文徵明的曾孫女畫了1300多幅《金石蟲草木》，被中央圖書館收藏，現藏於臺灣省。這本兼具中醫研究和藝術欣賞雙重價值的繪本，成為該館經常展示推廣其珍貴藏品的樣本之壹。
“寶山樓”裏的潘氏兄弟* * *同書，他們有各自的利益。博山收藏古書，鄭經喜歡石拓和硯。博山20年來積累了1000多幅名人的書法作品，始於元代，止於清末。其中以無錫神武“古華山閣”和陳記德“紀雲居”收藏的最多，都是抗戰時期帶到上海整理，準備印刷傳世的，分為忠義、士子、學者、金石學、藏書、畫苑、洋人、仕女。博山去世後，鄭經花了9個月的時間才完成，並寫下了《明清畫園碑記》。為了不辜負博山的遺誌，他還整理了若幹文集，稱之為《石崗樓叢書》，並為之作序。