所謂物極必反盛極則衰，潘氏家族的輝煌在潘祖蔭手裏達到了輝煌的頂峰，但頂峰之後就是衰弱的開始。潘祖蔭壹直無後，所以他的弟弟潘祖年就把兩個兒子過繼給潘祖蔭，但也相繼早夭，只剩下兩個女兒，家中還是無人繼承香火，於是，“老三房”的後代潘承鏡被過繼過來，成為潘祖蔭和潘祖年兩家的孫子。然而，仿佛是潘祖蔭的命中沒有後代，潘承鏡過繼給潘祖蔭後不久也亡故了，只留下了壹個新婚僅三個月的妻子潘達於，沒有留下子嗣。
當年潘祖蔭在北京去世後，遺留下了大批收藏文物，潘祖年秘密赴京押運回故鄉，存放在蘇州南石子街的潘家舊宅中。這批文物數量之巨相當罕見，僅青銅器就堆放了滿滿壹大房間，另有壹大間專放古籍版本和字畫卷軸。而在潘承鏡死後第二年，潘祖年也去世了，因此，剛過門不久的潘達於就此挑起了掌管門戶的重任，守著大量文物財寶借住在蘇州城裏南石子街“老二房”的舊宅裏。
潘家有寶眾人皆知，那兩尊曠世寶鼎，更是海內外很多收藏人士所夢寐以求的。潘家式微之後，覬覦寶物的人自然就多了起來。清末權臣端方就曾對潘家人百般糾纏，想要“借”走兩尊寶鼎。幸運的是，時值辛亥革命爆發，清政府在內憂外患中垮臺，端方成了斷頭鬼，潘家寶鼎才得以存留。此後，有壹位酷愛中國青銅器的美國人漂洋過海，壹路打探到了潘家。他提出以巨資外加壹幢洋樓來換取盂、克二鼎，但年輕的潘達於不為所動，壹口回絕。 1937年“八.壹三”淞滬戰爭後，日本侵略軍的飛機不時抵臨蘇州騷擾轟炸。潘達於隨家人到太湖邊的光福避難。快到中秋節時，大家以為仗打得不那樣急了，找個機會回城裏過中秋。不料八月十六、十七兩天，日本飛機又飛到蘇州上空大轟炸，大家匆忙收拾了東西又逃到光福;就在八月十八、十九兩天，情急之中的潘達於打定主意要密藏這批寶物。
於是，她叫來了家裏的木匠做了壹個結實的大木箱，底板用粗粗的圓木直接釘牢，然後在夜間，搬開住處的地面方磚掘個坑，先放入木箱，把大盂鼎、大克鼎成對角慢慢放進箱子，空當裏塞進壹些小件青銅器及金銀物件，隨後蓋好箱蓋平整泥土，按原樣鋪好方磚，再細心整理得外表不留挖掘過的痕跡。
書畫和部分古董則放進了“三間頭”，所謂“三間頭”，指的是江南民宅夾弄裏的三間隔房，只有壹扇小門與弄堂相通，如果小門被雜物堆沒，很不容易發現。
當時的藏書有十幾個大櫥，不好搬動，潘達於請來姐夫潘博山，把書畫按宋元明清朝代分類，放到書箱裏，裝了三十來箱，以及卷軸、銅器等等，搬進“三間頭”，小門關嚴，外面用舊家具堆沒，收拾得隨隨便便。這樣壹來，不知底細的人就是走過，也看不出裏面還有隔房。
在潘達於的《自傳》中，她記得辦好這件大事的參與者是，家裏的兩個木匠師傅，姐夫潘博山和他的八弟。“我始終在場監督，再沒有旁人參加”。後來，為了保密，潘家承諾兩位木匠師傅——潘家養妳們壹世。
日本人攻陷蘇州後，果然直奔潘家大宅，威逼潘家交出家藏文物，但潘達於和家人在侵略者的淫威面前絲毫都沒有動搖。日軍前後七次闖到潘家壹遍又壹遍地搜刮，雖然財物損失不少，但大土坑和“三間頭”壹直都沒有被發現。據說日軍司令松井曾親自查問過潘家的收藏，但最終也沒有搶到手。兩個寶鼎和眾多潘家珍貴收藏就這樣躲在地下安然躲過了那場災難。
1944年，埋在地下的木箱腐爛，泥土帶方磚都塌陷下去了。潘達於讓兒子家懋和小兄弟及壹位木匠把藏品起了出來，他們用圓木做架，粗繩結牢大鼎，徐徐吊出土坑，然後兩只大鼎被安置在壹間房間的角落裏，鼎裏放些破衣雜物，再用舊家具堆沒，房間鎖死，既不住人也不走人。就這樣壹直保存到了解放之後。