1934年“世界書局”為李石曾所奪，“世界商業儲蓄銀行”亦因此而告歇業。自稱早年無暇讀書治學，經營書業時，有機會接觸大量古籍，歷30余年。無它嗜好，惟雅好藏書，孤本名槧精刊，尤為神往，訪覓搜羅，不遺余力。其先祖沈復粲“鳴野山房”藏書，他繼承有壹部分古籍和碑帖。先後收藏有徐友蘭 “鑄學齋”、“述史樓”、玉棟“讀易樓”、盧址“抱經樓”等家舊藏，建有藏書樓為“粹芬閣”，並編撰有《粹芬閣珍藏善本書目》，由上海世界書局印行，著錄宋元刊本15種，抄本77種，明清本908種，22 828卷，10 297冊。1941年，其藏書開始散出，鄭振鐸曾收有數十種，部分被朱龍湛收藏，批校本、抄本、明本、清初精本最多，其余藏書流散於書賈。