性好藏書。嶺南藏書家以潘仕成、伍崇曜、康有為、孔廣陶為“粵省四家”。藏書樓有“周敦商彜秦鏡漢劍唐琴宋元明書畫墨跡長物之樓”，“藏張長史郎官記之室”、“寶琴齋”、“荔香園”等，其“海山仙館”，有水木清華之勝，李仕良贈詩雲“插架漢唐書，嵌壁宋元字”。館中收藏金石、碑刻、古帖、古籍之多，被譽為“南粵之冠”，藏書充棟，精善本頗多。道光中輯刊《海山仙館叢書》，***收書56種，492卷（壹說為486卷），分為經、史、子、集四部***100冊。輯者稱所選之書均保存原文，不加刪動。除經史著作外，多選西方的數學、地理學、醫學等方面的近代科學書籍，匯編有《海山仙館叢貼》60余卷，計70多冊；重刻《佩文韻府》146卷，刻法國傳教士瑪吉士編譯《外國地理備考》，是我國最早世界地理著作之壹。藏書印有“繼興堂主人手啟”、“子韶審定”、“海山仙館主人”、“曾在潘德畬家”、“潘仕成號德畬壹字子韶”、“德畬心賞”、“德畭秘藏”、“天響琴齋藏書”、“嶺南潘氏寶琴齋珍藏書畫之印”、“藏張長史郎官記之室”等。