廣東人有好善樂施的光榮傳統，不管以前是甕牖繩樞之子或者引車賣漿者流，只要發了家以後沒有不慷慨施財的。潘仕成也是這樣，在地方上熱心於公益事業和文化教育事業，被譽為“輕財好義，地方善舉資助弗吝”。潘仕成有“三喜”。壹是喜歡賑災濟貧，廣東地區常有災情，潘仕成不止壹次捐款，最多壹次居然拿出銀子1.3萬兩；二是喜歡修路，廣州小北門外至白雲山，路多崎嶇，潘仕成出巨資鋪上平坦的石路，以利行人；三是樂於資助教育。當時，廣州貢院已經殘破不堪、雜草叢生，他獨自捐銀1.35萬兩，新建室舍565間，院內浚井修渠，排潦去穢，還種上樹；位於五曜坊的學署文場年久崩塌，他大力資助，維修壹新，改設石桌石凳，堅固實用。除了以上“三喜”，潘仕成還敢為天下先，大力倡種牛痘，建議官府、親友推廣種牛痘，並為之代購進口種痘洋刀，輸送洋種痘。西風初始東漸的時候，有些人特別是某些官僚對牛痘這個昂貴的舶來品持懷疑態度，但是有了潘仕成這個大財爺出錢出力兼苦口婆心地遊說，索性也半推半就接受了事。各方人士和受惠者均贊其“功德無量”。
除開公益事業，潘仕成在嶺南文化史上也留下濃墨重彩的壹筆－－興建海山仙館。海山仙館原名荔香園，是潘仕成耗盡心血建成的私人豪宅。園內仿江南園林，建有眉軒、雪閣、小玲瓏室、文海樓等。此外，潘仕成還在海山仙館內收藏了大量古玩文物，其所藏金石、古帖、古籍、古畫有“粵東第壹”之稱。許多風流名士都為其濃郁的嶺南園林特色和與眾不同的文化品位所折服。在極盛之時，海山仙館甚至壹度成為廣東清朝高級官員非正式接見歐美外交使者和商人的場所。
然而世事難測，潘仕成壹生顯赫，晚年卻橫遭變故，落魄而死。1871年，因為經濟拮據，67歲的潘仕成甚至將《佩文韻府》的木刻版抵押給山西某票號來支撐局面，繼而又將位於十七甫的故宅以3.8萬兩銀子的價錢售出。何以壹本萬利的鹽務生意會虧損累至家財盡破，其中原因現在已是不得而知。見證潘仕成飛黃騰達和窮困潦倒的海山仙館最後也在1873年被查抄，在滿跟離披的衰草、頹圮的殘垣裏，飽經變故的老人倉皇死去。