南潯鎮的四象八牛，即以“四象八牛七十二狗”為代表的南潯富商，在清朝光緒年間出現於湖州的南潯民間和江浙壹帶。劉大鈞《吳興農村經濟》:“南潯以絲商起家，家財大小取決於資本多少和經手人的親疏。所謂“四象八牛七十二狗”，都是資本雄厚，或者是個體戶，或者有近親。財產在百萬以上的被稱為‘大象’。五十萬以上壹百萬以下的叫牛，二十萬以上五十萬以下的叫狗。所謂的‘象’、‘牛’、‘狗’，都是以它們的大小來象征絲綢商人財產的大小。" .南潯“四象八牛”是民間說法，根本沒有正式的統計和詳細的記載。七十二狗只是壹個大概的參考。“四象八牛”說反映了南潯自南宋元年(1252)起為鎮，潯溪、林楠、鎮官與南潯，植桑富民，商賈雲集，為江南壹雄鎮。
南潯的“四象八牛”都是靠湖絲發家的——《元和縣誌》記載“湖州外開貢絲布”。早在唐朝開元年間，湖絲就已成為貢品，形成產業——《宋史·食貨誌》中說:“繭箔立於山上，屋中聽得連驅之聲。”。南宋湖絲已遠銷海外，嘉泰吳興幟有“湖絲遍天下”之說。李記的湖絲在國內外比較有名，因為它潔白、細膩、質地均勻、富有張力，優於其他湖絲。如《林楠國保寺誌》所述，“林楠為定居耳，但植桑豐富，以浙江為佳。”(南潯古稱林楠)。當時湖絲的制作和質地都是南潯。清代詩人董立洲在《蠶桑樂府》中盛贊:“蠶是我湖唯壹，尤其是壹郡南潯。”天時地利人和，靠跑絲發財，光緒成了“四象八牛”的士紳大宅。
柳永是“四象”之首。據說柳永的財富多達兩萬兩銀子，被譽為四象中的“劉氏銀子”。30年代南潯歌謠說“劉家的錢，張家的才，龐家的臉，家裏的房子”。柳永發跡時，深感自祖上以來文化匱乏。他雖然有錢，但是沒錢，也沒上門。所以他想盡辦法教兒子讀書，考科舉，讓四個兒子都能步入仕途。柳永也因為兒子的善良而被尊為大夫，達到了榮宗耀祖的目的。柳永還把女兒嫁給了壹等大學士徐福的兒子，又把女兒嫁給了清部總務大臣蔣的兒子蔣汝藻，使劉更加光彩照人，成為南潯的豪門望族。
張松先(1817-1892)，據說他的財富僅次於劉，占四象第二位。字竹齋是惠州休寧人，父親張在南潯開了壹家小醬鹽店為生。張有兩個兒子，張松先是次子。張松先擅長經商，從事絲綢業後，全面經營黎姿絲綢的出口業務，並成立了“軋絲公司”。他在絲綢生意上發了財後，專註於鹽務，成為鹽業巨頭。據張謇《武城張峰墓園》記載:“同治初，私商滿員，導致班缺，鹽法太差。巡撫召集商賈聚議，褒揚先賢甚至與商賈約好，收余姚岱山私利，降低價格，以藏江海之敵私利。結果商業利益豐厚，官班坐滿，家底越來越大。”張松賢有兩個兒子，長子張寶慶，性格剛正；次子張寶善，字定福。
張君恒，本名史明，是張寶慶的獨子，張松賢的孫子。張君恒是光緒二十年(1894)的舉人。他繼承祖業後，生意興隆，產業興旺。他對母親表示孝順，在自己富麗堂皇的花園“師院”裏建了壹座佛堂供她供奉玉佛，讓她燒香拜佛，還建了壹座石塔，將唐代劉公權寫的金剛經封藏起來。張靜江，本名曾誠，又名人傑，本名荊江，本名飲光，本名烈禪，是張松先次子張寶善之子。張靜江早年參加了孫中山領導的同盟會，並為革命捐了款。孫中山先生曾說:“同盟會成立以來，國外就有募捐的文章，當時貢獻最大的張靜江也有。但是巴黎的店賺了六七萬塊錢幫忙。”張靜江是國民黨四大元老之壹。張松賢的兩個孫子被稱為四象中的“張家才子”。
四象中有龐雲增(，1833-1889)，本名，祖籍浙江紹興。父親是師傅，龐雲增也是絲綢行業的學徒。所以他發財後開了“龐義泰行”，在杭州認識了胡慶余堂。龐雲曾經有官場朋友的幫助，後來通過李鴻章，他的兒子龐元吉在光緒十七年(1891)獲得了慈禧太後的寵愛，被特別賞賜了四象中“龐氏家族的臉面”的稱號，因為他被授予榮祿大夫和廣祿大夫的稱號。龐雲曾模仿胡雪巖的胡慶余堂，在南潯開了壹家頗具規模的“龐子德”藥房，並修建了藥房棧和制藥車間。直到現在，南潯寶山街還開著老字號的“龐子德”藥店。龐雲有三個兒子，都比龐大，都早逝。次子龐元吉，三子龐元成。龐元吉，別號陳來，光緒六年(1880)進士，江西進士。元吉和鎮上的人都稱他為龐陳來。擅長繪畫和鑒賞古畫，是國內外著名的古畫鑒賞家和收藏家。解放前，中國古代書畫只要蓋上龐緒齋的鑒定印章，就可以視為真品，甚至國外藏家也願意出重金購買。龐元成，原名陳清，後改為青城，號元儒。光緒二十壹年(1895)，進士。他致力於教育，創辦醫院，提倡西醫。光緒三十二年(1906)，在上海捐資支持馬創辦福和公學(1917)，抗議帝國主義幹涉中國教育，青城改名福和公學。程遠也是孫中山領導的同盟會成員，是同盟會上海分會的核心人物之壹。
顧福昌(1796-1868)，小名春池，中國留學生南潯四象之壹，創業後被稱為顧柳工。顧福昌早年家境也比較貧困，於是輟學下海經商，起初擺了壹個布攤。後來，南潯鎮江鄰居蘇震澤以開小布店為生，經營絲綢發了財。與洋人交往後，成為上海早期的絲綢專家和洋務經理。並開設了古絲號，是南潯絲商中最早的壹家。顧福昌從絲綢發家致富後，還經營當時上海灘唯壹的洋船碼頭——錦裏源碼頭，成為怡和買辦、怡和包裝公司經理，還從事房地產生意，被譽為四象中的“娘家人”。顧福昌有三個兒子，長子顧守松，名容齋；二兒子顧守藏，字不錯；三兒子顧明壽，誇了三個字。他們都是著名的古董、金石學、字畫收藏家。顧的三個兄弟繼承了他們父親的生意，經營絲綢。顧守健是最有聲望的。曾任上海絲綢工業辦公室主任，著名愛國教育家顧先生是顧福昌的曾孫。
南潯八牛之首邢耿興，開邢正茂絲經，後改名恒順絲經。並開設典當行，為南潯設置了最多的典當行。
著名詩人周昌達有壹句喜字。祖籍浙江余姚，乾隆年間遷居潯中，開設申太司、申昌司。鎮上的人把他家叫做南潯八牛之壹的周申泰。
字深的秋仙茶，打開了《齊城帛書》。南潯八牛之壹。
原名熊，字竹平。是著名的四史通，周邊有虞場集、井陘、南潯八景之壹。
金童，字竹庭。早年輟學，開始在上海經商，成為壹名成功的商人。他的長子金守義，人稱“小金山”，是南潯八牛之壹。
創辦元泰絲綢公司的張，曾任上海商業銀行營業部主任。南潯八牛之壹。
梅鴻基，字悅茶。於恒絲綢京杭成立，其子梅占忠在南潯開了最早的機器生產的絲廠，是南潯八牛之壹。
邵，開森達絲經，在上海有邵月姬絲號，生產青石牌絲經。鎮上叫他邵森達，南潯八牛之壹。
南潯鎮七十二條狗，包括南潯四個鄉。有邱茅臺、邱改茂、邱貽昌、邱德勝、沈土基、沈永昌、沈永峰、沈天長、李恒德、李萬順、李德茂、吳錦昌、吳其昌、吳永吉、、朱廣龍、莊恒清、邢、蔔同昌、韓貽昌、桂、李德茂。共有四個鄉鎮:北小圩張家、張家、五樓張家、斜橋金家、亭盛家、石匠邱家、七裏村溫家、紫寺灣陳家和倉谷橋王家。