據《永嘉縣誌》載：潘氏出自姬姓，以邑為氏，或以國名為氏。其後裔主要繁衍於今安徽、江蘇、浙江壹帶，望出滎陽、廣宗、豫章等群。先期遷居永嘉潘氏有三支：潘北璣，於唐玄宗天寶年間（743-755），自青田遷來昆陽村；潘殷理，自青田入贅縣城（今鹿城區）東門外潦波潭夏氏，自北宋徽宗宣和三年（1121）遷來下寮村；潘填，宋室南渡時，自金華雙溪遷來嶺頭村。
潘氏遷居昆陽後，安居樂業，家族富庶，人丁興旺，至今已有49世，其分支遍布浙南各地。經過壹代又壹代的艱苦經營，村落充分發育，住宅、田園、宗祠、廟宇、書院、亭閣、石塔、橋梁、道路、水渠之類，凡農耕社會所應有的多類建築，壹應俱全。可惜的是，因時代的變遷，風雨的剝融，人為的變易，古建築所剩無幾了。
惟有昆陽潘氏大宗祠，可作為古代農耕文明的珍貴遺產。據《昆陽潘氏宗譜》載，昆陽宗祠是九世主潘天立（世稱美公），登景福進士弟，後返鄉歸隱，主持修建宗祠。至明洪武年間改建，其建築莊嚴，氣勢恢宏，造型獨特，構築精致，實屬溪山壹代風流。 2003年11月，清華大學教授、著名鄉土建築專家陳誌華來昆陽調研。壹到昆陽村口，看到大片鱗次櫛比的灰墻黛瓦的老民宅，驚嘆不已。他說，在這樣的深山嶴底，竟有這樣大的村落，若在北方，是縣城，最大縣城！立即下車拍攝。
他還巡視了潘氏大宗祠，指著東廊的拱鬥，舉起大拇指，贊道，這是楠溪江流域未見過。又興致勃勃地觀察民居，從西村轉到東村，壹路稱道。他看到老木屋的頹敗，現代洋房的侵占，感到十分痛惜他說，我晚來10年了！
2004年陳教授著作《楠溪江上遊古村落》出版，書中對昆陽古村有很高的評語：“我於2002年11月底，特地到昆陽去了壹趟，那是個交通商貿發達的大鎮，很有氣派。鎮上有潘氏大宗祠，規模宏偉。大批老住宅，規格也相當高。” 翌年，永嘉縣政府發文（《永政發[2003]1號文件》）批準昆陽潘氏大宗祠為縣第五批文保單位。鄉政府十分重視，立即建立昆陽鄉文物保護維修委員會，並籌備維修宗祠。經族人的努力，多方的支持，於2005年冬修建竣工。經修建後的宗祠，原貌依舊，古韻依然。