公諱崇字道安，楚成王時大夫，穆王立，以其太子宮予公，使為太師，掌國事，環列之尹，楚國大治，有認楚公族後以字為氏，列公為潘姓始祖之壹。潘崇家族由於受到楚王的特別恩寵，故發展特別快，其後裔子孫的足跡幾乎遍布楚國各地，在古籍中所記載春秋時代的潘氏名人，幾乎都是楚國的人物。
今天山東、江蘇、浙江、河南等地，皆有該支潘氏的後裔。以國名為姓，出於姬姓。畢公高的小兒子季孫封邑在潘。春秋後國滅，其子孫不以姬為姓而以國名為勝，奉季孫為潘姓始祖。又，番，邾國也。
夫差取番者，番首姿，又音蒲。還音煩，音盤者即潘氏。源於姚姓，是上古舜帝姚重華後裔，是以國名為姓。《史記》《中國姓氏》記載，舜帝生於姚墟，因姓“姚”，建都於潘地（今北京延慶）。後將潘地移至今陜西省興平。商王朝時期，舜帝後裔建有潘子國，到殷商末期被周文王所滅，其子孫遂以國名為姓氏而姓潘。
北魏孝文帝漢化改革時，改鮮卑破多羅氏為單姓潘。清康熙末年，臺灣岸裏大社（今臺灣省臺中市神崗）酋長阿穆歸順清廷，被賜姓為潘；光緒時，臺灣高山族相率歸化清廷，也被賜姓潘（這也就是臺灣高山族人大多姓潘的重要原因）。