曾氏起源於山東省蘭陵縣西北部。先秦時期，逃往魯國的曾姓後裔在魯國為官，幸存下來並向周邊地區擴散，使曾氏族人遍布山東、河北等地。
秦漢時期，曾姓人壹直被稱為“孝”，被封建統治者尊為“聖人”。曾參長子孫增樂，曾為西漢山陰郡公，曾樂之子桓有兩個兒子:徐、廣。廣家的四希望能幫助風，他的第二個兒子於和常分別搬到了冀州和青州。秦漢時期，由於戰亂等原因，曾由原來活動的山東、河南等地，遷至河北、湖南、陜西、江西、廣東等省。