以姓來自外域，祖先以蔔拉欣（Ibrahim）為阿拉伯人，唐時由西域沿絲綢之路進入中國,後定居陜西渭南,距今千載有余（已經被凈化了……）。據史料記載，唐、宋、元時多用西域復姓，自明統治者強迫外域人漢化，仿《百家姓》用諧音或以名為姓改用漢姓漢名。入國隨俗，改復姓為單姓，取“以蔔拉欣”首字“以”為姓，此乃以姓之來源。以姓回族在中國頗為罕見人數不多，並帶有濃郁的西域稱謂。。
據桂林墓葬碑刻記載及《中國回族大辭典》登載，來桂始祖以撫宸（chen）公，字簡堂（1518－1603），祖籍陜西渭南,乃以蔔拉欣後裔，明朝武官，官封“都指揮同知”，明嘉靖後期，奉命領兵南征廣西潯州（今桂平縣）、慶遠（今宜州）有功，封“都指揮義寧協戌”，令鎮守廣西，（義寧為今臨桂縣五通鎮），遂以廣西桂林為家，世代繁衍，迄今已歷四百八十余年，成為桂林回族望族。撫宸公是桂林以氏始祖。