仙女廟的來歷史書中記載頗多。《後漢書·郡國誌》中關於廣陵郡東陵亭(今宜陵)有這樣壹段記載:“女子杜姜,左道通神,縣以為妖,閉獄桎梏,卒變形,莫知所終,以狀上,因以其地立廟,號曰東陵聖母。”唐人段成式的《酉陽雜俎》又載:“揚州東陵聖母廟主、女道士康紫霞侍奉聖母多年,壹旦白日飛升,化為白龍而去。”按此說法,康紫霞身為東陵聖母廟主,侍奉聖母杜姜多年,不無有“素著靈異”的附會之說,死後被人尊為仙女並“立廟祀之”是完全可能的。據記載,仙女廟在東陵聖母廟以西二十多裏處,其正殿上確也供壹牌位,題為杜康二女,所以壹般認為仙女廟所祀的仙女為杜姜和康紫霞。
仙女廟始建於宋代,廟址在江都鎮區的通揚河段北面,清代鹹豐年間重建的廟宇最為宏偉,有前殿、中殿、後殿。前殿正門石額以白礬石為材,高約2米,寬約0.7米,鐫刻“敕封古仙女廟”正楷大字。“敕封”二字為紅,其余為藍,周邊有龍紋淺刻。中殿的吊籃中放著皇帝敕封的文書。後殿即為仙女娘娘殿,殿中有香案,水磨青磚的神臺上木神龕精雕細刻,內立兩仙女塑像。東墻嵌有記載廟史的石碑壹方。但到了晚清時,該廟僅留下文人墨客抒發“黍離”之感的詩文了.