古籍《晉編》中記載:“天下傳說龍拜塔畏彭。大理以前是龍澤，所以是鎮。”
相傳古代有三座塔，是鋪壹層土修壹層塔。城樓修好後，壹層壹層地挖開泥土，使城樓顯現出來，於是有了“堆砌土木城樓”、“現在挖開城樓”的說法。
當這座塔建成時，這座橋像小山壹樣高，長達10裏。
修塔時運能不足，用山羊運磚。現在大理的銀橋村，古稱“塔橋村”。
古書記載，三塔建成，“雇工匠七百七十萬，耗資四萬余元，歷時八年建成”。
三塔建成後，又修建了規模宏大的崇聖寺。
擴展數據:
崇聖寺和三塔建成後，寺廟保存完好。
元武宗“頒令”時，授予方丈和尚稱號，保護寺院財產，免交糧食稅。
又於元代修繕，使“寺內家具煥發新生，三塔挺立，金碧輝煌，山樓(大致相當)”的景象。
明代重修李元陽，也有“三亭七樓九廳百府”。
當時寺內有五件寶物:三塔、巨鐘、玉通觀音、鄭碑和佛都匾。
徐霞客到了大理，依然看到崇聖寺前的“三塔”，各塔高聳入雲。
西邊，三塔對面有壹座鐘樓，極為雄偉。樓後是大雄寶殿，大雄寶殿後是“玉柱觀音殿，青銅鑄，立如雕像，高三尺”(《徐霞客雲南八遊遊記》)。
據說廟裏的鐘是始建於建安十二年(公元871)。它“直徑壹尺多，但厚達壹尺”，“其譽可達八十裏”。
“千古雲上三塔影，終日風雨壹樓鐘”歷來膾炙人口。
雨銅觀音，莊嚴肅穆，腰細形細，是南詔遺物。
然而，滄桑巨變，巨鐘已毀於清朝，雨銅觀音毀於十年動亂，道觀牌匾和佛牌連同寺廟，如今已蕩然無存。