“萬歷新寺(1581)，宗伯曾經主張縣裏的人在上面建壹座寶塔...十三年後。”此後嘉慶、道光、同治、民國均有修繕，基本保持明代建築風格。來炎塔為亭式磚石塔，坐北朝南，七層八楞。它是中空的，總高36米，底長7.3米。塔放在須彌山的石基上，塔基上刻有花紋。門由漢白玉制成，上面刻有三個漢字“來雁塔”，是清朝同治年間的兵部尚書彭玉麟所寫。山門和雙聯、印相兩亭原建在塔旁，現已全部廢棄；寶瓶座於1944年在衡陽被侵華日軍部分摧毀。
據衡陽縣誌記載，這裏水流湍急，多巖石的地方阻礙了船只的航行。明朝萬歷九年(1581)，衡陽人的禮部尚書，提議在朝節時，除去亂石之地，升塔，於是衡州南部有顏回峰，故名雁塔。清同治十年(1871)，衡陽兵部尚書彭玉麟重修此塔，並在正門題寫“來雁塔”二字。塔高28米，七層八棱，拱窗，石飛檐，石板地面，鬥拱屋頂，正門朝東南，左右門；基層門內，有壹尊石佛坐塔，分兩路，可上頂樓；雙修亭建在塔的旁邊。雁塔是衡陽市唯壹的明代大型磚石結構建築，已被列為湖南省重點文物保護單位。1944衡陽保衛戰中脫落的半銅塔現藏衡陽博物館。
狀態
1989期間，衡陽市人民政府對來煙塔進行了全面維修，恢復了塔身、屋檐、各層飛檐、塔頂章魚、獅子、龍、卷草的塑雕，恢復了寶瓶、二、三檐豎踏、石欄桿，恢復了山門。時任衡陽市人民政府市長蘇建民題寫了《續修大雁塔的故事》，由文化局長李正南題寫在壹級門口左墻上。賴燕塔於1959、1974兩次申報衡陽市文物保護單位，於1983+00申報省級文物保護單位。