所以它被稱為顏回峰。北宋政治家、文學家、思想家王安石說:萬裏衡陽雁，來此非同壹般。從此名聲遠揚，知道的人越多。還有壹種說法是以山峰的形狀命名，說它的整個地貌就像壹只天鵝伸著脖子，昂著頭，展開翅膀，在空中飛翔的氣勢。這兩種說法相輔相成，使其躋身於世界名山勝景之列。山峰名字的精髓是從什麽時候開始的？也是眾說紛紜，沒有研究。唐代詩人王波在《王騰亭序》中寫道:驚寒，聲破衡陽浦。可見，顏回峰的名字在唐朝以前就為世人所知了。明代詩人陳宗器(衡陽人)寫南嶽詩:天上七十二芙蓉，歸雁南來第壹峰。顏回峰作為南嶽七十二峰之首，在地方誌中早有記載。清代衡陽八景題名第壹句就是雁峰煙雨真可嘉。雁峰煙雨被列為衡陽八景之壹，也是瀟湘八景之壹，即大雁落平沙之地。
顏回峰以北，俯瞰市區，高樓鱗次櫛比，車馬喧嘩，燈火通明，珠光寶氣，管弦樂聲不絕於耳；向東望響水穿山，桃波紅，白帆點點，碧波波光，長橋空，彩虹飛渡；西望嶽屏，陽臺上亭臺樓閣，掩映在綠樹蔥郁的樹蔭中。這裏綠草如茵，綠蔭蔽日，風景獨特。禹巖池，峰下西北。依山傍水，有清泉，池寬約十尺。水清澈見底。都說春暖花開，池水蒸騰。早晚霧氣漸起彌漫，呈現出壹派春雨蒙蒙的景象，十分壯觀。至此，遊客們洗去了城市的喧囂，品味著滿滿的優雅。可惜由於戰亂，以前的煙雨池被破壞了。如今的煙雨池，建在山峰的西麓，上面有名人題字，下面的水裏有金魚嬉戲，比過去的好。顏回峰風光旖旎，四季宜人，奇花異草，茂林修竹，亭臺樓閣，碑碣畫壁，更是壹派奇觀。春則花香，夏則林陰，秋則河如練，冬則蠟如銀。遊客不禁感到愛國。