這個傳說的記載最早見於南宋的兩部地理著作。王祥之《輿地紀聲》卷五十五《鏡湖南路衡州》載顏回峰“在城南。或者:‘鵝比不過衡陽。’或者:‘巔峰如雁歸。’朱穆的《郁芳勝覽》比王翔的《玉帝集聲》稍晚，與《玉帝集聲》相近。這意味著，人們是在看了這些地理書之後才知道這個典故的。這個典故在詩歌作品中的使用，遠早於這兩本地理書中的記載。
這個典故的意義主要在於思鄉和傳書。
“衡陽雁走”是“堵秋來”的客觀現實。“沒註意”雖然是北飛南飛的具體表現，但更重要的是這三個字出自戍邊將士的心坎，烘托出大雁去而人不讓去的情感。