這個傳說的記載,最早見於南宋兩本地理學著作。王象之《輿地紀勝》卷五十五《荊湖南路·衡州》載,回雁峰“在州城南。或曰:‘雁不過衡陽。’或曰:‘峰勢如雁之回。’”比王象之《輿地紀勝》稍晚壹點的祝穆《方輿勝覽》記載與《輿地紀勝》差不多。這就意味著,並不是人們看了這些地理書,才知道這個典故的。詩詞作品中使用這個典故,遠遠早於這兩本地理書的記載。