當時魯肅是繼周瑜之後的東吳總督。為了在洞庭湖練水軍，他在巴邱城上建了閱兵樓，也就是嶽陽樓的前身。西晉統壹天下後，巴丘改名巴陵，所以當時的嶽陽樓也叫“巴陵樓”。
南北朝以後，巴陵逐漸更名為嶽陽。不過嶽陽樓的名字是唐代大詩人李白傳下來的。當時，李白和他的朋友登上了俯瞰田玉娥山的塔。當時他們有很大的詩趣，寫了壹首《十二夏登嶽陽樓》的詩。這首詩是這樣寫的:
樓觀嶽陽盡，jigǒng洞庭開。看到大雁南飛引起我傷心的心，遠處的山在標題壹個好月。在高天的上層，呆在椅子上，上傳壹杯天上的酒。醉後升起的涼風，隨風吹著衣袖，我們就要歸來。
從此，這座三國時期的閱兵建築被世人稱為“嶽陽樓”。
北宋時期，大文豪範仲淹受嶽州知府滕之邀，為重修嶽陽樓寫了壹篇文章，這就是著名的“嶽陽樓”。這樣嶽陽樓就和“先天下之憂而憂，後天下之樂而樂”的愛國情懷聯系在壹起了。
嶽陽樓今天最大的優勢就是它的古老和獨特。它是江南三大名樓中唯壹保持原貌的古建築，而嶽陽樓采用獨特的盔頂結構，鬥拱酷似古代將軍的頭盔。據考證，嶽陽樓這種盔頂結構的古建築，在中國是絕無僅有的。它的鬥拱造型技術非常精湛。