杜甫初來長沙時寄居舟中，船常停在南湖港。因而南湖港附近的長沙驛樓便成了杜甫送別友人的地方。杜甫兩次送別劉判官，寫下了“杜陵老翁秋系船，扶病相識長沙驛”和“他日臨江待，長沙舊驛樓”的詩句。驛樓即驛站，是古代驛道上供驛吏或來往官員、客人歇宿、換馬之地。據《元和郡縣誌》載，唐代由長安抵郴州的驛道從潭州南通過。因而唐詩中長沙驛樓亦稱“南樓”，如柳宗元《長沙驛前南樓感舊》詩有“今日數行淚，獨上驛南樓”之句。
後來杜甫移居湘江邊租佃的樓房（傳說在小西門壹帶），杜自稱為“江閣”。《江閣對雨有懷》詩雲“層閣憑雷殷，長空面水文”，說明樓房中可正面俯視江中波濤。《江閣臥病走筆》詩中“客人庖廚薄，江樓枕席清”則把江閣的簡陋、詩人的潦倒刻畫得入木三分。所幸的是，杜甫在江閣中有兩次欣喜的友人之會。壹位是官至禦史“佐湖南幕”睥蘇渙，兩人在閣中飲酒品茗，談詩論文，極為融洽。杜甫描寫潭州的名句“茅齋定王城郭門，藥物楚老漁商市”就出自他《呈蘇渙待禦》的詩。另壹位是大音樂家李龜年。杜甫少年時在洛陽多次聽過李龜年的歌唱，沒想到在長沙江閣又能相遇。杜甫寫下他最後壹首七絕：“岐王宅裏尋常見，崔九堂前幾度聞。正是江南好風光，落花時節又逢君。”據悉，有關部門曾議決在湘江風光帶重建杜甫江閣，但因種種原因，未見行動。成都杜甫草堂為該市創造了可觀的效益，我們何不可以也開發杜甫留給長沙的這壹寶貴資源？