樓上謝公滿酒，二百蠶買壹鬥。
紅泥破綠蟻浮，玉碗開黃蜜。
《感言謝公建》(劉唐齊豫)
看到妳住在迷霧之州，
我偶爾會在謝公樓上看到刺。
它是汀州所在的春風，
亭江邊下著大雨的建築。
謝朓在南齊明帝建武年間(494-496年)被任命為宣城知府，在城關陵陽山頂建有壹間名為“高宅”的房間。在任期間，他是董事，住在這裏。著有《高寨詩史》、《高寨王獻》、《後宅回眸》等詩歌。
初唐時，為紀念謝朓，宣城在高寨舊址新建壹樓，因位於縣城北部而得名“北樓”，又因敬亭山建成時已有名氣，故又稱“北望樓”。唐代李白多次遊覽宣城，到此樓憑吊，以詩抒懷。“秋日登宣城謝朓北樓”這首詩膾炙人口，傳唱千古。詩中說:“河如畫，山看夜晴空。在兩條河流之間，壹湖壹湖的像壹面明亮的鏡子；河上的兩座橋看起來像從天而降的彩虹。橘林柚在炊煙的冷煙中映襯；秋意無邊，梧桐也已顯得蒼老。誰到北樓，誰感激風。”因李白詩詞廣為傳頌，此樓又稱“謝公樓”、“謝跳樓”。此後，樓周圍又有亭臺樓閣，如峰峰閣、青樹閣、迎春閣、觀風閣、雙溪閣、懷榭閣等。歷代文人名士慕名而來，登樓的人絡繹不絕，寫詩的人更是難以計數。
唐朝時，白居易曾與長兄白幼文在宣城居住，並寫了壹首名為《窗外洞天》的詩來表達他攀登這座建築的感想。這首詩被當時的雲軒觀察家所知，大為贊賞，並推薦他進京趕考，考中了第四名進士，從而步入仕途。直到晚年，他寫下了《送爵位到郡翟》這首詩，說:“...墻上無新詩，虛教遠窗。又喜宣城章句，飛去賀敬亭山。”
唐憲通(874)末年，宣州刺史杜重修北樓。因地勢高，峭壁險要，故取名“疊樓”，並記下。明朝嘉靖年間，知府及時重修，改名為“高宅樓”，還題了字。清康熙四十年(1701)，知府徐婷對其進行了整修，並說:“疊嶂之名，亦以大地命名，謝公之名，亦為人們所傳誦。北樓古今皆知，人在其中。”因此得名:“古北樓”。清光緒初年，知府陸委員重修。改造後，北樓分上下兩層，下面上層壹圈，全木結構，琉璃瓦屋面，四面飛檐。上層為“疊樓”，四周有木欄桿，下層為“謝朓樓”，四面都有紗門。樓底四周，有題詩題樓。