歷下亭歷史悠久，歷經滄桑，位置也幾經變遷。北魏至唐代歷下亭在五龍潭處，酈道元《水經註》稱“客亭”，是官府為接迎賓客而建造的。唐初始稱“歷下亭”。天寶四年（公元745年），詩人杜甫到臨邑看望其弟杜穎，路經濟南，適逢在開元年間就與杜甫在長安結為忘年交的北海太守李邕至濟，在此亭宴請杜甫及濟南名士，杜甫當即賦《陪李北海宴歷下亭》詩壹首：“東藩駐皂蓋，北渚淩清河。海右此亭古，濟南名士多。雲山已發興，玉佩仍當歌。修竹不受署，交流空湧波。蘊真愜所遇，落日將如何。貴賤俱物役，從公難重過。”
詩中第壹句敘述李邕駐臨濟南，設宴歷下亭，第二句說明了歷下亭古老歷史。當時方位以西為右，以東為左，濟南在大海之西，故曰海右。因濟南有過鮑叔牙、鄒衍、伏生、房玄齡等大批歷史名人，又因當時在場的有濟南士紳蹇處士等人，因此稱贊名士多。而接下來詩句描述的是亭內外景物和宴飲的情趣，以及對日落將席散，盛情難在的感慨。李杜宴飲賦詩歷下亭使這海右古亭從此聲名遠揚，而“海右此亭古，濟南名士多”壹聯，千百年來更成了濟南的驕傲。
據《唐書》記載，天寶元年，齊州曾改為臨淄郡，故此亭當時也稱“臨淄亭”。杜甫《八哀詩·贈秘書監江夏李公邕》有“伊昔臨淄亭”的詩句。到了唐朝末年，歷下亭逐漸廢圮。北宋曾鞏在齊州任職時，又重建歷下亭，位置在大明湖南岸州衙宅後。之後又幾經興廢變遷，至清初，山東鹽運使李興祖於康熙三十二年（公元1693年）在湖中島上現址，購買鄉紳艾氏地產重新建之。其規模比以前宏大，坐北朝南，顏額為“古歷亭”。竣工後，又在亭西偏南，築土壘臺，建軒宇三間，軒西為寬闊的水域，晴空下，天光水色，壹派蔚藍，故題額“蔚藍軒”。此後，歷下亭的規模、型制又有變異。