樓殿冠崔嵬，靈芝安在哉。
雲飛過江去，花落入城來。
得食鴉朝聚，聞經虎夜回。
偶臨西閣望，五老夕陽開。
芝山寺始建於唐初，每年農歷七月三十地藏菩薩聖誕日為廟會，後因山火燒毀。宋初重建，此後多有修葺（qì，氣）。清代鹹豐三年（1853）遭兵燹（xiǎn，顯），至民國二十七年（1938）重建。解放後，芝山寺佛像被毀，1956年改為芝山公園，1992年重修，現存佛寺僅有三楹，為清代建築，風格古樸。
景佑三年（1036年）範公因上《百官圖》得罪權相呂夷簡，落了個朋黨罪名，黜貶饒州任地方官。範仲淹到了地方上除了興教辦學，“壹章奏免鳥銜茶，惠及饒民幾萬家”等德政外，有壹件範公與佛頗得緣份的記事：範公守鄱陽，欲請芝山寺僧人誦《金剛經》為其亡母超度，是夜夢見母親對他說，“得古佛經半卷，已超升矣”。第二天範仲淹入山，有位剛到的高僧叫古塔主，範仲淹見之，“果如夢中語”。範仲淹對為亡母超度的相互應驗很高興，盛贊古塔主“道行無玷，孤風絕攀”。當時薦福寺恰好缺壹個主持，範仲淹邀請這位高僧古塔主前往擔任。範仲淹的母親生前長齋禮佛恭敬得很，範仲淹說他母親“夜扣星象，食斷暈茹，逾二十載，至於其終”。仲淹當時還作了壹首《芝山寺》詩，其中有句“得食鴉相聚，聞經虎夜回”，說佛法之廣大，連禽虎之類聽了佛經也被感化。……作為壹個貶謫之人，範仲淹到了這種佛境仙地，把世間壹切榮辱爭鬥拋在了腦後，並向往“只應虛靜處，所得自蘭芬”。詩句來自《升上人碧雲軒》詩，碧雲軒即在仲淹為其亡母超度的芝山寺內。