大廟山上古跡有釣龍臺。相傳東越王余善曾在此垂釣，故稱。臺高4丈，周圍36步，臺上可坐百余人。明末，曹學佺詠釣龍臺詩雲：“山河原屬越王臺，臺下江流去不回，祗為百龍先壹釣，紛紛鱗甲載江來”。臺之西向有釣龍井，直徑1.5米，井深水清，民間傳聞系“龍泉”，可祛病。宋淳化四年(993年)，山上置釣龍院，院中有達觀亭，碧光亭。宋蔡襄為達觀亭作詩，詩雲“峭峻釣龍臺，飛亭壓其端，曠達四無際，因之名達觀”。宋程之邵為碧光亭作詩，詠曰：“寺壓高臺最上頭，壹亭新就得清遊”。山上有壹石碑，上刻“全閩第壹江山”，是摹刻宋代著名書法家米芾之筆跡；尚有宋書法家趙汝愚所書“南臺”兩字。明洪武三年(1370年)，山上建有風雲雷雨山川壇，西隅附祀日本、琉球、渤泥山川之神，春秋仲月上巳日合祭。清鹹豐年間，潞河白讓卿觀察使遊閩時，借居此山，題壹對聯：“卸遠山，吞長江，西南諸蜂林壑尤美；送夕陽，迎素月，風雨之際枕簟生涼”。
清道光年三十年(1850年)，鄉民集資修閩越王廟，並在其旁建“臺江第壹亭”，亭之右又建“榕陽山館”，挹遠山，瞰大江，堪稱城南勝境。詩人陳雪樵題壹聯：“林氣映天，竹陰在地；月明如晝，江流有聲。”詩人吳梅臣亦作壹聯：“窗中列遠岫，天際誤歸舟”。 清光緒三十二年(1906年)，林則徐裔孫林炳章等在山上建旨在反對販售鴉片的“去毒社”。清光緒三十四年(1908年)，臺江地區詩人於山上建“誌社”；民國6年(1917年)，又建詩樓。陳寶琛為誌社署額。樓前榕樹雙株，老幹虬枝，日影不到。詩人蕭夢馥曾書壹聯：“雙樹容聽法，白雲悠為懷”。詩樓外有壹聯：“山林壹席供歌嘯，城郭千家入畫圖。”詩樓南面舊墻上鑲嵌著3大塊青石石碑，系由清末詩人陳衍、林蒼、唐瀚波撰文，書法篆刻名家洪亮、蕭夢馥、陳廉撝各寫壹碑，載入《福建通誌·名勝》卷。 閩越王廟後有“瓜蓮精舍”，閩人於六月辦“瓜蓮會”，以祀越王。此處乃宴息之所，前有小池，旁即釣龍井，花石掩映，頗具幽趣，有壹聯曰：“瓜雨蓮蓬池上社，柳煙梅月井邊臺”。
大廟山下龍嶺頂，有新鐫兩副對聯：壹是“江潭水碧詩無盡，臺榭花紅意自如”；壹是“龍騰巨浪開新局，嶺跨長虹化坦途”。分別嵌入“臺江”、“龍嶺”兩字。這兩聯是當代詩人劉長卿和陳涓音所撰。山巔有壹塊石頭，傳說是天上掉下來的隕石。舊時，每逢農歷九月九日，有很多遊人來此登高遊玩。 1990年，大廟山碑刻及“去毒社”、“誌社”舊址尚在，大廟等建築已無存。