關於孤山的形成，有兩個很有意思的說法。有壹種說法是，鐵拐李裝滿山種子的袋子破了，於是大大小小的種子掉了壹地，最小的壹顆長成壹座孤山。還有壹種說法是，秦始皇壹怒之下，把壹座山打成三段，壹段飛到南通叫狼山，壹段飛到江陰叫黃山，壹段飛到靖江叫孤山。
自明代以來，靖江人對這座孤山進行了刻意的裝飾和裝扮，並在山上相繼修建了寺廟、廟宇和寺院，使其成為壹個知名的旅遊景點。聶方雲、摩崖石刻、布谷亭、望江樓等景點令人神往。民俗文化“活化石”講座，民間手工藝泥巴——三月三鼓山廟會，孕育了鼓山深厚的文化底蘊。每逢農歷三月初三廟會，商賈雲集，百貨商場人頭攢動，場面壯觀。近年來，靖江開發區城北公園投資12萬元建設鼓山文化廣場，鼓山腳下裝點著景觀樹、綠色草坪、景觀石，使鼓山成為靖江招商引資的新名片。
優美的山景、宏偉的建築、美麗的神話傳說，使鼓山以其極其豐富的文化底蘊受到詩人、作家、縣官的青睞。他們來抒發情懷，吟詩作歌，由衷地贊美鼓山。僅《舊縣誌》中就有數十首贊美孤山的詩。有些詩詞意境優美，藝術性很高，成為流傳千古的佳作。清代蔣忠和在《孤山之柱》中贊美孤山:“長鯨臥波光粼粼片石，壹掌飛向何處？”以前是以晉焦為主，現在是陸海強市。夜晚，銀河依舊躺在江面上，雀聲極輕。墨濤迷於濤，沈京回眸暮光。“當代靖江人是這樣評價孤山的:“孤山雖然不高，也不危險，但也代表了壹種高度。"