相傳，八仙之首的鐵拐李曾在此與呂洞賓對弈打賭。正在棋局難分勝負之際，鐵拐李壹不小心彈指打出了壹個大窟洞，頓時涼風徐徐灌入，消解酷暑悶熱之苦。而巖山碎石將桌上的棋子打得雜亂無章，解決了鐵拐李敗局之圍，達到壹箭雙雕之效，故千百年來當地百姓習慣把此處稱為“仙洞”。仙洞寺歷來佛香繚繞，曾有海鹽腔、弋陽腔、宜黃腔等戲班在此演繹
據清同治《宜黃縣誌》載：北宋年間（1034年前後），王安石才13歲，自臨川肩挑竹制書箱，慕名來到仙洞寺向宜黃飽學隱儒杜子野（又稱夢周先生）拜學。在仙巖山東端北側的石窟中，王安石接受了先生“自立、自治”的教育主張，常與先生“賞奇析疑”。有壹次，他讀書通宵達旦，直到旭日臨窗，桌上依然壹燈如豆。這天，王安石竟把值日煮飯之事忘得壹幹二凈。當先生前來查問時，王安石才從書中醒悟過來，急忙跑到山下村裏去借火。當他取火回洞後，先生又氣又笑地說：“妳怎麽會去舍近求遠，難道桌上讀書燈不能點火？”並罰他以“誤炊”為題，賦五絕詩壹首。王安石應聲吟哦：“苦讀天已曉，日高竟忘饑。早知燈是火，飯熟幾多時。”這個動人的故事流傳了近千年，而王安石當年面壁苦讀的這個石窟，從北宋至今壹直被人們稱為王安石“讀書堂”。在石窟內壁上，還可看到“讀書堂”三個顏體大字，為南宋右諫議大夫李郗石刻遺跡。讀書堂旁邊還有當年留下的洗墨池 .