古時候有個大仙,要守贛州城的好風光。他在蓬萊仙境中選了兩座美麗的仙山,想把它們放在楚潭的西岸,和初山壹起把水口鎖在東岸。大仙來到通天巖,被土地公公發現。土地公公看到兩座美麗的仙山,心想,為什麽不把它們留在這裏呢?於是土地公公學會了像公雞壹樣打鳴。神仙白天不能做事,因為怕被凡人識破,不能回到仙界。大仙正在壹座山上走著,聽見公雞叫,以為天快亮了,急忙丟下兩座山走了。此後,兩座仙山壹直留在通天巖。至今,通天巖景區的忘憂巖和禮佛巖各有壹個通洞,相傳是大仙在馱山時用竹肩串成的。
鄭德十壹年(公元1516),王陽明在贛州任贛南總督,後赴南京兵部平定“陳豪之亂”。陽明先生以忘歸巖為題,刻了壹首五言詩:“青山處處美,須圓,閑來無事,人間滿塵。”西林初,明月初來,石床寒,秋不掃洞。"
蘇軾辭官(即甘州)時曾多次造訪通天巖。至今仍有楊杏仙、蘇東坡、李存三尊塑像,並有真跡東坡。宋代秘監楊孝本、秀才李存從京城辭官回江西西寧後,在通天巖隱居了二十年。