古時候有個大仙，要守贛州城的好風光。他在蓬萊仙境中選了兩座美麗的仙山，想把它們放在楚潭的西岸，和初山壹起把水口鎖在東岸。大仙來到通天巖，被土地公公發現。土地公公看到兩座美麗的仙山，心想，為什麽不把它們留在這裏呢？於是土地公公學會了像公雞壹樣打鳴。神仙白天不能做事，因為怕被凡人識破，不能回到仙界。大仙正在壹座山上走著，聽見公雞叫，以為天快亮了，急忙丟下兩座山走了。此後，兩座仙山壹直留在通天巖。至今，通天巖景區的忘憂巖和禮佛巖各有壹個通洞，相傳是大仙在馱山時用竹肩串成的。
鄭德十壹年(公元1516)，王陽明在贛州任贛南總督，後赴南京兵部平定“陳豪之亂”。陽明先生以忘歸巖為題，刻了壹首五言詩:“青山處處美，須圓，閑來無事，人間滿塵。”西林初，明月初來，石床寒，秋不掃洞。"
蘇軾辭官(即甘州)時曾多次造訪通天巖。至今仍有楊杏仙、蘇東坡、李存三尊塑像，並有真跡東坡。宋代秘監楊孝本、秀才李存從京城辭官回江西西寧後，在通天巖隱居了二十年。