明朝以前，纖道散亂不規則，行走不便。明朝十三年(1448)，高要縣令陸舉路過這裏，體會到了纖工的艱辛。於是他開始在霞山的冷坑裏造橋，方便行人和船只上去。直到明朝萬歷十年(1582)才開鑿石路，稱為“霞山旱路”。明萬歷三十九年，高要縣人陳奕龍集資重修，建成橋梁13座，下祿路真正成為通途，是西江古棧道較為完整的雛形。清嘉慶二年(1799)，高要縣令裴聖慶再次修繕，修建了19座橋梁，使棧道更加完整。
據說羚羊峽北岸有壹個洞，曾建有“夏玲古寺”。因為它位於羚羊峽，所以被命名為峽山寺。這座古寺建於梁瀟時期(公元502-577年)，在唐代很有名。這裏曾是肇慶的佛教勝地。唐代著名詩人沈荃、楊恒，以及以“山雨欲來風滿樓”著稱的許渾，都有關於霞山寺的詩詞。唐代以前，羚羊峽有許多猿猴，在詩人的作品中留下了許多關於猿猴在三峽哭泣的文章，但宋代以後，沒有發現猿猴哭泣的記載。霞山寺曾是明清時期肇慶八景之壹。可惜的是，這座古廟在近代被破壞了，今天只剩下廢墟。
山裏的頁巖是制作端硯的石頭。山上有許多歷史遺跡，如峽山寺、桂巖古洞、清風亭、摩崖石刻、裴公十九橋、峽山幹路、涵碧樓、桂園史靜、花冢葬、富博公子畫廊、龍門洞、古炮臺等。再加上霞山的自然風光，在唐宋時期就已享有盛名，成為文人騷客流連之地。因此，留下了大量的詩歌和文學作品。唐代裴的名作《傳》寫的就是霞山寺和鬼斧神工古洞的傳奇故事。“夏玲歸凡”也曾被歷代評為八景之壹。
羚羊峽位於西江下遊，由北起北陵山，南至柯藍山的西江河水切割而成。它從西南走向東北，從西南的羚羊山到東北的侯莉，全長7.5公裏。傳說仙人鞭羊到廣州，途經此處，壹只羊看到這裏的美景，不願離去而得名。
羚羊峽的景觀在隋代就已經被人們所認識。自唐宋以來，沈全起、宋、、李詠、張九齡、、許渾、俞靖、周敦頤、郭、米芾、陳、李綱、葛長庚、李等名人都曾在此遊覽，並撰寫了許多名篇。楊恒稱贊靈山的景色是“攻堅克難”，而沈全啟則具體描述為“黃易驕縱練兵，野雞戲舞頻，猿鬥嬉戲，老虎漫遊山林，山鷹低飛，白鷺在山川上齊飛”。《唐史裴李傳》中孫克(元始)的故事就發生在這裏。從隋朝到清朝，在不到8公裏的羚羊峽內，有歷史遺跡，有峽山寺、淩華寺、龍華寺、文殊青寺、天後宮、娘娘廟、太監寺、鎮西寺、富博公子寺等。
羚羊峽在唐代被定為段曦的壹大勝景。明代以後，肇慶八景有夏玲歸凡、燕竹清風。現存景觀有仙人猿古洞、虎入出山、夫歸石之石、靈山炮臺、墨坑遺址、海軍徐幫虎抗戰陣亡將士紀念碑、峽山旱路、清風閣摩崖石刻等。