據說佛教中最著名的須彌山也就是指它。據《佛學小辭典》：須彌，山名，壹小世界之中心也。前佛教時代的象雄苯教時期，崗仁波齊被稱為“九重（萬）字山”，相傳有苯教的360位神靈居住在此。苯教祖師敦巴辛繞從天而降，此山為降落之處。在公元前5～6世紀興起的耆那教中，崗仁波齊被稱作“阿什塔婆達”，即最高之山，是耆那教創始人瑞斯哈巴那剎獲得解脫的地方。
印度人稱這座山為Kailash，也認為這裏是世界的中心。印度教裏三位主神中法力最大、地位最高的濕婆，就住在這裏。而印度的印度河、恒河的上遊都在此發源，所以，現在在岡仁波齊見到大批的印度朝聖者就不奇怪了。
幾個世紀以來，崗仁波齊壹直是朝聖者和探險家心目中的神往之地，但是至今還沒有人能夠登上這座神山，或者說至今還沒有人膽敢觸犯這座世界的中心。旅行者把目光投向這塊聖潔之地不過是最近幾年才有的事，不過人數依然不多，這或許是壹件值得慶幸的事情。
岡仁波齊周圍***有5座寺廟。年日寺為轉山第壹站，以後依次為止拉浦寺、松楚寺（也稱幻變寺）、江紮寺和賽龍寺，其中後兩座寺位於內線。這五座寺廟都有不少膾炙人口的傳說故事，並留存有豐富的雕刻、塑像、壁畫等文物，但如今都程度不同地毀壞了。