據說佛教中最著名的須彌山也是指它。根據佛教小辭典:須彌山,壹座山的名字,也是壹個小世界的中心。在象雄本教前佛教時期,任剛岐伯被稱為“九天(萬)字山”,據說永中本教有360位神住在這裏。所幸永中本教創始人饒彌沃從天而降為佛,此山為著陸點。在興起於公元前5-6世紀的耆那教中,岡仁波齊被稱為“阿契塔博達”,是最高的山峰,是耆那教創始人裏沙巴納獲得自由的地方。
印度人稱這座山為Kailash,認為它是世界的中心。印度教三大主神中最強大、地位最高的濕婆神就住在這裏。印度的印度河和恒河上遊都發源於此,所以現在在岡仁波齊看到大量印度香客也就不足為奇了。
幾個世紀以來,岡仁波齊壹直是朝聖者和探險者的迷人之地,但迄今為止,沒有人能夠攀登這座神聖的山峰,或敢於侵犯世界的中心。只是在最近幾年,旅行者才把目光投向這個聖地,但數量仍然很少,這可能是壹個值得慶幸的原因。
岡仁波齊周圍有五座寺廟。念日寺是轉山的第壹站,之後會依次停靠拉浦寺、松初寺(又稱環邊寺)、江紮寺、賽龍寺,其中後兩個寺廟位於裏面。這五座寺廟有很多廣為人知的傳說和故事,有豐富的雕塑、雕像、壁畫等文物,但現在都遭到不同程度的破壞。