關於禹碑的由來，有多種傳說。其壹，禹治水，刻石銘誌。《湖南通史·古代卷》記載：大禹在治水過程中，南抵蒼梧，禹王碑即寧遠九嶷山下。登南嶽衡山，於此處殺白馬祭天，仰天長嘯，夢繡衣童子，授金簡玉文，禹按其文治水，於是刻石以銘誌，表示治水的決心。是石即為後人所說的衡山禹碑。其二，禹治水成功，立碑紀德。相傳四千年前，神州洪水滔天，舜囚堯，命禹治水。禹帶領百姓奮鬥十三年，三顧家門而不入。最後來到南嶽衡山，夢見蒼水使者，在仙翁的指點下獲金簡玉文，按其道征服洪水，疏通湘資沅澧等九條河流潮宗於海。衡陽先民對禹萬分感激，要求立碑為禹記功，禹謙讓，不答應。先民執意要立，禹說：我得金簡玉文天書，才能治好水患，要立碑，仍天書文字，百姓不得認。於是先民將禹提供的77字刻在衡山雲密峰下水繞石壇之上。其三，越王朱勾碑。浙江曹錦炎考定為越王勾踐之孫朱勾聯合四族部落打敗楚國後，在南嶽衡山立盟約而刻下此碑其四，衡山民間傳說。