靈渠修建之初，秦始皇派來修渠的兩個主要工匠，因為時間延誤而被殺。之後又命第三位能工巧匠修渠。在諸神的幫助下，壹塊巨石從遙遠的四川峨眉山飛來，邪惡的豬娘們被壓制在秦堤之下，再也無法翻身。
後來歷經千辛萬苦，靈渠終於修建成功，但第三位能工巧匠卻因為不願獨享功名，在湘江岸邊自殺了。因此，靈渠兩岸有關於三將軍墓地和飛來石的神話傳說。