關於大同老爺山會議的由來，有壹個感人的傳說。相傳明朝永樂皇帝封太子為“北八天教主”，將來要繼承皇位，但太子不願留在宮中享福，要上山修行。王子離開前，朝廷舉行了隆重的告別儀式。臨別之際，永樂皇帝為太子準備了大量的金銀珠寶和華貴的衣服，太子卻看也不看。王子告訴永樂皇帝，他只想要他父親的半幅畫像。無奈之下，永樂皇帝只好同意。
太子上山後，在下層鋪了壹百種草藥，遮天蔽日。渴了就喝泉水，餓了就吃松柏籽，過著修行的生活。有壹天，王子出去采野果，看見壹個老人坐在石頭上磨著鐵杵，準備把鐵杵磨成針後做繡花鞋。王子聽後覺得有道理，後悔自己在修道上的急躁，繼續苦修。幾天後，王子正坐在山洞裏修行，這時壹位美麗的女子走了進來。王子低頭念佛，不予理會。不料女子伸手抱住王子，王子氣得拔劍追下壹座山崖，不料女子縱身壹躍。王子跨過小溪時，意外地踩空了。這時，突然五神上谷，托起太子，沖天而起。從此，太子脫體修道，名曰“北八天無量佛”。原來磨鐵杵的老頭，勾引太子的美女，都是受了觀音菩薩的啟發。此後，當地民眾每年都帶著半幅畫驅車前往仙山祭奠太子。
每年農歷六月初六，老爺山會如期舉行，樂器演奏，載歌載舞，場面宏大，慕名而來的人群絡繹不絕。