蘇軾是四川眉山人。地理上，眉山離樂山只有4、50公裏。歷史上，眉山曾經屬於嘉州(樂山)，直到1997，眉山縣仍然屬於樂山，似乎有些聯系。不過蘇軾壹生只去過壹次樂山大佛，所以沒有太多聯系。關於蘇東坡在樂山的傳說，大多是後人杜撰的。
北宋嘉祐四年(公元1059年)，當時二十多歲的蘇東坡隨父親蘇洵、弟弟蘇徹前往樂山大佛所在的淩雲山，不久便出關赴四川參加科舉考試。雖然後來因為父母去世，他兩次回眉山奔喪，但並沒有再次拜訪樂山大佛的記錄。
但是，蘇東坡還是念念不忘樂山的風景。30多年後，蘇東坡在杭州做太守的時候，歷史上有個叫張的朋友要做太守。蘇東坡寫了壹首《送張家洲》作為禮物。前四句是“我不想封萬戶侯，我也不想知道荊州在朝鮮。我希望作為壹個韓家守，壹邊載酒壹邊雲遊。”前兩句好像是在調侃李白。因為李白年輕的時候給壹個叫韓的荊州官員寫過壹首《但願我認識韓荊州》。雖然看似真誠，其實是在奉承“韓景洲”，表示願意做官。蘇東坡更是瀟灑。他甚至不想去了解“韓荊州”。他就是想當個韓家守(也就是歷史太守)，這樣就可以經常去淩雲山喝酒玩了。
因為這首詩，後人在現在景區的山路上建了壹座“載酒亭”，明代嘉州知府郭甚至親筆題寫了“蘇東坡載酒出行”四個字。事實上，蘇東坡只有“壹次樂山之旅”，他從未有過“時光之旅”。
至於大佛景區的東坡紀念館，據說是蘇東坡曾經學習生活過的地方。但這裏曾經是明朝魏忠賢修建的神社。後來魏亡，為紀念蘇東坡，改為東坡紀念館。蘇東坡並沒有在這裏學習和生活。所謂的蘇東坡在此求學、蘇東坡教龍王三太子在此求學等民間傳說也是群眾所為。
東坡紀念館匾額上的三個字是從黃庭堅的手跡中收集來的。黃庭堅是“蘇門四學士”之首蘇軾的學生，也是北宋文壇和政界的著名人物。因其詩歌造詣與蘇軾並稱“蘇黃”，因其書法造詣與米芾、蔡襄並稱“蘇黃迷彩”。1100年，黃庭堅貶謫榮州(今宜賓)期間，曾拜訪其師蘇東坡提及的樂山大佛，並在此留下《淩雲之旅》壹詩。
“淩雲笑看桃花，三十年才到家。
從那以後，在春風和春雨之後，混亂已經隨著水飄到了世界的盡頭。"
或許是壹句話的預言，壹年後，被流放海南多年的蘇東坡接到朝廷的許可，返回北方，途中死於江蘇常州。四年後，黃庭堅在更偏遠的廣西宜州去世。