觀音菩薩自呈，賜其七色寶石，故稱此地為觀音先生聖地。佛經上有壹種說法，觀音住在南印度普陀羅家山，因為那裏叫島。唐朝十二年(858，五代梁二年，916)，日本高僧慧萼(作品)在五臺山造像。回國時，乘風渡舟，未能進入普陀山，卻將塑像留在安開元寺(今稱“拒上觀音寺”)。自北宋以來，此山盛行觀音信仰，寺院逐漸增多，僧人雲集。元代《布拖羅家山傳》只提到了寶陀寺、陰超洞、山財洞、盤陀石、三摩地、鎮西庵等，可見寺廟不多。南宋紹興元年(1131)，普陀山佛教劃歸禪宗。明、清兩代，寺廟相繼而建，但清代有三座寺廟，70多座安堂，100多座毛鵬。
相傳，唐朝鹹通年間，壹位名叫華匯的日本僧人來到中國，遊歷了許多名山大川，朝拜了許多古剎。這壹天，他風塵仆仆，大步登上中國第壹佛教勝地五臺山。五臺山是個好地方，有靈巖、古松、建水、百花。寺廟隱現於深山老林之中，十分幽靜。華匯與五臺山方丈壹起讀經講法，參禪下棋，成為永不回頭的朋友。觀音的生日是農歷二月十九，出家是九月十九，出家是六月十九。
南海觀音傳說:
壹天，在大殿的後院，華匯看到了壹尊檀香木雕刻的觀音菩薩。佛像安詳逼真，眉清目秀。華匯站在觀音佛像前，看了又看，贊了又贊，連住持叫他吃飯都沒聽見。方丈見此，問:“法師對這觀音佛像有何看法？”
華匯連連稱贊:“好，好！我這麽老了，這是我第壹次見到道！這尊佛像雕刻精美，雕刻出了觀音大師的風範。多麽大慈大悲的活菩薩啊！”
方丈見他愛不釋手，笑道:“師父若喜，我就送給妳！”
華匯壹聽，連忙雙手合十。他帶著觀音佛像，上天入地，打算回日本建壹座寺廟，供養日本眾生朝拜。
華匯離開五臺山，又遊覽了九華山，最後從五臺山下來，從陵江口起航回家。
這壹天，當船到達普陀山的洋面時，突然刮起壹陣大風，把船刮得東倒西歪，掉頭就走。華匯別無選擇，只好將船駛進普陀山的壹座小山，拋錨起航，壹直等到強風平息。
第二天，風平浪靜，華匯起航了，但是就在船駛出山的時候，海面上突然升起了壹團灰色的煙霧。煙越升越高，像壹個簾子，正好掛在船頭前，擋住去路。華匯驚訝地站在船上，擡起頭來。頭頂上有壹片藍天。環顧四周，煙霧的兩邊是清澈明亮的大海，所以華匯不得不掉轉船頭，繞著煙霧向前航行。但帆船向左航行，煙向左飄；帆船向右航行，煙飄向右邊。船在海上繞了壹圈，最後回到普陀山的洋面上。華匯認為沒有辦法了，所以他不得不再次駛入山區，起錨起航，等待煙霧消散。
第三天早晨，紅日從海上升起，光芒萬丈，光芒四射。華匯走進小屋，擡頭望去，只見彩雲中央，有壹座高聳的彩拱，仙女身上閃爍著寶石的光芒。他高興得雙手合十，立刻起航了。奇怪的是，船剛出山，天上的奇觀突然消失了，烏雲遮住了太陽，海風掀起了巨浪。華匯很著急。想想吧。這裏已經耽誤好幾天了，壹直這樣。什麽時候可以邀請觀音回日本？這風這浪算什麽！起航！趕緊起航！
華匯讓船夫把船駛出山，迎著風浪向前航行。風越來越大，浪越來越大，但華匯的心並不慌亂，他的意圖並不混亂。他穩穩地站在船頭，搶著念佛。雖然風浪逐漸平息，但帆船還沒航行多遠就突然停了下來，仿佛生了根，進退不得。他低頭壹看，只見海上漂浮著荷花，帆船被團團圍住。華匯大吃壹驚，心想，帆船壹次又壹次地被風浪所阻擋。今天，鐵聯鎖船。是因為觀音大師不想去日本嗎？他回到船艙，跪在觀音佛像前祈禱道:“如果日本的眾生都看不到佛陀，我壹定會按照大師所指的方向，再建壹座寺廟來供養我的佛陀。”
話音未落，只聽“轟”的壹聲，壹只鐵牛從海底鉆了出來。當鐵牛向前遊的時候，她吞下了鐵蓮花。不壹會兒，海洋上出現了壹條通道，剛好能通過壹艘帆船。帆船跟著鐵牛，沿著這條航道前進。很快，又是“轟”的壹聲，鐵牛沈入海底，海洋中的鐵蓮花消失得無影無蹤。華匯看了看，原來帆船回到了普陀山的壹座山上。
雲開霧散，天氣晴朗，太陽高高地掛在天空。這時，壹位漁夫從山上下來，對華匯說:“這些天來，我親眼目睹了壹切。妳不能離開。走之前請到我家住幾天！”
華匯看出了他的熱情，同意了。手裏拿著觀音佛像，跟著漁民上了普陀山，看了看。但在閃閃發光的沙灘上，潮起潮落；四周是郁郁蔥蔥的山峰，還有壹望無際的海洋。早上看日出，晚上聽潮聲，真的和五臺山不壹樣。他想，既然觀音菩薩不想去日本，就在這裏建壹座廟，讓觀音菩薩定居普陀山！周圍的漁民聽說要建寺廟，都來幫忙。不久，壹個小安堂誕生了。
安堂已經建好了，佛像已經供奉好了，所以華匯會日夜向他頂禮膜拜。此後，這尊檀香雕成的觀音菩薩壹直留在普陀山。那個小安堂不肯去觀音寺。