瑞雲寺依山而建，背負山崖，面臨深谷，寺周圍群山環抱。據《江南通誌》記載，寺院始建於晉；重建於唐；原名黃桑寺、“後隨山改名為皇藏寺。《史記·高祖中紀》載：“呂後曰‘季所居上常有氣雲，故從往常得季”。”根據這壹傳說，宋端拱年間改寺名為瑞雲寺。有碑記曰：“眾山環合，衛基如城，間有古寺，名曰瑞雲。”現高懸寺門之上的“瑞雲寺”匾額，字跡蒼勁古樸，為清代大書法家所題。寺宇三層三院，***有房間九十余間。