桃山鎮歷史悠久,馮濤是飛雲江畔的古聚落之壹。南朝齊梁時期,政治家、藥理學家、道教思想家陶弘景隱居於玉山(又名木魚山、石山、廟山)和福泉山,從事煉丹,研究中草藥,著書立說。後來為紀念陶弘景,稱玉山為陶山。自南宋以來,桃山因與金潮港、飛雲江及瑞安、平陽至永嘉(今義海海域)接壤,成為農村商業集鎮。鎮中心的八卦橋,建於南宋,是古道的重要橋梁,至今保存完好。