玉海樓現存建築包括玉海樓書藏、頤園和百晉陶齋、孫詒讓故居三大部分，分別布置在三條軸線上，既各成院落，又相互溝通。其建築特點是集藏書樓功能、浙南優秀民居特色和私家園林典範於壹體，原總占地面積約8千平方米。
玉海樓書藏，簡稱玉海樓，在建築群東首。三面環河，前後池塘，東面緊靠古城城基和護城河，又與新城玉海廣場、萬松路相銜接，位置優越，環境幽美。玉海樓坐北朝南，前後兩進各五楹，左右回廊，前、中、後三大天井，為清末著名學者孫衣言和樸學大師孫詒讓父子於清光緒十四年（1888）年創建。孫衣言（1814-1894），字劭聞，號琴西，清道光三十年（1850）進士，歷任安慶知府、安徽按察使、湖北與江寧布政使，後遷太仆寺卿，著《遜學齋文鈔》，輯《甌海軼聞》、《永嘉集內外編》等，有“晚清特立之儒”之稱。孫詒讓（1848-1908），字仲容，號籀庼，與俞樾、黃以周合稱清末三先生，有“晚清經學後殿”、“樸學大師”之譽稱，同治六年（1867）舉人，壹生不求仕進，致力樸學研究，創辦學校，服務鄉邦，著《周禮正義》、《墨子間詁》、《契文舉例》等35部。父子兩人都喜歡讀書、藏書、做學問。詒讓隨父遊居京師、江淮等地，則恣意購求古籍善本，同治七年（1868）後的10余年間，大量收購蘇、浙、皖、鄂許多著名藏書樓散出的元、明、清珍善本。藏書既富，於是建書樓以儲。僅壹年多時間，就在古城瑞安金帶橋北建造了這座頗具規模的藏書樓。因孫氏敬慕南宋學者王應麟著作宏富，故以其巨著《玉海》書名作為樓名。臺門石額“玉海樓書藏”為禮部侍郎順德李文田書。石聯“玉成桃李，海湧波瀾”為郭沫若手跡。前樓樓額“玉海樓”為工部尚書吳縣潘祖蔭書。昔日樓上藏書，樓下雕版印書或手抄善本，輯刊甌越文獻。
玉海樓是學者的藏書樓。先時藏書達8-9萬卷，計3 萬多冊，以多名家批校本、多甌郡鄉邦文獻和孫氏父子手批手校本聞名於世。曾訂有《藏書規約》16條，既管理嚴格，又流通方便。首先為孫詒讓研究學問、著書立說提供了豐富的資料，亦為鄉裏後生求知進取開辟了良好的場所。但到1908年孫詒讓逝世後，藏書漸漸散失，其中珍善本轉藏杭州、溫州。新中國成立後，瑞安縣人民政府重視文物保護，將玉海樓辟為文物陳列館，不斷搜羅原玉海樓散出的藏書和邑內私家藏書，至今已達3萬多冊，同時征集文物書畫5千多件庋藏樓上，使玉海樓成為知識的寶庫。
過玉海樓圓洞門就是頤園。其門聯雲：“退思補過，時還讀書。”園內有蓮花池、水井、假山，種植梅、蘭、松、竹。其後是船廳，原額“野航”，又名“百晉陶齋”，王懿榮題額。齋後是丁字雨廊，連接玉海樓與孫詒讓故居。孫詒讓故居由門屋、客廳、正樓三進和左右廂樓、子房、半坡廊以及後花園組成，占地面積4千多平方米。