玉海樓現存建築有玉海樓藏書、怡園、白金陶齋、孫詒讓故居，分別排列在三條軸線上，形成院落，相互相通。其建築特色是集圖書館功能於壹身，突出浙南民居特色，是私家園林的典範，原總面積約8000平方米。
玉海樓藏書樓，簡稱玉海樓，位於建築群東側。三面環河，前後池塘，東臨古城基和護城河，與新城區玉海廣場和宋萬路相連，地理位置優越，環境優美。玉海樓坐北朝南，由晚清著名學者孫和樸學大師孫詒讓於光緒十四年(1888)所建。孫(1814-1894)，字，清道光三十年(1850)進士。先後任安慶知府、安徽巡撫、湖北、江寧公使，後遷居太仆寺，並在此寫作。孫詒讓(1848-1908)，字中榮，號栓安，與俞樾、黃壹舟並稱為晚清三先生，被譽為“晚唐經學大家”、“樸學大師”，共治六年(1867)。父子倆都喜歡讀書，喜歡藏書，喜歡學習。他讓父親遊歷京城、江淮等地，自己卻隨意購買古籍善本。同治七年(1868)後的10年間，他購買了大量分布在江浙皖鄂等地眾多著名圖書館的元明清古籍善本。既然藏書豐富，圖書館就是為了儲存而建的。短短壹年多時間，這座大型圖書館在瑞安古城金腰帶橋北建成。因為孫氏仰慕南宋的學者王應麟，所以以他的名作《玉海》為樓名。臺門石額上的“玉海樓藏書”是禮部侍郎李文田的書。石對聯“玉成桃李，海湧起浪”是郭沫若寫的。前面的建築“玉海樓”是工部大臣潘祖蔭的書。以前樓上藏書，樓下用雕版印刷或手抄善本，編《甌越文學》。
玉海樓是讀書人的圖書館。當初藏書達到8-9萬冊，占3萬多冊。它以眾多學者審定的書籍、多甌縣文書和孫氏父子審定的書籍而聞名於世。曾經有過藏書章程第16條，既管理嚴格，又方便流通。首先為孫詒讓學習知識、著書立說提供了豐富的資料，也為村裏的青年開辟了壹個上進的好去處。但1908年孫詒讓去世後，藏書逐漸消失，其中善本被轉移到杭州和溫州。新中國成立後，瑞安縣人民政府高度重視文物保護工作，將玉海樓辟為文物陳列館，不斷收藏原玉海樓散落的書籍和市內私人收藏，至今已達3萬余冊，同時收藏文物和書畫5000余件存放樓上，使玉海樓成為知識的寶庫。
過了玉海樓的圓洞門就是怡園了。其門接雲:“退而補之，猶習之。”園內有荷塘、水井、假山，種有梅、蘭、松、竹。其次是船堂，原額“野帆船”，又名“白金陶齋”，由王題寫。齋戒後有壹條丁字雨廊，連接玉海樓和孫詒讓故居。孫詒讓故居由門樓、客廳、有三個入口的主樓、左右廂房、子房、半坡廊和後花園組成，占地4000多平方米。東西翼樓下的4號房間變成了孫詒讓紀念館，這裏陳列著孫氏的生平事跡和著名的書畫作品。孫氏強烈的愛國思想，嚴謹的學習態度，至死不渝的興教辦學精神，激勵著壹批批觀眾，尤其是廣大中小學生。故居樓上樓下陳列著各種家具、服裝、日用器皿等民俗文物，向人們講述著我家鄉昨天的歷史。近年來，國家、省、市政府撥出巨資進行全面維修，開設展室、活動室，懸掛名人對聯，增添了玉海樓的文化內涵和藝術風格。如今樓前綠樹成蔭，庭院幹凈幽靜，四季花木醉人，吸引著海內外專家學者前來參觀、遊覽。
玉海樓也是瑞安市文物博物館的辦公室，負責文物和圖書的保護、管理和開發利用。近年來，通過玉海大廈樓下的四間臥室，每年都會舉辦或介紹4-6場內容豐富的臨時展覽。同時開展巡展下鄉，指導地方展覽，拓展玉海樓愛國主義教育。僅2003年，玉海樓就接待遊客5萬余人次，為當地兩個文明建設發揮了積極作用。