海源閣為單檐硬脊朝南建築,上下兩層。下半部為楊家祖祠,供楊家祖祠牌位,上半部為宋元古籍善本、抄本收藏。圖書館樓前有壹個長長的小院子,東側有兩個長走廊高平臺的讀書亭。樓下東邊是通往後院的通道,楊宅四院是明清海源閣的藏書室。海源閣藏書豐富。至清末,海源閣藏書已達3236種,208300余冊,是四代楊苦心收藏的成果。經過戰亂和反復破壞,大部分藏書丟失,只有少部分轉移到北京圖書館和山東圖書館。現已按原結構風格在原址重建,並正式向遊客開放。