余音山房占地1598平方米，坐北朝南，以廊橋為界，將花園分為東西兩部分。余音山居吸收了蘇杭四合院的建築風格，整個園林布局巧妙而精致。用“藏而不露”、“縮龍為壹寸”的方法，在有限的空間內建成了深柳廳、何藍廳、臨池別館、玲瓏水榭、來訓亭、孔雀亭、廊橋，把園林的主要設施和景物集中在壹片小山林裏，使有限的空間註入了活力。
余音山的宅園雖小，卻有各種亭臺樓閣、小橋流水、曲徑通幽、荷塘山石、名花異草。西半部以長方形的石蓮池為中心，池南有壹座古樸的臨池亭。赤碑是正殿，深柳廳。大殿前的庭院兩側有兩株轟轟烈烈的煙花古藤。花開的時候像壹片紅雨，非常好看。神六堂是園中的主題建築，是裝飾藝術和文物的精華。大廳正面墻上的滿清窗戶古色古香，大廳上的兩個花鳥花罩栩栩如生。側廂有32個紅木扇格畫櫃，碧莎櫃有幾個紅木屏風，都是著名的木雕珍品，珍藏著當時著名詩人、畫家的書法。隔著荷塘，有臨池亭的回應，夏天，風送荷香，讓人沈醉。
東半部正中是壹個八角池，池中有壹座八角亭，名為“玲瓏水榭”，原為吟詩作酒、唱風之地，有桂花迎旭日的八角玲瓏，有楊柳綠臺，有臘梅花盛開，有近在咫尺的石林，有虹橋清輝影，臥瓢聽琴，有果壇蘭、孔雀開屏的幽徑。水榭東南沿園墻布置假山；水榭東北面，點綴著壹座美麗的孔雀亭和半側亭(賴遜亭)。周圍有菠蘿、臘梅、水杉等多棵珍貴古樹。“來尋亭”倚墻而建，“列飄廬”幽於北隅，“柳塔”內外相通，近南山第壹峰，遠蓮花塔影。東、西兩半的景色由壹座名為“環虹過綠”的拱橋有機地結合在壹起。
此外，壹個稍小的豫園毗鄰南部的山房。豫園是壹個住宅院落，建於1922，是豫園主人的第四代傳人所建。底層有船廳，廳外有小方池，二樓有玻璃廳，可俯瞰山房庭院。現在它屬於余音山居，兩個花園在壹起，起著補充作用。