“於穎虛廓園，依玉山取勝，絕無故意造成奇石之意，但此石建成，非所謂妙運造化者，即書中“妙”字為上。石高，縐薄透鹹。光緒二十年十月初三，曾撰錄，人撰書。”
曾樸(1872-1935)本名孟樸，筆名東亞病夫。是增元的二代主人。曾樸是中國現代著名作家和法國文學翻譯家，其代表作《孽海花》是晚清四大譴責小說之壹，備受推崇。民國初年，曾樸與母親同住時，花園西面的“梅花廳”被拆除後，修建了壹座紅墻青瓦的中西合璧的建築，俗稱“紅樓”。本世紀30年代初，著名建築師童茂先生遊覽曾園，在其《江南山水誌》中記載:“虛廓住宅，九萬裏，此為小王川舊址。清朝光緒年間，曾誌寫鑿塘造屋，俗稱曾源。最近摻進了洋房，有壹家改成了茶葉店。”這本書還附有它的手繪虛擬剖面圖。從圖中可以看出，當時沿池而建的青峰嶽明亭、邀月亭、君子仙人室、許廓村正殿、池中九曲橋上的逸逸亭等主要建築景點和假山依然存在，池北水面仍延伸至後門，但曾經存在於後池的長堤橋亭已不復存在。
曾樸於1935年死於虛廓園紅樓。壹兩年前，他曾經對外開放花園，開設茶館，可見他有心將花園公之於眾。但是沒過多久，抗日戰爭開始了，公園也沒有管理。解放前，學校使用花園。
建國後，從1952到1992，增元先後被常熟師範學校、縣委黨校、縣文教局、蘇州師範學校、蘇州師範學院使用。在這壹過程中，以水池為景觀中心的沿池景點建築和景物大部分仍保存完好，其外圍主要是居民樓，有的因年代久遠已被拆除，有的因辦學需要被改建為教學和行政用房。1978以來，市政府積極實施常熟歷史文化名城保護建設規劃，壹直重視增園的保護、改造和修復。市政府、市委統戰部及市政府相關部門在曾氏後人的壹封信中表示，願意將曾氏園林移交給當地政府，以造福木子，紀念，弘揚當地優秀園林文化的愛國愛鄉之情。根據城市總體規劃，他們開始與蘇州師範學院協商，研究規劃學校搬遷事宜。蘇州師範學院也積極支持常熟名城建設，爭取與之合作。1989年初，市政府上報常熟市西南新建的常熟職業學院與蘇州師範學院合並，以便蘇州師範學院從增園遷出，經江蘇省教委同意。根據約定，9月7日1991，市政府與常熟師範學院約定。常熟學院與常熟市建委代表省教委、常熟市政府於5月1992簽訂了《原蘇州師範學院校舍移交常熟市人民政府協議書》。5月底，增園正式移交給常熟市建委及其下屬的城市園林管理處。從而為恢復增元，進壹步推進常熟歷史文化名城建設創造了良好的條件和基礎。