1949年後，顏因病退隱家中，與著名藝術家有大量交往。他的家成了老朋友聚會的地方。嚴年輕時熱衷於民主革命。他曾經拜孫中山為師，孫中山給他寫過關於“博愛”的文章。嚴以公心，恪守信用，先後慷慨解囊，數百萬元用於文化體育事業，扶貧濟困。六十五歲後，他沈迷於學習。晚年著有《孔子與現代思想》、《中國楷書詞典》。退休後，嚴熱衷於慈善事業，為祖國和平統壹奔走於兩岸之間。1988病逝，享年89歲。解放後，他向北京、南京、上海等地的教育、兒童、青少年、老年基金會捐款，共計50多萬元。1980，閻向上海博物館捐贈清代行書《九德頌》、朝鮮古代青釉白花花罐、明清藏品等珍貴文物。1981年，他將早年在蘇州購買的著名古典園林“鶴園”捐獻給國家。
嚴晚年主編的《中國楷書詞典》於6月由江蘇古籍出版社1985出版，時隔6年獲得江蘇省優秀圖書壹等獎。其專著《孔子與現代政治》分別於1980和1985在臺灣省出版。嚴在1978和1983兩次當選為議員。1980任民建、工商聯顧問。1984任南京市兒童福利基金會名譽會長，1986任上海市宋慶齡基金會理事。