父親郭魯青沒有考上功名。他是個窮書生，當過辦事員和校對員，也當過家教。郭魯清於1937年抗戰時逃亡，死於蘇州農村東山。母親朱淑芳在她的故居1947去世。
和他的哥哥郭從小就生活在破破爛爛的地方。他們深刻理解種田的艱難和學習的重要性。他們覺得必須努力，自力更生。郭紹虞在家裏尊老愛幼，團結和睦。我生活節儉，但我大量供養我的父母。他的哥哥郭是壹位受過良好教育的中學教師，他們兄弟倆互有所需，感情深厚。
在父親的影響下，郭紹虞熱愛學習。後來由於家境貧寒，只在蒙陽壹中學了幾年。在陸、陸玉安兩位老師的指導下，他刻苦鉆研詩書，直至明遺民作品。甚至在畫店、古董店、二手書攤，他都接觸到了很多書畫名家、歷代各種文物、各種版本的古籍，大大開闊了眼界。所以，這些店鋪和小攤就成了他的街頭“博物館”和“圖書館”，讓他流連忘返。後來，他在壹所工業中學學習了兩年。因為從小熱愛文學，他在中學讀書時就連續辦了幾期《紀明雜誌》。後來因為家庭經濟困難輟學了。
郭家住在蘇州。因為家裏窮，沒有房產，所以壹直租房住。不僅條件很差，而且他經常被迫搬家。從65438年到0927年，郭紹虞成為燕京大學的教授後，他的生活相對穩定，並有壹點積蓄。於是他在蘇州大新橋巷買了壹套清末修建的普通住宅，供父母養老，並邀請當時在老家教書的哥哥郭與父母同住，自己則經常在節假日回蘇州看望父母。
郭紹虞的學術貢獻是眾所周知的，他在書法和藝術方面有很深的基礎
郭紹虞的夫人張芳興女士，早年畢業於上海李玟女子中學，後任教於福州女子師範學校。王先生去世後，編纂了《趙角室雜著》，由上海古籍出版社出版。