胡適與魯迅曾論證出《西遊記》作者是淮安人吳承恩。北京圖書館出版社出版的沈承慶遺作《話說吳承恩——〈西遊記〉作者問題揭秘》，提出《西遊記》的作者不是吳承恩，而是明嘉靖的“青詞宰相”李春芳，史學界對此尚有爭議。
李春芳少時曾在江蘇華陽洞讀書，故又號“華陽洞主人”。《西遊記》第95回有壹首詩：“繽紛瑞靄滿天香，壹座荒山倏被祥；虹流千載清河海，電繞長春賽禹湯。草木沾恩添秀色，野花得潤有余芳。古來長者留遺跡，今喜明君降寶堂。”沈先生發現，這首詩的第四、五、六、七四句，暗含“李春芳老人留跡”，與卷首“華陽洞天主人校”相壹致。
胡適與魯迅主張吳承恩為《西遊記》作者的根據是明天啟間《淮安府誌》。經沈先生考證，吳承恩寫的是《西湖記》，而不是《西遊記》。 萬歷年間的首輔王錫爵寫的 《太師李文定公傳》，記載了李春芳退休生活的幾個方面：
壹是奉親養老，“公既歸，則角巾私第，歲時伏臘，群諸子姓，緋衣蟒玉，奉觴尊人前壽。”歸鄉後，父母身體尚好，李春芳得以服侍將近十年，逢年過節或者父母生日，李春芳“率諸子姓次第上壽，二尊人顧而色喜”。隆慶皇帝頒給李春芳的《歸田敕》裏有壹句“展至樂於家庭”，這壹點李春芳做得很好。《明史》裏也說：“春芳歸，父母尚無恙，晨夕置酒食為樂，鄉裏艷之。”
二是交友論道， “從裏中鴻生巨儒及諸後生講論道藝”，與壹些老朋友 “歡續舊遊”。李春芳的 《貽安堂集》裏有很多文章和詩歌反映出這樣的交往，如 《夏日同諸會丈燕集墀石劉丈草堂》等。劉墀石就是宗臣《報劉壹丈書》中的劉壹丈，宗臣的父親宗周與李春芳是嘉靖二十六年的同年進士，交往也很多。此外，還有解宋、袁懷堂、陸西星等人， 《貽安堂集》以及 《興化縣新誌》裏都有提及。歸鄉後的十幾年，李春芳還為興化以及周邊州縣寫了不少文章，如 《重修範文正公祠堂記》、 《重修煙雨樓記》、 《重修泰興縣儒學記》等等，有些文章裏提到泰州與興化的關系： “海陵去吾興百裏而遙，風氣習尚大相類也。士人尚廉恥之行，閭閻敦簡樸之風，而人生其間，往往多壽”；提到高郵交通的發達： “夫郵四通九達之逵也，凡吳楚閩越轉輸筐篚之賈，朝覲聘問之使，南北交馳無虛晷”，至今，這些文讀起來也很有趣味。
三是關心民事，“間或婆娑裏社從三老問年穰匱”。盡管曾經貴為首輔，但歸鄉後李春芳很快融入民間，除了關註年歲豐歉之外，對地方的風俗教化也很重視。目睹當時興化棄禮相淩、縱情自侈的奢靡現象，李春芳親訂《鄉約事宜》，從婚嫁、喪禮、序齒、稱呼、壽誕、相見、分資、柬帖等方面，訂立了壹些讓鄉人遵守的條款，希望能夠 “回風俗之壹端”。此外，興化縣誌裏還有李春芳贈送《杜氏通典》、《十三經註疏》、《性理》等書籍給縣學的記載。“由狀元為執政，馮京不愧乎科名；以宰相而養親，王漙見容於當世。古稱盛事，今乃兼之”，這是《歸田敕》裏對李春芳致仕的評價。王錫爵《太師李文定公傳》裏也對李春芳這種優遊林泉、巢雲終老、“不復知人間事”的生活態度很欣賞，認為李春芳“可謂功名成全，孤標寡耦矣”。 明萬歷初期，李春芳已居林下，聞時政乖舛，每燕居竊嘆而不言。某日，適登金山，有感而發，賦詩雲： 誰將壹卷石，點破波心碧。 如彼浮雲起，太虛生障隔。 我欲遣天丁，鏟此塊然跡。 頓令如掌平，悠悠無喘激。 明晚期，著名書畫家董其昌亦遊金山，觀其詩贊不絕口，遂提筆手書，後被勒石壁間。過客傳誦，為金鰲題詠第壹。