徐渭是晚明時期傑出的詞人、書畫家、古文家、戲曲家、學者和思想者，10歲就被譽為“神童”。然而令人想不到的是，他接下來的命運如此多舛。徐渭的父親在他出生百日後就患病去世了，雖然父親的正妻待他如親生，他的生母卻因家道中落被當做奴婢遣賣了。此時的徐渭已經10歲，這使他的心靈受到了沈重的打擊。嫡母去世後，徐渭的長兄徐淮開始主持家務，然而長兄很不靠譜。他沈迷於學道求仙，服食丹藥，不善理財，很快家產散盡。
徐渭從小苦讀，才華橫溢，也頗為自負，壹心想求取功名。然而科考的失敗卻給了他致命的打擊。徐渭16歲時首次參加科舉考試，應考秀才居然名落孫山。第二次參加童試仍未考中。他不服，就給主考的官員寫了壹封信，要求復試。負責主考的官員讀了他那才華橫溢的信，深受感動，破格準許他復試。經過這番波折，徐渭終於考中秀才。
中了秀才後，就可以參加全省的鄉試了。從那以後，徐渭每隔三年就赴杭州參加壹次鄉試，到1561年秋，41歲的徐渭第八次參加鄉試，仍與科考無緣，失望而返。這也是他最後壹次參加科考。自幼會寫“時文”的徐渭，躊躇滿誌地想以科考求取功名，但是由於當時社會政治腐敗，官場黑暗，再加上家道衰落，徐家無力買通考官，這個才子在這條路上吃盡了苦頭，屢試屢敗。
直到他後來徹底醒悟科場的黑暗，在《女狀元》壹劇中喊出了“不願文章中天下，只願文章中試官”，“ 文章自古無憑據，唯願朱衣暗點頭”的憤懣之語。除科考外，徐渭的家庭生活也頗為不幸，他的婚姻壹波三折。他壹生四次結婚，其中三次入贅女方家。
因為依據當地習俗，男女訂婚，男方要給女方家約六七百兩銀的聘禮。雙親早逝，依靠哥哥生活的他拿不出這麽多錢，入贅女方家庭實屬無奈之舉。這種寄人籬下的生活無疑意味著屈辱。21時的他被出任廣東陽江內史的山陰人潘可敬賞識，將長女許配給他。徐渭入贅潘家，在陽江與潘氏成婚，好在夫妻恩愛。然而好景不長，潘氏生了兒子徐枚後不久，就患肺病去世。
隨著同父異母的兩個哥哥相繼去世，徐家的老宅在壹場訴訟之後被人搶占。壹無所有的徐渭在妻子去世兩年後，離開潘家，在東城郡學附近租房開了學館，以授徒為生。徐渭29歲時，終於打聽到被遣賣的生母的下落，得以把母親接到身邊奉養。
38歲時，渴望壹展才學的徐渭，正式應召入胡宗憲幕府，成了胡總督府的壹名幕僚。當時徐渭是因擅長古文被推薦給胡宗憲的。徐渭覺得胡宗憲親近嚴嵩，便堅辭不受，甚至臥床裝病不起。後經師友勸導，才勉強入幕，但很快便回到山陰。
他自述入幕時的矛盾心態：壹旦為少保胡公羅致幕府，典文章，數縛而數辭，投筆出門。使折簡以招，臥不起，人爭愚而危之，而己深以為安。其後公愈折節，等布衣，留者蓋兩期，贈金以數百計，食魚而居廬，人爭榮而安之，而己深以為危。
因才略和文采出眾，性格孤傲、不拘禮節的徐渭在胡宗憲幕府得到了特別的賞識和優待。胡宗憲官高位顯，壹般的將吏畏懼他的威嚴，在他面前往往不敢擡頭平視。但他對徐渭卻優待有加。徐渭在胡宗憲幕府生活了五年，受到了“國士”般的禮遇，但也為他以後的遭遇埋下了隱患。在這五年裏，徐渭的主要工作是為胡宗憲代筆作文。
有壹次，胡宗憲在舟山得到壹頭白鹿，為迎合嘉靖皇帝的心思，呈現祥瑞，就命徐渭代他撰寫了壹篇《進白鹿表》。表文呈上之後，嘉靖大喜，對胡宗憲賞賜有加。第二年，軍中又得到壹頭白鹿，徐渭又代胡宗憲寫《再進白鹿表》。前後兩篇表文使胡宗憲獲得了朝廷的重賞，官職也由二品晉為壹品。
胡宗憲對徐渭更加看重，徐渭走向了幕府生涯的巔峰。胡宗憲對徐渭的生活狀況頗為關心，在他的幫助下，喪妻多年的徐渭曾入贅杭州的王家，但半年後離異。終於買下自家的住宅壹年後，徐渭又續娶張氏。
胡宗憲平倭息亂大功告成，卻遭人嫉妒，此時正趕上權傾朝野的大奸臣嚴嵩倒臺，胡宗憲突然被列為嚴嵩壹黨，受到彈劾。胡宗憲被押解到京城，幕府解散。由於平倭有功，世宗並未給胡宗憲治罪，只是解了職。但是部分被嚴嵩迫害的官員陸續受啟用後，還是把胡宗憲看作嚴嵩黨，視為政敵。曾經受胡宗憲賞識和重用的徐渭，此時心情極度緊張，擔心受到牽連。
此時，閑居在家、壯誌難酬的徐渭，引起了時任禮部尚書的李春芳的註意，李春芳托人送交他聘銀60兩，聘他出任幕僚。於是，想壹展抱負的他決定前往北京。可是李春芳壹直把胡宗憲當作政敵，他雖然待徐渭很客氣，但徐渭還是常常聯想起在胡宗憲幕府中受到的禮遇。
不到壹年，徐渭決定辭別李春芳回紹興。他賣掉部分家產，湊足60兩白銀，退還全部的聘銀，但李春芳不願收回。徐渭生怕自己與胡宗憲的關系被人聯系起來而遭報復。他整天焦慮不安，卻又束手無策。後來經朋友周旋，李春芳才勉強同意解除聘約。
徐渭回到紹興後，整日與朋友痛飲賦詩，排解心中的抑郁和不安。這時嚴嵩之子嚴世蕃在遠戍雷州的途中，逃回江西原籍，被人告發，被逮捕回京後處斬。嚴世蕃的案件又被政敵牽扯到胡宗憲身上，解職閑居的胡宗憲重新被關押，結果死在了獄中。
此時徐渭心情極為矛盾，嚴嵩父子得勢時，權傾朝野，欺壓百官，徐渭的朋友也有受其迫害而死的。所以嚴嵩是徐渭憎恨的巨惡。徐渭寫劇本《四聲猿》，其中就有以曹操影射嚴嵩的情節。徐渭壹方面感激胡宗憲對他的知遇之恩，認為自己應當效仿古代俠義之士，以死相報。
另壹方面內心又充滿矛盾，當年胡宗憲為嚴嵩祝壽的文章就有徐渭代筆的，裏面充滿了阿諛奉承之詞。徐渭覺得自己作為壹個清白文人，因這件事大打折扣，自己將因那幾篇代筆文章受到世人詬病。他心裏充滿苦衷，卻百口莫辯。悲痛惱恨之余，他抱著士為知己者死的信念，欲以死明誌。
胡宗憲死後，徐渭更是疑神疑鬼，擔心各種禍事可能會發生。他預先為自己寫了墓誌銘，對自己的家世、平生和學問做了總結，又把收藏的字畫、硯、劍等物委托朋友變賣，作為下葬之資。之後，他想盡辦法自殺。
病發時，他用長釘刺進耳孔，血流如註，卻不知疼痛。又用重物擊打腎囊，多次自殺未遂。徐渭有壹篇《感九詩》，記述了他九次自殺的情形。1566年冬，徐渭因壹時發怒，失手誤殺了繼室張氏而入獄。經過友人的全力營救，才免於死罪，改為長期監禁。
在獄中，他註解道家典籍、整理詩文。四年後，徐渭得以在獄中免除枷銬服刑。雙手不受限制後，他主要靠研習書法、繪畫來度日。隆慶六年，隆慶皇帝病卒，神宗繼位，改下年為萬歷元年。新皇登基，按慣例大赦天下，入獄六年的徐渭被友人保釋，得以重見天日。兩年後，他正式被釋放。
經過牢獄之災，他才真正拋開了仕途。他四處遊歷，過起了閑居生活。有時與朋友飲酒賦詩，有時泛舟江湖，尋訪詩朋畫友，還到過北部宣鎮邊陲。這段時間他創作了大量的詩文書畫作品，也曾在北京開館授徒，後來因舊病復發，精神出現異常，才又回到故鄉山陰城。
徐渭的朋友梅國楨在評價他時說：“文長吾老友，病奇於人，人奇於詩，詩奇於字，字奇於文，文奇於畫”。 梅國楨認為，徐渭不僅詩、文、書、畫堪稱奇特，他本人的性情、乃至病都可稱奇絕。梅國楨所說的“病”，是指徐渭自稱的“心疾”，是在現實刺激和人生的各種突發的變故中形成的，最終糾纏了徐渭大半生的精神疾病。
《榴實圖》是徐渭最重要的代表作之壹。此畫寥寥數筆，卻處處有畫意，筆筆見精神。在題畫詩中，徐渭把自己比況成久居深山的石榴，酣暢淋漓地抒發了他不被重用、英雄無用武之地的淒涼心情。此圖可謂詩中有畫，畫中有詩，傳達出中國獨特的藝術精神。
後來徐渭索性深居簡出，每天只與至交飲酒，縱談世事。他雖然貧窮，但頗有文名，許多附庸風雅的官員常去探訪他。而他看透了官場黑暗，對於所謂有身份的富貴人非常厭惡。有壹次，別人還沒走進門他就用手推門，說“我不在”。他怪誕反常的做法得罪了很多人，人們無法說清他真病還是假病，也有些人說他裝病。
徐渭晚年以開館授徒、賣畫寫文為生，但又與別的畫家不同——只在非常窘迫的時候才賣畫。只要經濟上稍稍寬裕，就不肯把畫賣掉。對於前來求畫的高官顯貴壹概拒之門外。而那些地位卑微的門人好友，只要稍帶些饋贈和問候，他就欣然揮毫。等到無法維持生計時，他又將收藏的名畫和雜物拿出來變賣。到後來，甚至連朋友贈的石磬以及藏書都不得不賣掉。徐渭晚年窮愁潦倒、貧病交加，常常“人際月下獨徘徊”。
“幾間東倒西歪屋，壹個南腔北調人”，這是徐渭畫《青藤書屋》時題寫的詩句，這裏透露了他內心的淒楚與辛酸，濃縮了他幾十年的不幸境遇，是他苦痛人生的寫照。徐渭73歲時，在貧病之中溘然長逝，死時躺在稻草之上，身邊只有壹只犬。臨死前，徐渭曾寫書記錄了自己的壹生，名為《畸譜》。
萬歷26年或27年的某天，公安派文學首領袁宏道去拜訪好友陶望齡，在陶望齡的書房裏，隨便抽出壹冊已經汙濁不堪的詩集，讀了幾首後，便驚奇地跳了起來，連連追問此書的作者是今人還是古人。陶望齡說這是同鄉前輩徐渭所著，袁宏道高聲驚嘆，如獲至寶。兩人在燈下邊看邊大聲叫好，以致把書童仆人都驚醒了。
此時，徐渭已去世五六年了。後來袁宏道用雋秀流美的文筆寫下了中國文學史上著名的散文經典名篇《徐文長傳》。