浪跡五湖三泖間的倪瓚居無定所，在太湖四周的宜興、常州、吳江、湖州、嘉興、松江壹帶遊蕩，仍與“煙波釣艇江海不羈之士”壹起吟詩作畫，互相唱和，探討道學與佛理。明太祖洪武七年農歷十壹月壹十日，寄寓在江陰親戚家的倪瓚因病結束了他清高淒苦的壹生，時年六十九歲。如今讀他的《鵲橋仙·富豪休恃》，自能體會他的感受：富豪休恃。英雄休使。壹旦繁華如洗。鵲巢何事借鳩居……
在中國繪畫史上，倪瓚以其著名的太湖山水享譽天下。其畫作的意境荒寒空寂，風格蕭散超逸。據說到了明代，文人間悄然興起判斷雅俗的新標準——家裏是否掛有倪瓚的畫。除此之外，更令後人津津樂道的他的潔癖。他壹般身穿白袍，壹塵不染，起居處的任何地方都要打掃清潔。
倪瓚的居處名為“清宓閣”，閣內隨時都打掃得壹塵不染，門外還預備有客人鞋百雙，凡是客人來訪，壹律要換鞋。但除了少數好友或名流雅士，壹般來客倪瓚都不接見。他每天洗臉要換上好幾盆水，庭院中的草皮樹石，也經常要人清掃洗滌。
據說，倪瓚有次留客夜宿，半夜聽見了客人的咳嗽吐痰聲。第二天客人離開後，他立即叫仆人徹底搜尋，壹定要找出客人痰吐何處。仆人找了半天，實在毫無蹤跡，但怕被主人罵，就假說客人把痰吐在庭院的梧桐上了。倪瓚壹聽，馬上叫人大舉清洗梧桐樹。據說，倪瓚不僅洗梧桐，還畫有《洗桐圖》。
事實上，洗桐這壹行為及畫題有其自身的象征意義。梧桐，又名青桐，青，清也，澄也，與心境澄澈、壹無塵俗氣的人格精神相連，後人以此引申，使倪瓚這位高士的“洗桐”，不僅為其自身的高潔形象進行了加持，也使“洗桐”成為了文人潔身自好的壹種象征。
元末大隱士曹善誠感慕倪瓚的洗桐之意，建了梧桐園，園中植梧百株，朝夕洗滌，故又名“洗梧園”。明末清初的大畫家崔子忠，畫風清剛絕俗，與以清高標詡的“倪迂”堪為同道，也畫過《雲林洗桐圖》；清代學者畫家王世禎繪有《抱琴洗桐圖卷》；連康熙皇帝也有壹枚“洗桐山房”的寶璽；蘇州留園門檻上也有木雕的倪雲林《洗桐圖》。總之，後世有關洗桐的繪畫、雕刻之作數不勝數。由此看來，倪瓚的潔癖真是引領了數代潮流而不衰。