“自古雄才多磨難”，蘇軾也不例外。當年王安石主持變法，蘇軾站在對立面，幾次向神宗皇帝進言，極力陳述新法的各種弊端。蘇軾的言論自然引起王安石的不滿，王安石通過親信網羅罪狀，上書彈劾蘇軾。蘇軾感到在都城舉步維艱，就請求到外地做官。公元1079年4月，蘇軾到達湖州，到任不久，壹場災禍便從天而降。同年七月，禦史臺（舊稱烏臺）派人將蘇軾逮捕，押送汴京（今河南開封），罪名是作詩誹謗朝廷。蘇軾在獄中被關押了壹百多天，受審十余次，慘遭折磨。後經多方營救，於當年十二月釋放，貶為黃州（今湖北省黃岡）團練副使。這就是宋朝有名的文字獄——烏臺詩案。
蘇軾被貶官到黃州的壹段時期，不但在精神上感到十分寂寞，在生活上也是窮困潦倒，捉襟見肘。當時，朝廷給他的薪金已經用完了，蘇家人口又不少，他只得想方設法節約開支。他規定每日的開支不得超過壹百五十枚錢，每月初壹，他會拿出四千五百枚錢，分為三十份，裝在小袋裏，掛在屋梁上。每天早晨，他用壹根平時取畫、掛畫的長叉從梁上挑下壹袋，然後就把長叉收藏好。當天用不完的錢，則用大竹筒另外收藏，做招待客人之用。當大袋子裏攢了不少錢時，就再做別的安排。就這樣，蘇軾和家人度過了人生中最為慘淡的四年。
蘇軾在給好友秦觀寫信時，曾說：“平時過日子，壹點壹點地節省，等積多時再做安排，自然會水到渠成，沒必要做預先的計劃。”在如此落魄之際，蘇軾仍然能夠做到泰然自若，實在非常人所及。這正是：唯大英雄能本色，是真名士自風流。