烏臺詩案，使蘇軾被押禦史臺壹百二十多天。這是蘇軾遭遇的人生第壹禍事，罪名是諷刺新法、謗毀君相。蘇軾萬萬沒有想到，壹篇《湖州謝上表》裏的牢騷話和《元豐續添蘇子瞻學士錢塘集》裏的幾首諷刺新法的詩，竟會召來如此慘痛的災禍。幸虧有很多正義的大臣大力援救，就連身患重病的太皇太後曹後也出面說話：有壹次，仁宗皇帝主持殿試歸來，甚喜，曰：“朕今天又為我的子孫謀得太平宰相兩人”，說的就是蘇軾、蘇轍啊，妳現在殺蘇軾合適嗎？因變法罷相閑居江寧的王安石也有上書，奏中曰：哪有聖明之世殺才士乎？神宗本來就愛惜蘇軾的才，就“以公壹言而決”，把蘇軾貶到了黃州任團練副使。
蘇軾出獄，喝酒時詩性又起，遂吟詩壹句：
卻對酒杯渾似夢，試拈詩筆已如神。
蘇軾以詩文被彈劾，出獄後又喝酒吟詩，酒醒，想到後怕處，私自罵曰：猶不改也！
東坡，就是東邊的山坡。比如在長江邊的忠州城外，就有壹處東坡。唐代元和年間，白居易被貶忠州，他十分喜愛那裏的東坡，作詩曰：
朝上東坡步，夕上東坡步。
東坡何所愛？愛此新成樹。
黃州城依赤壁山而築，雖有東、南、西、北四門，但四門並非是正對東、南、西、北。除東門之外，南門實際位於東南，西門位於西南，北門位於西北。黃州本是壹座山城，四周岡巒起伏。東南隅的山坡上有壹處比較平曠開闊，面積有五十來畝，原是官家廢棄的營地，荒草離離，瓦礫遍地，不像忠州東坡那樣綠樹成蔭。即使在蘇軾把這塊荒地開墾出來之後，每當他乘著月色在東坡散步時，手中的拄杖還會不時拄到路上的瓦礫，發出“鏗然曳杖聲”。
元豐三年（1080年）二月，蘇軾在禦史臺差役的押解下來到黃州。當時只有長子蘇邁在他身邊，其余的家人都由弟弟蘇轍暫時照看著，直到五月底才來到黃州與蘇軾團聚。蘇軾平時沒有多少積蓄，壹到黃州便陷入了窮困境地。他寫信給故友章惇說：黃州的魚蝦、稻米、木柴和木炭都很便宜，窮人在這裏生活是可以的。然而，由於我平時沒有積蓄，薪俸所得，隨手就花費了。兄弟蘇轍有七個女兒，負債如山，現在家人都在他處，不知何日來到黃州。我現寓居僧舍，布衣蔬食，隨僧侶吃飯，倒也簡單，很擔心家人的到來如何生計！
果然，合家團聚之後，蘇軾的積蓄只勉強支撐了壹年，正在此時，故友馬正卿前來探望。馬正卿，名夢得，是杞人。二十年前，他正在京師做“太學正”的學官，壹天，即將赴任鳳翔府通判的蘇軾前去訪問他，正逢他外出，便信手在其書齋的墻壁上題了壹首杜甫的《秋雨嘆》。馬正卿看了蘇軾的題詩，心有所感，便辭去官職，跟隨蘇軾前往鳳翔去當了幕僚。關於馬正卿，蘇軾謫居黃州東坡時有詩贊曰：
馬生本窮士，從我二十年。
日夜望我貴，求分買山錢。
我今反累生，借耕輟茲田。
刮毛龜背上，何時得成氈。
可憐馬生癡，至今誇我賢。
眾笑終不悔，施壹當獲千。
如今馬正卿看到蘇軾生活窮困，便出面向官府提出申請，讓蘇軾開墾東坡上那片廢棄已久的營地以謀生計。此時黃州太守徐大受對蘇軾很有好感，馬正卿的申請順利地獲得批準。於是蘇軾買了壹頭耕牛，動手開墾東坡。蘇軾率領家人，拾瓦礫，燒枯草，平整土地，還疏浚了壹口廢棄已久的暗井。除了馬正卿之外，黃州的幾位朋友潘丙、郭遘和古耕道等人也趕來相助。
風吹日曬，眾人不辭辛苦，到了深秋，他們終於在地裏種上了麥子，第二年就有了收獲。麥子收割後又種上中稻和大秋農物，夜晚，蘇軾看到沾著露珠的秧苗在月光下閃著銀光，心中充滿了欣慰。後來蘇軾和家人又在田地四周種了數百棵桑樹，以及壹些棗樹、栗樹，還在東坡附近蓋了五間草房，號“東坡雪堂”；並自稱“東坡居士”。
元豐五年（1082年）七月，米芾三十二歲，已在長沙從事任上七年。離開京城放外任職時，米芾才二十歲，由秘書省校書郎改任臨桂尉、含光尉。離京時，米芾已成家，夫人娘家是京城官宦曹編修家二女兒。崔駙馬作的媒，閻氏相過後，比較滿意。閻氏對崔駙馬說：雖然都是官宦人家，曹家小姐容貌姣好，識文斷字，婚後相夫教子，縫縫補補，遵守婦道，日子可是長著呢！崔駙馬言道：夫人盡可寬心，我與曹編修相識多年，與光輔都是同道朋友，與人相處其人品可堪稱上等。確實，米芾與曹家小姐婚後，倒也夫妻恩愛。
此時，米芾在長沙任上，家中已有三個兒子與兩個女兒。幸虧夫人操持家務有方，還有從京城出來時帶的女仆李姐兒幫襯。在長沙，有壹天米芾回家早，二兒和三兒在院子裏玩沙土，二兒比三兒大壹歲，總是欺負三兒。米芾看到二兒捧起壹把沙土往三兒頭上撒下去，後來又抓了壹把沙土往三兒屁股裏塞。夫人曹氏看見，照著二兒的屁股就是壹巴掌。米芾看到沒有吭聲，只是笑。在家裏，米芾看到，李姐兒在擦拭桌椅板凳，夫人在縫補衣衫。三兒老是跟著李姐兒後頭轉。壹會兒，二兒和三兒在壹起，二兒用手指頭使勁點了壹下三兒的腦袋，三兒倒在地上哭了起來。李姐兒過來抱著三兒哄著。二兒三歲，三兒只有壹歲零九個月。看著二兒和三兒嬉戲玩鬧，壹時米芾心中有壹股暖意。
在長沙，米芾曾受命寫下了《瀟湘八景圖》詩，這八首詩的詩名為：瀟湘夜雨、洞庭秋月、遠浦歸帆、平沙落雁、煙寺晚鐘、漁村夕照、山市晴嵐、江天暮雪。其中有壹首詩《元浦歸帆》，詩曰：
漢江遊女石榴裙，壹道菱歌兩岸聞。
賈客歸帆休悵望，閨中紅粉正思君。
這首詩米芾喝醉酒後，贈給了長沙瀟湘酒樓的壹個歌妓。這位歌妓年方十八，名方倩，東京人氏。
本來，米芾與幾位好友正在吃酒，談詩論畫，正在興頭上。壹位歌妓懷抱琵琶，進到房間裏。座中壹位書生說道：姑娘，我們不聽小曲兒，請回吧！米芾看到這位姑娘，頭挽發髻，發髻中插有壹根玉簪，大眼、巧鼻、小嘴，上襦下裙，身材嬌俏，心中頓生好感，仿佛有壹種似曾相識的感覺，便說道：且慢，請問姑娘，會唱什麽曲子啊！回先生的話，看先生喜歡聽什麽曲子呀！歌妓答道。我想聽壹曲柳七先生的《雨霖鈴》會嗎？歌妓回答：會的。壹曲唱過，米芾覺得此女的琵琶和嗓音還好，便又問道：秦少遊先生的詞會唱嗎？歌妓回答：也會的，還會唱《鵲橋仙》。米芾說：好，妳唱吧。歌妓把秦少遊的《鵲橋仙》唱過後。壹時，席中人等都沒有說話，都在回味少遊詞中的：柔情似水，佳期如夢。兩情若是久長時，又豈在朝朝暮暮！
沈靜了壹會兒，米芾問道：最近新學了什麽曲子，能說說嗎？歌妓沈吟了壹下，說道：小女子剛學會唱《瀟湘八景圖》，不知道唱得中聽不中聽！米芾心中壹動，便說道：姑娘唱唱看，不妨事的。於是歌妓唱起了《瀟湘八景圖》來。這壹唱，曲子中略帶有湘中風味，壹時讓座客中人沈浸在瀟湘美景之中。歌妓唱罷，座客中有人拍手祝賀。座中還有人起身舉杯對米芾說道：元章兄，當浮壹杯否？米芾站起身來端起酒杯，將杯中酒壹口喝下。
舉杯與米芾幹杯的人對歌妓說道：姑娘知道這《瀟湘八景圖》是誰寫的詩嗎？那人將手壹指米芾說道：這是我們米大人的手筆。當即，歌妓面露喜色。米芾也從歌妓的眼睛中看出驚訝、激動、興奮還有些別的什麽。歌妓對米芾道了壹個萬福，說道：大人在上，小女子有禮了。米芾忙說：罷了，罷了。接著米芾問歌妓何方人氏？歌妓回答：京城人氏，名方倩，叫小女子倩兒吧。這壹說，米芾借著酒意，對剛才與自己舉杯飲酒之人說道：看賞，給銀子！那人忙從懷中掏出二兩銀子賞於倩兒。
座客中有人對米芾說道：元章兄，我看出來了，倩兒與兄有緣，何不續緣！隨即，米芾讓人拿來筆墨，把那首詩《元浦歸帆》書寫成牘，贈與倩兒。寫這首詩的時候，米芾心中隱約有壹個形象模糊的女子，當女子形象清晰時，好像就是眼前的倩兒。米芾對倩兒說道：倩兒啊，我不會給女子寫詩作詞，也沒有柳七先生和少遊先生的性情和才氣。可是當我寫《元浦歸帆》的時候，心中卻有壹個女子，在暗思遠方的郎君或意中人。這可能就是緣分，當妳壹出現時，我就覺得那女子就是妳了。這也就是我把這首詩書寫成牘，贈與倩兒的緣由了。
壹時，座中人沒有人說話，歌妓倩兒的眼睛有些濕潤，說道：能遇到大人，是小女子的福份，實話說在小女子的睡夢中依稀與大人相遇過。只是小女子福淺命薄，那是老天爺註定的。座中人有人嘆息道：前世姻緣，今生註定，如能續緣，豈不美哉！此時，米芾酒喝多了，趴著桌子睡著了……
米芾七月過黃州以書畫會友，拜識了謫居在此的蘇軾。蘇東坡與米元章酒酣之時，相知之意已濃。蘇軾對米芾說道：請元章把這張觀音紙貼墻上。米芾遵命行之。即時，蘇軾乘著酒興，壹手秉燭，壹手握筆，站在墻邊，作了壹幅畫，畫上有兩竹枝、壹枯樹，亦有壹怪石。畫成為《枯木竹石圖》，遂贈米芾。米芾後來曾說過，此圖被駙馬都尉王詵借走後不還。
在黃州，蘇軾還把幾位朋友介紹給米芾，這其中有駙馬都尉王詵、太守徐大受。還有來訪蘇軾的江西文士董鉞、綿陽道人楊世昌等人。王詵，字晉卿，太原人，出身世家，娶英宗之女蜀國公主為妻，官駙馬都尉及定州觀察使、利州防禦使。元豐二年因受蘇軾牽連貶官，責授昭化軍節度行軍司馬，均州安置，移潁州。王晉卿能詩善畫，亦工詞，詞風清麗。徐大受，字君猷，時任黃州太守，蘇軾謫居於此，感其恩惠，常與之交遊。
壹天夜晚，蘇軾與米芾、王詵、徐大受等諸友乘船遊於赤壁之下的江面上，清風緩緩吹來，江水微起波瀾，蘇東坡舉杯與諸友同飲。月亮從東山上升起，很圓很亮。白茫茫的霧氣籠罩著江面，波光與星空交融在了壹起，葦葉般的小船在茫茫萬頃的江面上隨意飄動著。這時候，蘇軾與諸友喝著酒，敲著船舷唱著歌。友人中還有人吹起了洞簫，簫聲嗚嗚的，余音悠悠。聞聽這簫聲，蘇軾不禁感懷起來，說道：此情此景多麽讓人感慨焉！諸友中王詵說道：“月明星稀，烏鵲南飛”是曹孟德的詩。從這裏西望，是夏口；東望則是武昌。這是當年曹孟德被周瑜圍困的地方！那時曹孟德奪取荊州，攻下江陵，順著長江東下，戰船連接千裏，旌旗遮天蔽日，江上灑酒祭奠，橫端長矛朗誦詩篇，是何等的英雄！米芾接上話笑著說：現在什麽都沒有了！蘇軾說道：如今我或在江中打魚或在沙洲上打柴或躬耕在東坡。王詵說：現在是我們同乘壹葉孤舟，在這裏舉杯互相勸酒。人活天地間，小如螻蟻。徐大受感慨道：想起生命的短暫，真羨慕長江的流水，想象著與神仙壹起遨遊，或與明月同在多麽美哉！蘇軾說道：天地之間，萬物各有其主，只有這江上的清風和山間的明月，是天地間的寶藏，我們可以***享。蘇軾的話，大家贊同，於是舉酒相碰，壹飲而盡。
在黃州過了立秋季節，雖然壹時暑氣難消，天氣還是逐漸涼爽起來。早晨有薄霧升起，秋天感陰而鳴的寒蟬也開始鳴叫。在東坡由蘇軾和家人***同開墾的數十畝地裏，谷禾生長旺盛，中稻開花結實，豆菽結莢，玉黍、蜀黍抽雄吐絲，甘薯葉綠薯塊正在生長。農諺上說：立秋三場雨，秕稻變成米、立秋雨淋淋，遍地是黃金。
這天上午巳時，太陽仍是火熱的，蘇軾與家人在田地裏拔草，米芾過來拜訪了。米芾對蘇軾言道：東坡兄堪比南朝之五柳先生，此處東坡也勝似桃花源了！蘇軾笑曰：元章過獎了！我這是苦中有樂、樂中有苦。再者，早臥早起，與雞具興；早睡利於陽氣之收斂，早起為求肺氣之舒展也！米芾接話說道：那麽，我也學壹學東坡兄，做壹回農夫何如！蘇軾忙說：自有內子帶領家人勞作，不敢有勞大人駕！蘇軾自是吩咐家童沏茶款待米芾不提。
米芾與蘇軾的交談話題是從詩詞文賦開始的。米芾說：詩詞文賦，立言狀物，我皆自思自作，不去重蹈前人壹言。米芾還說：我自會寫景狀物，何必抄襲古人詞語。尤在長沙，我三十歲時，翻看自己從前所作均不滿意，就壹把火全部焚毀了。再則，平生不會把自己的某篇詩詞文賦或書學之作投於王公貴人，若遇知己索壹二篇，這是文士相知相惜之交往也。
蘇軾笑說：元章啊！詩詞文賦和書學之作，怎麽能夠焚毀焉！妳的留存可以焚毀，別處留下的詩詞文賦書學之品不是依舊留存乎！
米芾想想，這倒也是。
蘇軾說道：沒有必要過於苛求自己，詩詞文章皆出於自然。寫詩作畫，我以儒學對“君子”的行為規範來年，技藝在此回到了它原本應該有的位置。“技近乎道”，文士通過習藝，固然得到身心的放松和娛樂，同時也加深了對“道”的認識和體驗。
蘇軾說：世間萬物沒有固定的常態，某處的缺失或者就是其具體的表現，猶如山有奇峰，水有湍流，人有俊醜，樹有枯木，馬有老瘦。“常理”是“道”，違反“道”就失去“常理”，會導致滿盤皆失。蘇軾評論吳道子畫作說道：吳生的畫作雖然絕妙，但過於畫工。他對好友文同畫作的評論：文同畫竹，見物不見人。……其身與竹融合，變化無窮而出清新之意。
米芾對蘇軾說：我作畫，信筆作之，多以煙雲掩映樹石，意似即可。
米芾與蘇軾談文論道，關於書學，蘇軾對米芾說道：要學晉人書風。
米元章元豐五年在黃州謁見蘇東坡，承其書學觀點，始專學晉人，其書大進。