單於正要派使者護送蘇武等人歸漢，適逢緱王與長水人虞常等人在匈奴內部謀反。緱王是昆邪王姐姐的兒子，與昆邪王壹起降漢，後來又跟隨浞野侯趙破奴重新陷胡地，在衛律統率的那些投降者中，暗[***被屏蔽詞語]同策劃綁架單於的母親閼氏歸漢。正好碰上蘇武等人到匈奴。虞常在漢的時候，壹向與副使張勝有交往，私下拜訪張勝，說：“聽說漢天子很怨恨衛律，我虞常能為漢廷埋伏弩弓將他射死。我的母親與弟弟都在漢，希望受到漢廷的照顧。”張勝許諾了他，把財物送給了虞常。
壹個多月後，單於外出打獵，只有閼氏和單於的子弟在家。虞常等七十余人將要起事，其中壹人夜晚逃走，把他們的計劃報告了閼氏及其子弟。單於子弟發兵與他們交戰，緱王等都戰死；虞常被活捉。單於派衛律審處這壹案件。張勝聽到這個消息，擔心他和虞常私下所說的那些話被揭發，便把事情經過告訴了蘇武。蘇武說：“事情到了如此地步，這樣壹定會牽連到我們。受到侮辱才去死，更對不起國家！”因此想自殺。張勝、常惠壹起制止了他。虞常果然供出了張勝。單於大怒，召集許多貴族前來商議，想殺掉漢使者。左伊秩訾說：“假如是謀殺單於，又用什麽更嚴的刑法呢？應當都叫他們投降。”
單於派衛律召喚蘇武來受審訊。蘇武對常惠說：“喪失氣節、玷辱使命，即使活著，還有什麽臉面回到漢廷去呢！”說著拔出佩帶的刀自刎，衛律大吃壹驚，自己抱住、扶好蘇武，派人騎快馬去找醫生。醫生在地上挖壹個坑，在坑中點燃微火，然後把蘇武臉朝下放在坑上，輕輕地敲打他的背部，讓淤血流出來。蘇武本來已經斷了氣，這樣過了好半天才重新呼吸。常惠等人哭泣著，用車子把蘇武拉回營帳。單於欽佩蘇武的節操，早晚派人探望、詢問蘇武，而把張勝逮捕監禁起來。
蘇武的傷勢逐漸好了。單於派使者通知蘇武，壹起來審處虞常，想借這個機會使蘇武投降。劍斬虞常後，衛律說：“漢使張勝，謀殺單於親近的大臣，應當處死。單於招降的人，赦免他們的罪。”舉劍要擊殺張勝，張勝請求投降。衛律對蘇武說：“副使有罪，應該連坐到妳。”蘇武說：“我本來就沒有參予謀劃，又不是他的親屬，怎麽談得上連坐？”衛律又舉劍對準蘇武，蘇武巋然不動。衛律說：“蘇君！我衛律以前背棄漢廷，歸順匈奴，幸運地受到單於的大恩，賜我爵號，讓我稱王；擁有奴隸數萬、馬和其他牲畜滿山，如此富貴！蘇君妳今日投降，明日也是這樣。白白地用身體給草地做肥料，又有誰知道妳呢！”蘇武毫無反應。衛律說：“妳順著我而投降，我與妳結為兄弟；今天不聽我的安排，以後再想見我，還能得到機會嗎？”蘇武痛罵衛律說：“妳做人家的臣下和兒子，不顧及恩德義理，背叛皇上、拋棄親人，在異族那裏做投降的奴隸，我為什麽要見妳！況且單於信任妳，讓妳決定別人的死活，而妳卻居心不平，不主持公道，反而想要使漢皇帝和匈奴單於二主相鬥，旁觀兩國的災禍和損失！妳明知道我決不會投降，想要使漢和匈奴互相攻打。匈奴滅亡的災禍，將從我開始了！”
衛律知道蘇武終究不可脅迫投降，報告了單於。單於越發想要使他投降，就把蘇武囚禁起來，放在大地窖裏面，不給他喝的吃的。天下雪，蘇武臥著嚼雪，同氈毛壹起吞下充饑，幾日不死。匈奴以為神奇，就把蘇武遷移到北海邊沒有人的地方，讓他放牧公羊，說等到公羊生了小羊才得歸漢。同時把他的部下及其隨從人員常惠等分別安置到別的地方。 蘇武遷移到北海後，糧食運不到，只能掘取野鼠所儲藏的野生果實來吃。他拄著漢廷的符節牧羊，睡覺、起來都拿著，以致系在節上的牦牛尾毛全部脫盡。壹***過了五、六年，單於的弟弟於靬王到北海上打獵。蘇武會編結打獵的網，矯正弓弩，於靬王頗器重他，供給他衣服、食品。三年多過後，於靬王得病，賜給蘇武馬匹和牲畜、盛酒酪的瓦器、圓頂的氈帳篷。王死後，他的部下也都遷離。這年冬天，丁令人盜去了蘇武的牛羊，蘇武又陷入窮困。
漢昭帝登位，幾年後，匈奴和漢達成和議。漢廷尋求蘇武等人，匈奴撒謊說蘇武已死。後來漢使者又到匈奴，常惠請求看守他的人同他壹起去，在夜晚見到了漢使，原原本本地述說了幾年來在匈奴的情況。告訴漢使者要他對單於說：“天子在上林苑中射獵，射得壹只大雁，腳上系著帛書，上面說蘇武等人在北海。”漢使者萬分高興，按照常惠所教的話去責問單於。單於看著身邊的人十分驚訝，向漢使道歉說：“蘇武等人的確還活著。”
單於召集蘇武的部下，除了以前已經投降和死亡的，總***跟隨蘇武回來的有九人。 蘇武於漢昭帝始元六年（前81年）春回到長安。蘇武被扣在匈奴***十九年，當初壯年出使，等到回來，胡須頭發全都白了。