至於司馬遷的死，《漢書》本傳上只是說：遷既死後，其書稍出。 司馬遷是病故、被殺還是自盡，沒有透露。但公元前91年後，壹直跟漢武帝東遊西走的司馬遷再也見不到其行蹤，這卻是史實。司馬遷倘若是病故，班固會秉筆直 書的，從其本傳的行文看，這壹死因可排除。那麽，司馬遷的死就有兩種可能：他殺或自盡。
東漢學者衛宏在他的《漢書舊儀註》中說：司馬遷作《景帝本紀》，極言其短，及武帝過，武帝怒而削去之。後坐舉李陵，降匈奴， 故下蠶室，下獄死。後來，許多史籍也沿用此說。但司馬遷下獄死的說法亦有不可信處，明明司馬遷為了寫《史記》，受宮刑而抵死罪，怎麽又死於獄中？ 《漢書》本傳載：遷既被刑之後，為中書令，尊寵任職。受漢武帝尊寵並重用，怎麽又會將其殺死呢？再說，司馬遷寫《史記》是藏之名山，他死後多 年其外孫楊惲才把這部名著公諸於世，當時漢武帝是不會看到《景帝本紀》的。這樣壹來，又有人說司馬遷可能是自盡。
司馬遷是很重視節操的知識分子，寧死也不願受宮刑那樣的奇恥大辱， 但尊父命要寫完《史記》，他只好忍辱茍活。征和二年（公元前91年）冬，他寫了著名的《報任少卿書》，實際上這是他的絕命書，此書信寫後，司馬遷便消聲匿 跡了。他在信中抒發了自己遭受災難的滿腔悲憤，敘說了自己隱忍茍活的原因，講到了對死的看法：人固有壹死，或重於泰山，或輕於鴻毛。又在書信的結尾處 說：要之死日，然後是非乃定。他給在獄中要判死刑的朋友任少卿寫此信時，打算藏之名山，傳之其人的《史記》已經完稿，感到再忍辱茍活便毫無意義 了，遂向朋友剖白了心跡之後，便自盡身亡了。