司馬遷10歲開始學習古文書傳。20歲時，從京師長安南下漫遊，足跡遍及江淮流域和中原地區，所到之處考察風俗，采集傳說。元封三年（前108），司馬遷繼承其父司馬談之職，任太史令,此後，司馬遷開始撰寫《史記》。後因替投降匈奴的李陵辯護，獲罪下獄，受宮刑。出獄後任中書令，繼續發憤著書，終於在公元前91年完成了《史記》的撰寫。人稱其書為《太史公書》。是中國第壹部紀傳體通史，對後世史學影響深遠.
司馬遷還撰有《報任安書》,記述了他下獄受刑的經過和著書的抱負，為歷代傳頌。據《漢書·藝文誌》著錄，司馬遷有賦八篇，但大都不傳，只有《悲士不遇賦》保存在唐歐陽詢等編纂的《藝文類聚》卷三十之中。
補註1：關於司馬遷出生年份的爭論
前145取自《太史公自序》的《正義》，所依據的是唐代張守節《正義》註稱：“太初元年，遷年42歲。”太初元年（公元前104年）往上推42年，則是景帝中元五年（公元前145年）王國維，梁啟超等主此說。前135取自《太史公自序》的《索隱》，依據晉代張華《博物誌》稱“大夫司馬遷，28歲古六月乙歲卯，石也”。也就是說，漢武帝元封三年（公元前108年），司馬遷升為太史令，年28歲，由此上推二十八年，即武帝建元六年（公元前135年）應為司馬遷生年。郭沫若等主此說。壹般采用前說。
持“建元六年說”者，千方百計證明《博物誌》是對的，而認為張守節《正義》的記載是錯誤的。理由主要有以下幾點：其壹，《博物誌》該條所錄的是漢代記籍簿，它記載著司馬遷的姓名、年齡、居住地、官爵、拜官年月和俸祿等等。如此詳細而真切，是錄自漢代文書，其真實無疑。這是壹種原始材料，它的價值遠遠超過壹般史書中的材料。其二，司馬遷《報任安書》中有壹句話：“今仆不幸早失二親。”如按《正義》所言司馬遷生於景帝中元五年，元封元年（公元前110年）其父司馬談死時，司馬遷應是36歲。按常理，36歲死去父母說不上“早失二親”。如按《博物誌》所言，司馬遷生於武帝建元六年，即26歲父死，說早失父母尚說得過去。其三，司馬遷《報任安書》作於征和二年（公元前91年），如果他生於景帝中元五年，這壹年應是55歲，他做郎中是在20歲左右邀遊各地回來後的事，那麽，他應該說待罪輦轂下30余年了。顯然，司馬遷不會連自己做過的事都記不清楚。只有晚生10年，即武帝建元六年，才符合其說。
持“景帝中元五年說”者除依據張守節的《正義》外，還提出以下幾個問題或論據。其壹，王國維在《太史公行年考》中認為後人引用《博物誌》所以年“二十八”應是“三十八”之誤。《正義》註稱太初五年，司馬遷“處四十二”是正確的。其二，根據〈史記?遊俠列傳〉所載武帝元朔二年（公元前127年），下令將各地毫強和資財三百萬緡以上的富戶遷往茂陵，郭解財產不多，也被強行遷徙，司馬遷也見到郭解，他說：“吾觀郭解狀貌不及中人，言語不足采者。”若司馬遷生於建元六年，當時年僅九歲，決不可能對人有如此深刻的觀察和心理活動。如果按司馬遷生於景帝中元五年，年齡為十九歲，似更合適。其三，根據《漢書?儒林傳》，司馬遷曾向孔安國學習古文，然據《史記?孔子世家》和《資治通鑒》，孔安國在元朔二年為博士，元朔二年司馬遷年方九歲，壹個九歲的孩子是不可能去太學向壹個經學大師求教和商量問題的；如果生於景帝中元五年，此年十九年，似較合理。