字子長，夏陽（今陜西韓城）人。他生於史官世家，祖先自周代起就任王室太史，掌管文史星蔔。父親司馬談在武帝即位後，任太史令達三十年之久。司馬談博學，精通天文、《易》學和黃老之學。司馬遷十歲起誦讀「古文」，並接受其父的啟蒙教育。淵源久長的家學對他後來治學道路有深刻的影響。後隨父去長安，同當時著名經學大師孔安國、董仲舒學習《古文尚書》和《春秋》。十九歲為補博士子弟。二十歲隨博士褚太等六人「循行天下」，開始了他的遊歷生活。他的足跡到達會稽，訪問夏禹的遺跡；到過姑蘇，眺望範蠡泛舟的五湖；到達淮陰，訪求韓信的故事；到過豐沛，訪問劉邦、蕭何的故鄉；到過大梁，訪問夷門，並考察秦軍引河水灌大梁的情形；到過楚，訪問春申君的宮殿遺址；到過薛地，考察孟嘗君的封邑；到過鄒魯，拜仰孔孟的家鄉。此外，他還北過涿鹿，登長城，南遊沅湘，西至崆峒。壯遊使他開闊了眼界，增長了知識。回到長安後，武帝對這個廣聞博識、學問豐富的年輕人十分重視，命他為郎中，讓他帶著皇帝的命令出使巴蜀，到達今天昆明壹帶大西南地區。
讀萬卷書，行萬裏路，奠定了司馬遷以後著書立說的厚實基礎。元封元年（前110），漢武帝封泰山，司馬談以職任太史公而不能從行，憤懋而死。臨終前他難過地對司馬遷說：「我死以後，妳必為太史。做了太史，莫忘了我的遺願。今大漢興盛，海內壹統，上有明主賢君，下有忠臣義士。我身為太史，而未能記載，愧恨不已。妳壹定要完成我未竟之業！」司馬談死後，司馬遷繼任父職為太史令，使他有機會讀遍皇家藏書處石室金櫃收藏的文史經籍，諸子百家，及各種檔案史料。太初元年（前104），他以太史令身分和中大夫孫卿、壺遂及歷官鄧平、落下閎、天文學家唐都等二十余人，改革歷法。經這批專家通力合作，反復計算、選擇，終於在這年五月造成新歷，這就是著名的《太初歷》。《太初歷》改以正月為壹歲之首（秦歷以十月為壹歲之始），壹月的日數為二十九點五三天，壹歲壹年壹的日數是三百六十五點二五天，這是當時世界上最先進的歷法，也是甲國歷法史上進行的第壹次大改革。此後，他秉父遺誌看手準備編寫《太史公記》（《史記》）。
天漢二年（前99），他的同僚李陵出征匈奴時被圍，在矢盡糧絕的情況下投降匈奴。消息傳到長安，武帝大怒。朝廷的文武百官，都大罵李陵投降可恥。司馬遷不作聲。武帝問他有什麽意見，書生氣十足的司馬遷百言不諱地說：「李陵轉戰千裏，矢盡道窮，古代名將也不過如此。他雖投降，尚屬情有可原。臣以為只要他不死，他還是會效忠漢朝的。」盛怒中的漢武帝聽了司馬遷這番話，認為他是為李陵辯解，是在故意貶低當時正在打匈奴而又很不順利的李廣利，於是命令把司馬遷判為死罪（或以腐刑代替）。漢武帝時代，判了死罪的可以出錢五十萬減死壹等。但家境並不富裕的司馬遷拿不出這壹筆錢，只能受「腐刑」（宮刑）來選擇「偷生」這條路。不幸的遭遇，使司馬遷精神受到極大刺激，曾壹度想自殺，但他想起了父親的遺言，又以古人孔子、屈原、左丘明、孫子、韓非等在逆境中發憤有為鼓勵自己，終於以驚人的意誌忍辱負重地活了下來。身心備受摧殘、忍辱含垢生活的司馬遷深知，「人固有壹死，死有重於泰山，或輕於鴻毛」。他決心以殘燭之年，完成父親要他完成的史書。經過六年的囚禁生活，征和元年（前93）終於出獄。武帝對司馬遷的才能還是愛惜的，任命他為中書令。從此他埋首奮發著述，終於完成了「究天人之際，通古今之變，成中家之言」的巨著——《史記》。
《史記》，原名《太史公書》，又稱《太史公記》、《太史記》，至東漢末年才百稱為《史記》。司馬遷意在使其「藏之名山，副在京師，俟後世聖人君子」。漢宣帝時，司馬遷外孫楊惲把它公之於世。其時已有少量缺篇，為後人褚少孫等補足。
《史記》是中國史學上第壹部紀傳體通史，開創了紀傳體通史的恢宏先河。《史記》有本紀十二，列傳七十，此外還有世家三十、表十、書八，***壹百三十篇，五十二萬五千六百字，記載了從黃帝至漢武帝約三千年間史事。
「本紀」是全書的總綱，以編年為體，記載歷代帝王的世系，年代久遠的以朝代為主，年代稍近的以帝王或實際當權者為主。「本紀」實質上是全國編年大事記，起提綱摯領的作用。
「世家」亦以編年為體，記述王侯封國、開國功臣和有特殊地位、特殊影響的人物。其事或許並非牽涉全國，然於某壹封國或全國社會生活的某壹方面有巨大影響，多數可視為「國別史」，諸如「晉世家」、「楚世家」、「孔子世家」、「陳涉世家」等。
「列傳」所占篇幅最多，可分兩大類：壹類是人物傳記，有壹人壹傳的專傳，有兩人或數人的合傳，按人物性質排列立傳。所記人物範圍極廣，涉及貴族、官僚、政治家、經濟家、軍事家、哲學家、文學家、經學家、策士、隱士、說客、刺客、遊俠、醫士、占蔔者、俳優等社會各個階層。另壹類是對外國或國內少數民族的記載，涉及中外關系史和國內民族關系史。前壹類列傳有「伯夷列傳」，「孫子吳起列傳」、「刺客列傳」、「儒林列傳」等；後壹類有「匈奴列傳」、「南越列傳」、「西南夷列傳」、「朝鮮列傳」等。「列傳」對「本紀」起了充實和具體化的作用。
「表」，以譜列帝王、諸侯、貴族、將相大臣的世系、爵位和簡要政績，以年代遠近、史事繁簡而別為世表、年表、月表。今人觀之，也可分為大事表和人物表兩類，諸如「三代世表」、「十二諸侯年表」、「高祖功臣侯者年表」、「漢興以來將相名臣年表」等。「表」的作用是形象、直觀，便於觀覽，可補「本紀」、「世家」、「列傳」之不足，又可省去不少文字，使記載免於繁冗。
「書」，分門別類記述歷代歷法、禮樂、封禪、水利、經濟等典章制度，反映了社會生活的各個方面，是《史記》很重要的部分，諸如「禮書」、「樂書」、「歷書」、「河渠書」、「平準書」等等。其中尤以「平準書」最為精彩，記社會經濟狀況，特別是漢朝經濟政策的演變，開後代正史「食貨誌」之先河。
歷來人們稱《史記》是紀傳體史書，強調本紀和列傳的重要性。其實，作為全書的組成部分，表、書、世家都有紀、傳不能代替的獨立的價值，嚴格地說，它應是紀傳誌書體，是壹種綜合體史書。
司馬遷在《史記》裏不僅記載了大量史實，並且要「考其行事，綜其始終，稽其成敗興壞之紀」，來「究天人之際，通古今之變，成壹家之言」。他要從錯綜復雜的歷史事實中探索出壹些道理，提出自己的看法來。因此，他不只是壹個史事的整理者，而且是壹個偉大的思想家。
「究天人之際，通古今之變」，即探究天人關系、疏通古今變化的主旨，集中反映了司馬遷歷史哲學的精髓。
「究天人之際」，司馬遷首先強調天人相分，即認為天道與人事是不相幹的。在《伯夷列傳》裏，他以伯夷、叔齊和顏淵為例，對「天道無親，常與善人」的說法進行批評，說「天之施善人，其何如哉？」到了近世，那些品行不好，專犯忌諱的人，卻「終身逸樂，富厚累世不絕」；反之，公正發憤的人，常「遇災禍者，不可勝數也」。由此，他深沈地寫道：「余甚惑焉，倘所謂天道，是邪非邪？」他對項羽英雄壹世但從不自察，臨死之前還壹再說「此天之亡我，非戰之罪也」，持嚴肅批判的態度，說是「豈不謬哉！」他對漢武帝大肆揮霍搞封禪祭祀、祈求神仙的活動，予以深刻的揭露，認為這種活動毒害了社會風氣，「然其效可睹矣」，予以強烈的諷刺。而在寫到人的活動時，刻意寫出人事在歷史發展中的重要作用。他在《太史公自序》裏說，三十世家，是要寫出「輔拂股肱之臣」的「忠信行道，以奉主上」；七十列傳，是要寫出那些「扶義俶儻，不令己失時，立功名於天下」的人們的活動。這在中國史學發展上，第壹次把人的活動放到如此重要的歷史位置上來看待。他還把人的活動與國家興亡聯系起來，認為：「君子用而小人退」，這是「國之將興」的征兆；而「賢人隱，亂臣貴」則是「國之將亡」的跡象。進而指出：「其矣，『安危在出令，存亡在所任』，誠哉是言哉！」（《楚元王世家》）後論壹他還寓意很深地指出：要使國家強盛太平，「唯在擇任將相哉！唯在擇任將相哉！」（《匈奴列傳》後論）
「通古今之變」，包含了司馬遷歷史哲學的豐富內容。首先，他對歷史演進的過程提出了比較完整的看法，這從《太史公自序》中的《五帝本紀》至《高祖本紀》的序目、《三代世表》至《秦楚之際月表》的序目申可略見其大概。五帝、三代因歷史太久遠，無法「論次其年月」。《三代世表》至《十二諸侯年表》，年代是「自***和迄孔子」，是「諸侯專政」、「五霸更盛衰」。接下去是《六國年表》，起周元王（前475）、迄秦二世（前207），歷史特點是「陪臣執政」，「海內爭於戰功」，「務在強兵並敵，謀詐用而縱橫短長之說起」。《秦楚之際月表》起秦二世元年（前209）七月，至高祖五年（前202）九月，首尾八年。對這段歷史，司馬遷寫道：「初作難，發於陳涉；虐戾滅秦，自項氏；撥亂誅暴，平定海內，卒踐帝祚，成於漢家」。這四表不僅首尾相銜，貫穿古今，且勾勒出了各個歷史時代的特點，反映出司馬遷對於歷史進程的卓越見解。
其次，在敘述歷史變化過程中還闡揚他的歷史進化觀。他的這種見解，在「八書」中貫徹得尤為突出。
第三，提出了「物盛則衰，時極而轉」的歷史命題。《太史公自序》在講到撰述「本紀」時，提出對於歷代帝王業績要「原始察終，見盛觀衰」，即推究其何以始，詳察其何以終；於其極盛時要看到它日漸衰落的跡象。在司馬遷的歷史哲學中，歷史總在變化：要麽由盛變衰，要麽由衰轉盛。他就是用這樣的歷史哲學去觀察歷史，「考之行事，稽其成敗興壞之理」。
除《史記》外，司馬遷還作賦八篇，均已散夫，唯《藝文類聚》卷三十引有《悲士不遇賦》片段。
他的《報任安（少卿）書》，是壹篇著名的論說散文。文中敘述了他因李陵事件而受宮刑的過程；抒發了忠而見疑、無辜受刑的悲憤，暴露了漢武帝的專橫殘忍及當時的酷吏政治；最後，表達了自已發憤著書、創作《史記》的決心。
司馬遷的學術思想，在中國古代思想文化史上占有重要突出的地位。《史記》被魯迅譽為「史家之絕唱，無韻之離騷」，是當之無愧的。