從東漢以來，中國西部和北部周邊的各少數民族開始不斷地向內地遷徙。造成這壹狀況的原因，主要是由於漢王朝的軍事征服以及他們為彌補中原兵力和勞力不足而對各少數民族的招誘。與此同時，周邊各少數民族勢力的消長變化也引起壹些民族遷徙。魏晉之際，在北方漢族人口銳減的情況下，胡族內遷形成高潮。在這過程中，內遷的民族主要包括匈奴、羯、鮮卑、氐、羌等，歷史上泛稱為「五胡」。
西晉初年，中國北部、東部和西部，尤其是並州和關中壹帶，居住著許多處於不同社會發展階段的少數民族，「西北諸郡皆為戎居」，關中百萬余口，「戎狄居半」。在漢族的影響下，這些內遷的外族逐漸由遊牧轉向農業定居，胡漢文化相互影響滲透。但在交融的同時，胡漢亦存在壹定的矛盾，例如並州的匈奴人成了漢人的奴婢，而不少漢人也相繼淪為胡人奴婢。這些奴婢常常被迫服役，當兵作戰，更有甚者被地方官員押往他鄉出賣，因而激起了境內各民族的反抗；而各族上層人物亦往往利用本族人民，實行割據。連續不斷的胡族內遷引起胡漢雙方的矛盾，嚴重動搖了西晉政權的統治根基，大規模的暴動有壹觸即發之勢。
當時西晉壹些官僚也察覺到形勢的嚴重性，於是便有以郭欽、江統為代表，提出「徙戎」的主張。他們建議用武力將內遷的胡族強制徙遷回原住地，並以「內諸夏而外夷狄」的辦法隔絕胡漢接觸，來防止胡人的反抗。但由於各族內遷及胡漢雜居是歷史發展的結果，因而徙戎的主張無法實施。
而此時的西晉王朝卻禍起蕭墻。在統治集團內部，西晉諸王為爭奪中央最高權力，發生了壹連串的相互殘殺和戰爭，歷時16年之久，史稱“八王之亂”。這之後永嘉之亂的大惡鬥給人民帶來了無窮的災難。人民又重新陷於苦難的深淵，掀起了大規模的流亡的浪潮。尤其是少數民族的貴族中的分裂勢力參加這場混戰，造成了嚴重的後果。而晉室內部矛盾重重，地方防務不修，連年天災人禍，使中原淪陷。
永興元年(304年)，匈奴貴族劉淵在左國城(今山西離石)起兵反晉，逐步控制並州部分地區，自稱漢王。光熙元年(306年)，晉惠帝死，司馬熾嗣位，是為懷帝，改元永嘉。劉淵遣石勒等大舉南侵，屢破晉軍，勢力日益強大。劉淵，字元海，新興縣匈奴人，冒頓之後，曹魏時改姓劉，祖父為南匈奴單於，父劉豹為匈奴左部帥。西晉太康末劉淵為北部都尉，後為建威將軍，五部大都督，受晉封為漢光鄉侯。起兵反晉後自稱漢王，永嘉二年（308年）正式稱帝。
劉淵死後，其子劉聰繼位。次年，劉聰遣石勒、王彌、劉曜等率軍攻晉，在平城(今河南鹿邑西南)殲滅十萬晉軍，又殺太尉王衍及諸王公。永嘉五年(公元311年)，匈奴兵攻陷西晉京師洛陽，俘虜了晉懷帝。縱兵燒掠，殺王公士民三萬余人。
永嘉之亂後不久，懷帝被匈奴人所殺，其侄湣帝被擁立於長安。這時皇室、世族已紛紛遷至江南、西北、東北。到了公元316年，匈奴兵攻入長安，俘虜了湣帝，西晉至此宣告滅亡。而實際上，永嘉之亂早已決定了西晉覆滅的命運。從武帝建立晉朝，到湣帝出降，西晉國祚僅歷五十壹年。西晉表面上雖是亡於胡人之手，其實自西晉建立以來，其施政缺失甚多，使政局混亂，內戰不休，少數民族貴族中有野心的割據勢力乘機利用軍事上的優勢，建立割據政權。相比晉朝，那些反動的少數民族貴族更加腐朽，不得民心，依靠武力殘酷壓迫各族人民，政權往往頻繁更叠，控制區域也僅僅限於中原少量地區，大部分國土依然被晉朝統治。