自東漢以來，中國西部和北部的少數民族開始向內地遷移。造成這種局面的原因主要是由於漢朝的軍事征服以及他們對少數民族的利誘，以彌補中原地區兵力和勞動力的不足。同時，周邊少數民族勢力的大起大落也造成了壹些民族遷徙。魏晉時期，北方漢族人口銳減，胡人內遷形成高潮。在這個過程中，遷入的民族主要有匈奴、頡頏、鮮卑、氐、羌，史稱“五湖”。
西晉初年，在中國的北部、東部和西部，特別是並州和關中地區，生活著許多處於不同社會發展階段的少數民族。“西北諸郡皆住軍區”，關中人口壹百多萬，“軍區占壹半”。在漢族的影響下，這些移民逐漸由遊牧轉向農業定居，胡漢文化相互影響、相互滲透。然而，在交融的同時，胡與韓之間也存在著壹些矛盾。比如並州的匈奴就成了漢人的奴婢，很多漢人也成了胡人的奴婢。這些奴婢往往被強制當兵，更有甚者被地方官員賣到外地，從而激起中國各民族的反抗。而各族精英往往利用自己的人來實施割據。胡人的不斷內遷造成了胡漢矛盾，嚴重動搖了西晉政權的統治基礎，大規模的暴亂壹觸即發。
當時西晉的壹些官僚意識到了事態的嚴重性，於是以、蔣通為代表提出了“遷戎”的主張。他們建議用武力將遷入的胡人強行遷回原居住地，並以“夏逐夷入內”的方法隔離胡人接觸，防止胡人反抗。但由於各民族遷徙、胡漢雜居是歷史發展的結果，遷戎的設想無法實施。
此時，西晉陷入困境。在統治集團內部，西晉諸王為爭奪中央最高權力，發生了壹系列相互殘殺和戰爭，持續了16年，史稱“八王之亂”。之後的永嘉之亂大鬥爭，給人民帶來了無盡的災難。民眾再次陷入苦難深淵，掀起大規模流亡浪潮。特別是少數民族貴族中的分裂勢力參與了這場混戰，造成了嚴重的後果。但晉朝內部矛盾重重，地方防禦不修，天災人禍連年，使中原淪陷。
永興元年(304)，匈奴貴族劉淵在左國城(今山西離石)起兵反金，逐漸控制並州部分地區，自稱漢王。廣西元年(306)，晉惠帝駕崩，司馬池繼位，為懷帝、元永嘉所用。劉淵派石勒等人大舉南侵，屢敗金軍，日益強大。劉淵，新興郡匈奴人，冒頓後改姓劉，祖父為南匈奴，父劉保為匈奴左部帥。西晉太康末年，劉淵為北都督，後為建威將軍、五大都督，被晉封為漢光公。起兵反晉後，自稱漢王。永嘉二年(308)，正式稱帝。
劉淵死後，他的兒子劉聰繼位。次年，劉聰派石勒、、劉曜攻打晉國，在平城(今河南西南)殲滅晉軍十萬，殺死燕等諸侯。永嘉五年(公元311)，匈奴兵攻陷西晉都城洛陽，攻取金懷帝。兵士燒殺搶掠，殺了三萬多王侯將相。
永嘉之亂後不久，懷帝被匈奴殺死，其侄禹帝被關押在長安。此時，皇族和宗室已經遷往江南、西北和東北。公元316年，匈奴兵入侵長安，俘虜了皇帝禹，西晉宣告滅亡。實際上，永嘉之亂已經決定了西晉崩潰的命運。從武帝建立金朝到武帝投降，西晉只持續了五十壹年。雖然西晉表面上是死在了胡人的手裏，但實際上西晉自建立以來，在施政上就存在諸多不足，導致政治混亂，內戰不斷。少數民族貴族中野心勃勃的分裂勢力利用他們的軍事優勢建立了壹個分裂政權。那些反動的少數民族貴族相比金朝更加腐朽不得人心，依靠武力殘酷壓迫各族人民，政權經常更叠，控制區域也僅限於中原少數地區，大部分土地仍由金朝統治。