南匈奴集中在山西中南部。曹操把他們分成左、右、南、北、中五部分。左半部居汾陽,右半部居祁縣東南,南半部居隰縣,北半部居忻州,中半部居文水。各部有匈奴貴族為統帥,漢官為司馬監督。西晉時期,大批匈奴內遷塞外,總人數超過30萬。羯族隨匈奴遷至山西,集中於上黨武鄉(今榆社以北),稱為“匈奴別部”。鮮卑人集中在代縣和大同。
遷入的各民族長期與漢族雜居,逐漸與漢族融合。