當初留在甘肅的小月氏部落，他們與羌人為鄰，但依附匈奴人，中國古籍中錯誤的稱他們為“匈奴別部”。漢武帝漢匈戰爭期間，霍去病曾從青海隴南穿越小月氏部落攻打祁連山下的匈奴人，得到了小月氏部落的幫助。河西的匈奴瓦解後，小月氏自稱“胡”（即匈奴），與鄰近的羌人對抗。兩漢時期，西北漢羌沖突中，漢王朝多次調動小月氏人壹起攻打羌人，直到三國以後，小月氏和羌人才開始融合，並從歷史記錄上消失了，他們最終歸宿可能融合到了甘肅，青海以及新疆東部的羌族，漢族以及其他民族中去了。