在各種名稱不同的色目人中,回族是最多的,所以有時回族被稱為色目人。除回族外,還有王古人(今內蒙古大青山壹帶)、西夏人(又稱河西人,在今寧夏、甘肅壹帶)、回鶻人(即今維吾爾人的祖先,當時主要分布在新疆東部)、哈拉魯人(中亞巴爾喀什湖以南)、康巴人(中亞鹹海以北壹帶)、欽察人(中亞黑海以北壹帶)。當時的歐洲人(稱為法郎或誌郎人)當然被認為是色目人。元末陶說色目人有三十壹種,不太準確,但可想而知,色目人確實有很多種,不勝枚舉。