回族的“回”字，是沿用伊斯蘭教在中國的舊稱“回回教”中的“回”。國內史學界則多認為是“回回”是“回紇”、“回鶻”的異寫或音轉。
元代之前，“回紇”、“回鶻”和“回回”，這三個詞在的漢語文獻中沒有明確的界限，幾乎是同義詞，在不同作者的漢文史籍中通常是交替混用，所指囊括了西域、漠北胡人直至中亞和波斯壹帶人群，用回回壹詞稱呼來自回鶻地帶還往西的人則顯得更多壹些。宋元時期，分布在中東部的回回（粟特、猶太、波斯等胡商成分較多）以及部分回紇、回鶻被稱為回回人；而分布在漠北壹帶的部分回鶻、回紇或回回，則聯合當地壹些民族西遷後形成畏吾兒，還有的發展成為塔吉克、烏茲別克等西域民族。此際，胡人、回鶻、回紇這類稱謂，在史書記載中基本消失。“回回”壹詞明朗起來，在官方的詔諭和漢文記載中凡涉及到民族的壹般為“蒙古、畏兀兒、回回、也裏可溫、河西、契丹、女真、漢人”這類字樣。
元代“回回”在官方或漢語史籍中除了指已經定居在中國境內的回回人外，通常也指的是比“畏吾兒”更西的人群，也就是“蔥嶺以西、黑海以東”——阿富汗、烏茲別克斯坦、塔吉克斯坦、伊朗、吉爾吉斯斯坦、土庫曼、阿塞拜疆以及哈薩克斯坦、伊拉克、土耳其和高加索部分地區。宋元以至明清期間，除了明代的撒拉等族外，凡是從這壹地區入華的商人、工匠、軍士、學者等幾乎都自然的歸入回回人裏。
明代，“回回”和“色目人”在漢文記載中並用。明萬歷四十壹年的北京牛街禮拜寺“敕賜禮拜寺記”碑中，回族自稱為“回回”，這是目前為止回族人以回回自稱的最早證據。實際回回做為自稱的年代比這早得多，只是由於相關歷史文物、記載被毀壞和篡改掉了。