四夷人和廣府人屬於不同的民族。四夷人在開埠初期來到香港市區工作,族群內部保持高度團結,所以語言得以保留。與其他民族壹樣,客家贛系四夷話香港家族在1970年代由於民族觀念的淡化,開始說粵語,香港四夷人被同化為廣府人家族的廣州話。
“四義”是臺山、新會、開平、恩平四縣的統稱,臺山話是四義話的代表語言。在某些語境下,臺山話與四義話同義。四溢方言之所以出名,是因為它是北美唐人街的通用語言。90年代以前,臺山話也是海外華人社區的主要語言。2000年以後,祖國強大了,漢語流通逐漸從四溢話變成粵語再變成普通話。2006年6月22日,加拿大華工賠償法案用英語、普通話、粵語、臺山話四種語言向全球華人道歉。