目前最先進的無監督多語言模型已經被證明在零樣本跨語言學習中具有普適性，這主要得益於* * *共享子詞詞典和多語言聯合訓練的使用。
這種方法將壹種單語語言模型遷移到另壹種新的詞匯級語言中。該方法不依賴於詞詞典和多語種聯合訓練的技巧，但在跨語言評測中性能與多語種bert相當。