情況是:
我用 add_tokens()方法 添加自己的新詞後,BertTokenizer.from_pretrained(model)壹直處於加載中。
原因: 有說是詞典太大,耗時hours才加載出來(我也沒有真的等到過)
暫時的解決辦法:
參考於: /huggingface/tokenizers/issues/615#issuecomment-821841375