當前位置:成語大全網 - 英語詞典 - 如何轉換Tokenize函數

如何轉換Tokenize函數

1.NLTK用於分詞的函數:nltk.sent_tokenize(text) #根據句子對文本進行分詞nltk.word_tokenize(sent) #對句子進行分詞2。NLTK用於詞性標註的函數:nltk.pos_tag(tokens)#tokens是句子切分的結果,也是句子級標註。