如何轉換Tokenize函數

1.NLTK用於分詞的函數:nltk.sent_tokenize(text) #根據句子對文本進行分詞nltk.word_tokenize(sent) #對句子進行分詞2。NLTK用於詞性標註的函數:nltk.pos_tag(tokens)#tokens是句子切分的結果，也是句子級標註。