分詞器是什麽?

分詞器，是將用戶輸入的壹段文本，分析成符合邏輯的壹種工具。到目前為止呢，分詞器沒有辦法做到完全的符合人們的要求。和我們有關的分詞器有英文的和中文的英文的分詞器過程：輸入文本-關鍵詞切分-去停用詞-形態還原-轉為小寫中文的分詞器分為：單子分詞 例：中國人 分成中，國，人二分法人詞:例中國人：中國，國人詞典分詞：有基本的語意來進行分詞的，例：中國人分成中國，國人，中國人，現在用的是極易分詞和庖丁分詞。停用詞：不影響語意的詞。網上有很多說分詞器效果的，我在這裏就不進行多說了