分詞的含義:
中文分詞是指將壹個漢字序列切割成單個的單詞。分詞是將連續的詞序列按照壹定的規範重新組合成詞序列的過程。
在英語寫作中，空格被用作單詞之間的自然分隔符，而在漢語中，只有單詞、句子和段落可以簡單地用明顯的分隔符分隔，而單詞沒有正式的分隔符。雖然英語也有分短語的問題，但在單詞層面，漢語比英語復雜難懂得多。
分詞的作用:
中文分詞是文本挖掘的基礎。對於壹段輸入的中文，成功的中文分詞可以達到計算機自動識別句子意思的效果。
中文分詞技術屬於自然語言處理技術的範疇。對於壹個句子，人可以通過自己的知識理解哪些是詞，哪些不是詞，但是計算機怎麽理解呢？其處理過程是分詞算法。
分割算法分類:
1，字符匹配
這種方法也稱為機械分詞，是將待分析的中文字符串按照壹定的策略與“足夠大”的機器詞典中的詞條進行匹配。如果在字典中找到某個字符串，則匹配成功(識別出壹個單詞)。
2.理解方法
這種分詞方法是讓計算機模擬人對句子的理解，達到識別單詞的效果。其基本思想是在分詞的同時進行句法和語義分析，利用句法和語義信息處理歧義。它通常包括三個部分:分詞子系統、句法語義子系統和通用控制部分。
在總控部分的協調下，分詞子系統可以獲取關於詞和句子的句法和語義信息來判斷分詞的歧義性，即它模擬了人們理解句子的過程。這種分詞方法需要用到大量的語言知識和信息。
3.統計方法
從形式上看，壹個詞是詞的穩定組合，所以在上下文中，相鄰詞同時出現的次數越多，就越有可能構成壹個詞。因此，詞與詞相鄰的頻率或概率更能反映構詞法的可信度。我們可以統計語料庫中相鄰單詞組合的頻率，並計算它們的共現信息。