1、基於字典的分詞法:將待分析的壹段文字與壹個事先編制好的字典中的詞條進行匹配,在待分析文字中掃描到字典中已有的詞條則匹配成功,或者切分出壹個單詞,這種分詞方法的準確性在很大程度上取決於字典的完整性。
2、基於統計的分詞法:搜索引擎對大量的頁面內容進行分析,計算出字與字之間相鄰出現的概率,如果某幾個字相鄰出現的概率很大,會形成壹個單詞,基於統計的分詞法的優勢就在於對新出現的詞反應更加快速。