這篇文章主要來介紹下什麽是 Analysis ，什麽是分詞器，以及 ElasticSearch 自帶的分詞器是怎麽工作的，最後會介紹下中文分詞是怎麽做的。
首先來說下什麽是 Analysis：
顧名思義，文本分析就是 把全文本轉換成壹系列單詞（term/token）的過程 ，也叫 分詞 。在 ES 中，Analysis 是通過 分詞器（Analyzer） 來實現的，可使用 ES 內置的分析器或者按需定制化分析器。
舉壹個分詞簡單的例子：比如妳輸入 Mastering Elasticsearch ，會自動幫妳分成兩個單詞，壹個是 mastering ，另壹個是 elasticsearch ，可以看出單詞也被轉化成了小寫的。
再簡單了解了 Analysis 與 Analyzer 之後，讓我們來看下分詞器的組成：
分詞器是專門處理分詞的組件，分詞器由以下三部分組成：
同時 Analyzer 三個部分也是有順序的，從圖中可以看出，從上到下依次經過 Character Filters ， Tokenizer 以及 Token Filters ，這個順序比較好理解，壹個文本進來肯定要先對文本數據進行處理，再去分詞，最後對分詞的結果進行過濾。
其中，ES 內置了許多分詞器：
接下來會對以上分詞器進行講解，在講解之前先來看下很有用的 API： _analyzer API ：
它可以通過以下三種方式來查看分詞器是怎麽樣工作的：
再了解了 Analyzer API 後，讓我們壹起看下 ES 內置的分詞器：
首先來介紹下 Stamdard Analyzer 分詞器：
它是 ES 默認的分詞器 ，它會對輸入的文本 按詞的方式進行切分 ，切分好以後會進行 轉小寫 處理， 默認的 stopwords 是關閉的 。
下面使用 Kibana 看壹下它是怎麽樣進行工作的，在 Kibana 的開發工具（Dev Tools）中指定 Analyzer 為 standard ，並輸入文本 In 2020, Java is the best language in the world. ，然後我們運行壹下：
運行結果如下：
可以看出是按照空格、非字母的方式對輸入的文本進行了轉換，比如對 Java 做了轉小寫，對壹些停用詞也沒有去掉，比如 in 。
其中 token 為分詞結果； start_offset 為起始偏移； end_offset 為結束偏移； position 為分詞位置。
下面來看下 Simple Analyzer 分詞器：
它只包括了 Lower Case 的 Tokenizer ，它會按照 非字母切分 ， 非字母的會被去除 ，最後對切分好的做 轉小寫 處理，然後接著用剛才的輸入文本，分詞器換成 simple 來進行分詞，運行結果如下：
從結果中可以看出，數字 2020 被去除掉了，說明非字母的的確會被去除，所有的詞也都做了小寫轉換。
現在，我們來看下 Whitespace Analyzer 分詞器：
它非常簡單，根據名稱也可以看出是 按照空格進行切分 的，下面我們來看下它是怎麽樣工作的：
可以看出，只是按照空格進行切分， 2020 數字還是在的， Java 的首字母還是大寫的， , 還是保留的。
接下來看 Stop Analyzer 分詞器：
它由 Lowe Case 的 Tokenizer 和 Stop 的 Token Filters 組成的，相較於剛才提到的 Simple Analyzer ，多了 stop 過濾，stop 就是會把 the ， a ， is 等修飾詞去除，同樣讓我們看下運行結果：
可以看到 in is the 等詞都被 stop filter 過濾掉了。
接下來看下 Keyword Analyzer ：
它其實不做分詞處理，只是將輸入作為 Term 輸出，我們來看下運行結果：
我們可以看到，沒有對輸入文本進行分詞，而是直接作為 Term 輸出了。
接下來看下 Pattern Analyzer ：
它可以通過 正則表達式的方式進行分詞 ，默認是用 \W+ 進行分割的，也就是非字母的符合進行切分的，由於運行結果和 Stamdard Analyzer 壹樣，就不展示了。
ES 為不同國家語言的輸入提供了 Language Analyzer 分詞器，在裏面可以指定不同的語言，我們用 english 進行分詞看下：
可以看出 language 被改成了 languag ，同時它也是有 stop 過濾器的，比如 in , is 等詞也被去除了。
最後，讓我們看下中文分詞：
中文分詞有特定的難點，不像英文，單詞有自然的空格作為分隔，在中文句子中，不能簡單地切分成壹個個的字，而是需要分成有含義的詞，但是在不同的上下文，是有不同的理解的。
比如以下例子：
那麽，讓我們來看下 ICU Analyzer 分詞器，它提供了 Unicode 的支持，更好的支持亞洲語言！
我們先用 standard 來分詞，以便於和 ICU 進行對比。
運行結果就不展示了，分詞是壹個字壹個字切分的，明顯效果不是很好，接下來用 ICU 進行分詞，分詞結果如下：
可以看到分成了 各國 ， 有 ， 企業 ， 相繼 ， 倒閉 ，顯然比剛才的效果好了很多。
還有許多中文分詞器，在這裏列舉幾個：
IK ：
jieba ：
THULAC ：
大家可以自己安裝下，看下它中文分詞效果。
本文主要介紹了 ElasticSearch 自帶的分詞器，學習了使用 _analyzer API 去查看它的分詞情況，最後還介紹下中文分詞是怎麽做的。