在自然語言中，我們的目標是對句子理解，對句子生成。但是由於計算機對電腦理解有壹些障礙：模糊、不確定、不完整等。
我們在這裏簡單介紹語法樹Syntax Tree和語言模型。
語法指的是壹些規則、原理、過程決定著自然語言句子的結構。也可以說語法就是對不同單詞（比如：名詞、動詞、短語等）進行排序組成完整的句子。
壹個語法樹是由不同類別的詞所體現的，它可以幫助我們理解句子結構。
如果我們有壹個由 m 個詞組成的序列（或者說壹個句子），我們希望算得概率
，根據鏈式規則，可得 N-gram :
這個概率顯然並不好算，不妨利用馬爾科夫鏈的假設，即當前這個詞僅僅跟前面幾個有限的詞相關，因此也就不必追溯到最開始的那個詞，這樣便可以大幅縮減上述算式的長度。即
N-gram也依次原理類推。