從50年代的機器翻譯和人工智能研究算起，NLP（Natural
Language Processing，自然語言處理）已有長達半個世紀的歷史。 在
這個進程中，學術界曾提出許多重要的理論和方法，取得了豐富的成果
。筆者認為，近二十年在這壹領域中堪稱裏程碑式的貢獻有如下三個：
（1）復雜特征集和合壹語法；（2）語言學研究中的詞匯主義；（ 3）
語料庫方法和統計語言模型。這三個成果將繼續對語言學、計算語言學
和NLP研究產生深遠影響。為了更好地理解這些成果的意義， 先介紹與
此相關的兩個事實。
2. 兩個事實
2.1 事實之壹——短語結構語法不能有效地描寫自然語言
在自然語言處理中，為了識別壹個輸入句子的句法結構，首先要把
句子中的詞壹個壹個地切分出來，然後去查詞典，給句子中的每個詞指
派壹個合適的詞性（part of speech）；之後再用句法規則把句子裏包
含的句法成分，如名詞短語、動詞短語、小句等，逐個地識別出來。進
而判斷每個短語的句法功能，如主語、謂語、賓語等，及其語義角色，
最終得到句子的意義表示，如邏輯語義表達式。這就是壹個句法分析的
全過程。
本文要提到的第壹個事實是：短語結構語法（Phrase Structure
Grammar，簡稱PSG）不能有效地描寫自然語言。PSG在Chomsky語言學理
論中占有重要地位，並且在自然語言的句法描寫中擔當舉足輕重的角色
。但是它有壹些根本性的弱點，主要表現為，它使用的是像詞類和短語
類那樣的單壹標記，因而不能有效地指明和解釋自然語言中的結構歧義
問題。請看漢語中“V＋N”組合。假如我們把“打擊、委托、調查”等
詞指派為動詞（V）；把“力度、方式、盜版、 甲方”等詞視為名詞（
N），並同意“打擊力度”、“委托方式”是名詞短語（NP）， “打擊
盜版”、“委托甲方”是動詞短語（VP），那麽就會產生如下兩條有歧
義的句法規則：
（1）NP→VN
（2）VP→VN
換句話講，當計算機觀察到文本中相鄰出現的“V＋N”詞類序列時，仍
不能確定它們組成的究竟是NP還是VP。我們把這樣的歧義叫做“短語類
型歧義”。例如：
·該公司正在招聘〔銷售V人員N〕NP。
·地球在不斷〔改變V形狀N〕VP。
下面再來看“N＋V”的組合，也同樣會產生帶有短語類型歧義的規
則對，如：
（3）NP→NV 例：市場調查；政治影響。
（4）S→NV 例：價格攀升；局勢穩定。
其中標記S代表小句。
不僅如此，有時當機器觀察到相鄰出現的“N＋V”詞類序列時，甚
至不能判斷它們是不是在同壹個短語中。也就是說，“N＋V”詞類序列
可能組成名詞短語NP或小句S，也有可能根本就不在同壹個短語裏。 後
面這種歧義稱為“短語邊界歧義”。下面是兩個相關的例句：
·中國的〔鐵路N建設V〕NP發展很快。
·〔中國的鐵路N〕NP建設V得很快。
前壹個例句中，“鐵路 建設”組成壹個NP；而在後壹個例句中，這兩
個相鄰的詞卻分屬於兩個不同的短語。 這足以說明， 基於單壹標記的
PSG不能充分地描述自然語言中的句法歧義現象。 下面再看壹些這樣的
例子。
（5）NP→V N1 de N2
（6）VP→V N1 de N2
其中de代表結構助詞“的”。例如，“〔削 蘋果〕VP的刀”是NP；而
“削〔蘋果 的 皮〕NP”則是VP。這裏既有短語類型歧義，又有短語
邊界歧義。比如，“削V蘋果N”這兩個相鄰的詞，可能構成壹個
VP，也可能分處於兩個相鄰的短語中。
（7）NP→P N1 de N2
（8）PP→P N1 de N2
規則中P和PP分別表示介詞和介詞短語。例如，“〔對 上海〕PP 的印
象”是NP；而“對〔上海的 學生〕NP”則是PP。相鄰詞“對P上海N”
可能組成壹個PP，也可能分處於兩個短語中。
（9）NP→NumP N1 de N2
其中NumP表示數量短語。規則（9）雖然表示的是壹個NP， 但可分別代
表兩種結構意義：
（9a）NumP〔N1 de N2〕NP 如：五個〔公司的職員〕NP
（9b）〔NumP N1〕NP de N2 如：〔五個公司〕NP的職員
（10）NP→N1 N2 N3
規則（10）表示的也是壹個NP，但“N1＋N2”先結合，還是“N2＋N3”
先結合，會出現兩種不同的結構方式和意義，即：
（10a）〔N1 N2〕NP N3 如：〔現代 漢語〕NP詞典
（10b）N1〔N2 N3〕NP 如：新版〔漢語詞典〕NP
以上討論的第壹個事實說明：
·由於約束力不夠，單壹標記的PSG 規則不能充分消解短語類型和
短語邊界的歧義。用數學的語言講，PSG規則是必要的， 卻不是充分的
。因此，機器僅僅根據規則右邊的壹個詞類序列來判斷它是不是壹個短
語，或者是什麽短語，都有某種不確定性。
·采用復雜特征集和詞匯主義方法來重建自然語言的語法系統，是
近二十年來全球語言學界對此作出的最重要的努力。
2.2 事實之二——短語結構規則的覆蓋有限
通過大規模語料的調查，人們發現壹種語言的短語規則的分布符合
齊夫率（Zipf's Law）。Zipf是壹個統計學家和語言學家。他提出，如
果對某個語言單位（不論是字母還是詞）進行統計，把這個語言單位在
壹個語料庫裏出現的頻度（frequency）記作F，而且根據頻度的降序對
每個單元指派壹個整數的階次（rank）R。結果發現R和F 的乘積近似為
壹個常數。即
F[*]R≈const（常數）
或者說，被觀察的語言單元的階次R與其頻度F成反比關系。在詞頻的統
計方面，齊夫律顯示，不管被考察的語料僅僅是壹本長篇小說，還是壹
個大規模的語料庫，最常出現的100 個詞的出現次數就會占到語料庫總
詞次數（tokens）的近壹半。假如語料庫的規模是100萬詞次， 那麽其
中頻度最高的100個詞的累計出現次數大概是50萬詞次。 如果整個語料
庫含有5萬詞型（types），那麽其中的壹半（也就是2.5 萬條左右）在
該語料庫中只出現過壹次。即使把語料庫的規模加大十倍，變成1000萬
詞次，統計規律大體不變。
有趣的是，80年代Sampson對英語語料庫中的PSG規則進行統計，發
現它們的分布同樣是扭曲的，大體表現為齊夫率（Aarts et al. 1990）
。也就是說，壹方面經常遇到的語法規則只有幾十條左右，它們的出現
頻度極高；另壹方面，規則庫中大約壹半左右的規則在語料庫中只出現
過壹次。隨著語料庫規模的擴大，新的規則仍不斷呈現。Chomsky 曾提
出過這樣的假設，認為對壹種自然語言來說，其語法規則的數目是有限
的，而據此生成的句子數目是無限的。但語料庫調查的結果不是這樣。
這個發現至少說明，單純依靠語言學家的語感來編寫語法規則不可能勝
任大規模真實文本處理的需求，我們必須尋找可以從語料庫中直接獲取
大規模語言知識的新方法。
幾十年來，NLP學界發表過大量燦爛成果，有詞法學、語法學、 語
義學的，有句法分析算法的，還有許多著名的自然語言應用系統。而對
該領域影響最大的、裏程碑式的成果應數下面三個。
3. 三個裏程碑
3.1 裏程碑之壹：復雜特征集
復雜特征集（complex feature set）又叫多重屬性（multiple
features）描寫。在語言學裏，這種描寫方法最早出現在語音學中，後
來被Chomsky學派采用來擴展PSG的描寫能力。現在無論是在語言學界還
是計算語言學界，幾乎所有語法系統在詞匯層的描寫中均采用復雜特征
集，並利用這些屬性來強化句法規則的約束力。壹個復雜特征集F 包含
任意多個特征名f[,i]和特征值v[,i]對。其形式如：
F＝｛…，fi＝vi，…｝，i＝1，…，n
特征值v[,i]既可以是壹個簡單的數字或符號， 也可以是另外壹個復雜
特征集。這種遞歸式的定義使復雜特征集獲得了強大的表現能力。如北
京大學俞士汶等（1998）開發的《現代漢語語法信息詞典詳解》，對壹
個動詞界定了約40項屬性描寫，對壹個名詞界定了約27項屬性描寫。
壹條含有詞匯和短語屬性約束的句法規則具有如下的壹般形式：
〈PSG規則〉：〈屬性約束〉
：〈屬性傳遞〉
壹般來說，PSG 規則包括右部（條件：符號序列的匹配模式）和左部（
動作：短語歸並結果）。詞語的“屬性約束”直接來自系統的詞庫，而
短語的“屬性約束”則是在自底向上的短語歸並過程中從其構成成分的
中心語（head）那裏繼承過來的。在Chomsky的理論中這叫做X-bar 理
論。X-bar代表某個詞類X所構成的、仍具有該詞類屬性的壹個成分。
如果X＝N，就是壹個具有名詞特性的N-bar。當壹條PSG 規則的右部匹
配成功，且“屬性約束”部分得到滿足，這條規則才能被執行。此時，
規則左部所命名的短語被生成，該短語的復雜特征集通過“屬性傳遞”
部分動態生成。
20世紀80年代末、90年代初學術界提出了壹系列新的語法，如廣義
短語結構語法（GPSG）、中心語驅動的短語結構語法（HPSG）、詞匯功
能語法（LFG）等等。 這些形式語法其實都是在詞匯和短語的復雜特征
集描寫背景下產生的。合壹（unification ）算法則是針對復雜特征集
的運算而提出來的。“合壹”是實現屬性匹配和賦值的壹種算法，所以
上述這些新語法又統稱為“基於合壹的語法”。
3.2 裏程碑之二：詞匯主義
在NLP領域中，第二個裏程碑式的貢獻叫詞匯主義（lexicalism ）
。語言學家Hudson（1991）曾宣稱詞匯主義是當今語言學理論發展的頭
號傾向。其出現原因也同前面所觀察的兩個事實有關。詞匯主義方法不
僅提出了壹種顆粒度更細的語言知識表示形式，而且體現了壹種語言知
識遞增式開發和積累的新思路。
這裏首先要解釋壹下這樣壹個矛盾。壹方面，語言學界壹向認為，
不劃分詞類就無法講語法，如前面介紹的短語結構語法。也就是說，語
法“不可能”根據個別的詞來寫規則。但是另壹方面，人們近來又註意
到，任何歸類都會丟失個體的某些重要信息。所以從前文提到的第壹個
事實出發，要想強化語法約束能力，詞匯的描寫應當深入到比詞類更細
微的詞語本身上來。換句話講，語言學呼喚在詞匯層采用顆粒度更小的
描寫單元。從本質上來說，詞匯主義傾向反映了語言描寫的主體已經從
句法層轉移到詞匯層；這也就是所謂的“小語法，大詞庫”的思想。下
面我們來看與詞匯主義有關的壹些工作。
3.2.1 詞匯語法（Lexicon-grammar）
法國巴黎大學Gross教授在20世紀60 年代就創立了壹個研究中心叫
LADL，並提出詞匯語法的概念（）。
·自下而上地依據概念對漢語實詞進行了窮盡的分類。
·15，000個動詞被劃分成810類。
·定義了300個名詞類，100個形容詞類。
·全部概念用400個語義元語來定義。
知網的特點是既有WordNet 所描寫的同壹類詞之間的語義關系（如
：同義、反義、上下義、部分－整體等），又描寫了不同類詞之間的論
旨關系和語義角色。
3.2.5 MindNet
MindNet是微軟研究院NLP組設計的（/nlp/）。其設計思想是試圖用三元組（triple ）作為全部知識的
表示基元。壹個三元組由兩個節點和壹條連接邊組成。每個節點代表壹
個概念，連接這兩個概念節點的邊表示概念之間的語義依存關系。全部
三元組通過句法分析器自動獲取。具體來說，就是通過對兩部英語詞典
（Longman Dictionary of Contemporary English和American Heritage
Dictionary）及壹部百科全書（Encarta）中的全部句子進行分析， 獲
得每個句子的邏輯語義表示（logical form，簡稱LF）。而LF本來就是
由三元組構成的，如（W1，V-Obj，W2）表示：W1是壹個動詞， W2是其
賓語中的中心詞，因此W2從屬於W1，它們之間的關系是V-Obj。 比如（
play，V-Obj，basketball）便是壹個具體的三元組。又如（W1，H-Mod
，W2），W1代表壹個偏正短語中的中心詞（head word），W2 是其修飾
語（modifier），因此W2從屬於W1，它們之間的關系是H-Mod。
這種資源完全是自動做出來的，所得的三元組不可能沒有錯誤。但
是那些出現頻度很高的三元組壹般來說是正確的。MindNet 已經應用到
語法檢查、句法結構排歧、詞義排歧、機器翻譯等許多場合。
3.3 裏程碑之三：統計語言模型
第三個貢獻就是語料庫方法，或者叫做統計語言模型。如果用變量
W 代表壹個文本中順序排列的n個詞，即W＝w[,1]w[,2]…w[,n]， 則統
計語言模型的任務是給出任意壹個詞序列W在文本中出現的概率P（W ）
。利用概率的乘積公式，P（W）可展開為：
P（W）＝P（w[,1]）P（w[,2]│w[,1]）P（w[,3]│w[,1]w[,2]）.
..P（w[,n]│w[,1]w[,2]…w[,n-1]） （1）
式中P（w[,1]）表示第壹個詞w[,1]的出現概率，P（w[,2]│w[,1]）表
示在w[,1]出現的情況下第二個詞w[,2]出現的條件概率，依此類推。不
難看出，為了預測詞w[,n]的出現概率， 必須已知它前面所有詞的出現
概率。從計算上來看，這太復雜了。如果近似認為任意壹個詞w[,i] 的
出現概率只同它緊鄰的前壹個詞有關，那麽計算就得以大大簡化。這就
是所謂的二元模型（bigram），由（1）式得：
P（W）≈P（w[,1]）Ⅱ[,i=2，…，n]P（w[,i]│w[,i-1]） （2）
式中Ⅱ[,i=2，…，n]P（w[,i]│w[,i-1]）表示多個概率的連乘。
需要著重指出的是：這些概率參數都可以通過大規模語料庫來估值
。比如二元概率
P（w[,i]│w[,i-1]）≈count（w[,i-1]w[,i]）／count（w[,i- 1
]） （3）
式中count（…）表示壹個特定詞序列在整個語料庫中出現的累計次數。
若語料庫的總詞次數為N， 則任意詞w[,i]在該語料庫中的出現概率可估
計如下：
P（w[,1]）≈count（w[,i]）／N
同理，如果近似認為任意詞w[,i]的出現只同它緊鄰的前兩個詞有關，
就得到壹個三元模型（trigram）：
P（W）≈P（w[,1]）P（w[,2]│w[,1]）Ⅱ[,i=3，…，n]P（w[,i]
│w[,i-2]w[,-1]） （5）
統計語言模型的方法有點像天氣預報。用來估計概率參數的大規模
語料庫好比是壹個地區歷年積累起來的氣象記錄，而用三元模型來做天
氣預報，就像是根據前兩天的天氣情況來預測當天的天氣。天氣預報當
然不可能百分之百正確。這也算是概率統計方法的壹個特點。
3.3.1 語音識別
語音識別作為計算機漢字鍵盤輸入的壹種替代方式，越來越受到信
息界人士的青睞。所謂聽寫機就是這樣的商品。據報道，中國的移動電
話用戶已超過壹億，隨著移動電話和個人數字助理（PDA）的普及， 尤
其是當這些隨身攜帶的器件都可以無線上網的時候，廣大用戶更迫切期
望通過語音識別或手寫板而不是小鍵盤來輸入簡短的文字信息。
其實，語音識別任務可視為計算以下條件概率的極大值問題：
W[*]＝argmax[,W]P（W│speech signal）
＝argmax[,W]P（speech signal│W）P（W）／
P（speech signal）
＝argmax[,W]P（speech signal│W）P（W） （6）
式中數學符號argmax[,w]表示對不同的候選詞序列W計算條件概率P （W
│speech signal）的值，從而使W[*] 成為其中條件概率值最大的那個
詞序列，這也就是計算機選定的識別結果。換句話講，通過式（6 ）的
計算，計算機找到了最適合當前輸入語音信號speech signal的詞串W[
*]。
式（6）第二行是利用貝葉斯定律轉寫的結果，因為條件概率P （
speech signal│W）比較容易估值。公式的分母P（speech signal）對
給定的語音信號是壹個常數，不影響極大值的計算，故可以從公式中刪
除。在第三行所示的結果中，P（W）就是前面所講的統計語言模型，壹
般采用式（5）所示的三元模型；P（speech signal│W）叫做聲學模型
到此，讀者可能已經明白，漢語拼音輸入法中的拼音—漢字轉換任
務其實也是用同樣方法實現的，而且兩者所用的漢語語言模型（即二元
或三元模型）是同壹個模型。
目前市場上的聽寫機產品和微軟拼音輸入法（3.0 版）都是用詞的
三元模型實現的，幾乎完全不用句法—語義分析手段。因為據可比的評
測結果，用三元模型實現的拼音－漢字轉換系統，其出錯率比其它產品
減少約50％。
3.3.2 詞性標註
壹個詞庫中大約14％的詞型具有不止壹個詞性。而在壹個語料庫中
，占總詞次數約30％的詞具有不止壹個詞性。所以對壹個文本中的每壹
個詞進行詞性標註，就是通過上下文的約束，實現詞性歧義的消解。歷
史上曾經先後出現過兩個自動詞性標註系統。壹個采用上下文相關的規
則，叫做TAGGIT（1971），另壹個應用詞類的二元模型，叫做CLAWS （
1987）（見Garside et al.1989）。兩個系統都分別對100 萬詞次的英
語非受限文本實施了詞性標註。結果顯示， 采用統計語言模型的CLAWS
系統的標註正確率大大高於基於規則方法的TAGGIT系統。請看下表的對
比：
系統名 TAGGIT(1971) CLAWS(1987)標記數 86 133方法 3000條CSG規則 隱馬爾科夫模型標註精度 77% 96%測試語料 布朗 LOB
令C和W分別代表詞類標記序列和詞序列，則詞性標註問題可視為計
算以下條件概率的極大值：
C[*]＝argmax[,C]P（C│W）
＝argmax[,C]P（W│C）P（C）／P（W）
≈argmax[,C]Ⅱ[,i=1，…，n]P（w[,i]│c[,i]）P（c[,i]│c[,i
-1]） （7）
式中P（C│W）是已知輸入詞序列W的情況下，出現詞類標記序列C 的條
件概率。數學符號argmax[,C] 表示通過考察不同的候選詞類標記序列C
，來尋找使條件概率取最大值的那個詞類標記序列C[*]。後者應當就是
對W的詞性標註結果。
公式第二行是利用貝葉斯定律轉寫的結果，由於分母P（W）對給定
的W是壹個常數，不影響極大值的計算，可以從公式中刪除。 接著對公
式進行近似分析。首先，引入獨立性假設，認為任意壹個詞w[,i] 的出
現概率近似只同當前詞的詞類標記c[,i]有關， 而與周圍（上下文）的
詞類標記無關。於是詞匯概率可計算如下：
P（W│C）≈Ⅱ[,i=1，…，n]P（w[,i]│c[,i]） （8）
其次，采用二元假設，即近似認為任意壹個詞類標記c[,i] 的出現概率
只同它緊鄰的前壹個詞類標記c[,i-1]有關。則
P（C）≈P（c[,1]）Ⅱ[,i=2，…，n]P（c[,i]│c[,i-1]） （9）
P（c[,i]│c[,i-1]）是詞類標記的轉移概率， 也叫做基於詞類的二元
模型。
上述這兩個概率參數都可以通過帶詞性標記的語料庫來分別估計：
P（w[,i]│c[,i]）≈count（w[,i]，c[,i]）／count（c[,i]） （
10）
P（c[,i]│c[,i-1]）≈count（c[,i-1]c[,i]）／count（c[,i-1]
） （11）
據文獻報道，采用統計語言模型方法，漢語和英語的詞性標註正確
率都可以達到96％左右（白拴虎1992）。
3.3.3 介詞短語PP的依附歧義
在英語中，介詞短語究竟依附於前面的名詞還是前面的動詞，是句
法分析中壹種常見的結構歧義問題。下例表明怎樣用語料庫方法解決這
個問題，以及這種方法究竟能達到多高的正確率。
例句：Pierre Vinken, 61 years old, joined the board as a
nonexecutive director.
令A＝1表示名詞依附，A＝0為動詞依附，則上述例句的PP依附問題可表
為：
（A＝0，V＝joined，N1＝board，P＝as，N2＝director）
令V，N1，N2分別代表句中動詞短語、賓語短語、介賓短語的中心詞，
並在壹個帶有句法標註的語料庫（又稱樹庫）中統計如下四元組的概率
P[,r]：
P[,r]＝（A＝1│V＝v，N1＝n1，P＝p，N2＝n2） （10）
對輸入句子進行PP依附判斷的算法如下：
若P[,r]＝（1│v，n1，p，n2）≥0.5，
則判定PP依附於n1，
否則判定PP依附於v。
Collins & Brooks（1995）實驗使用的語料庫是賓夕法尼亞大學標註的
《華爾街日報》（WSJ）樹庫，其中包括：訓練集20，801個四元組，測
試集3，097個四元組。他們對PP依附自動判定精度的上下限作了如下分
析：
壹律視為名詞依附（即A≡1） 59.0％
只考慮介詞p的最常見依附 72.2％
三位專家只根據四個中心詞判斷 88.2％
三位專家根據全句判斷 93.2％
很明顯，自動判斷精確率的下限是72.2％，因為機器不會比只考慮句中
介詞p的最常見依附做得更差；上限是88.2％， 因為機器不可能比三位
專家根據四個中心詞作出的判斷更高明。
論文報告，在被測試的3，097個四元組中，系統正確判斷的四元組
為2，606個，因此平均精確率為84.1％。這與上面提到的上限值88.2％
相比，應該說是相當不錯的結果。
4. 結論
語言學家的努力，不論是用復雜特征集和合壹語法，還是詞匯主義
方法，都是在原先所謂的理性主義框架下作出的重大貢獻。詞匯主義方
法特別值得推崇，因為它不僅提出了壹種顆粒度更細的語言知識表示形
式，而且體現了壹種語言知識遞增式開發和積累的新思路。尤其值得重
視的是在眾多詞匯資源的開發過程中，語料庫和統計學方法發揮了很大
的作用。這也是經驗主義方法和理性主義方法相互融合的可喜開端。筆
者相信，語料庫方法和統計語言模型是當前自然語言處理技術的主流，
它們的實用價值已在很多應用系統中得到證實。統計語言模型的研究，
尤其在結構化對象的統計建模方面，仍有廣闊的發展空間。
參考文獻:
Aarts, Jan & Willen Meijs (eds.). 1990. Corpus Linguistics:
Theory and Practice〔C〕. Amsterdam: Rodopi.
Collins, M. and J. Brooks. 1995. Preposition phrase
attachment through a backed-off model〔P〕. In Proceedings of the
3rd Workshop of Very Large Corpora. Cambridge, Mass.
Garside, R., G. Leech and G. Sampson, (eds.). 1989. The
Computational Analysis of English: A Corpus-Based Approach〔C〕.
London: Longman.
Hudson, R. A. 1991. English Word Grammar〔M〕. Cambridge,
Mass.: Basil Blackwell.
白拴虎，1992，漢語詞性自動標註系統研究〔MA〕。清華大學計算
機科學與技術系碩士學位論文。
董振東、董強，1997，知網〔J〕。《語言文字應用》第3期。
俞士汶等，1998，《現代漢語語法信息詞典詳解》〔M〕。 北京：
清華大學出版社。