面向文本組塊獲取的機器學習方法的研究.pdf

1、從50年代初機器翻譯課題的提出至今，自然語言處理的研發(fā)歷史至少也有50年了，其間經(jīng)歷了從以通過自省方式學習符號文法和手工編寫規(guī)則為主要方法的“理性主義”到日益強調(diào)以對真實文本數(shù)據(jù)的統(tǒng)計分析和經(jīng)驗知識歸納為主要方法的“經(jīng)驗主義”。這種趨勢還同計算機處理能力不斷提高和文本數(shù)據(jù)積累不斷增大密切相關。尊重真實文本語言已成為當前各種信息處理技術的一個基本立場和出發(fā)點。 經(jīng)驗主義方法的復興一方面是由于理性主義方法一直無法擺脫知識瓶頸問題的困

2、擾，但更為重要的是，正如(Armstrong&Warwick1993)指出的，經(jīng)驗主義方法提供了解決自然語言處理中長期存在的問題的方法，這些問題歸納為以下四個方面：(1)語言知識的自動獲取。各種相關的語言知識可以自動或半自動的從語料中獲取，而不是來自語言專家的人工知識編碼。 (2)語言現(xiàn)象的覆蓋范圍。在給定領域或應用的前提下，能夠解釋所有的語言現(xiàn)象。 (3)健壯性。對于真實數(shù)據(jù)中包含的噪音和在一些特定模型下無法解釋的現(xiàn)象

3、，仍然能夠很好的適應。 (4)可擴展性。可以很容易地將系統(tǒng)移植到新的領域或新的任務中去。 最近幾年，機器學習的研究不斷的蓬勃發(fā)展，原因是多方面的，正如(Dietterich1997)指出的，歸于以下兩個方面：(1)各種獨立的研究團體，包括研究符號機器學習，計算學習理論，神經(jīng)網(wǎng)絡，統(tǒng)計和模式識別的團體開始注意到了對方，并進行了廣泛的合作。 (2)機器學習技術應用到很多新的領域，如知識發(fā)現(xiàn)，語言處理，機器人控制，組合

4、優(yōu)化，和一些傳統(tǒng)的問題，如語音識別，人臉識別，手寫體識別，醫(yī)療診斷等。 將機器學習技術和自然語言處理聯(lián)系起來，是基于這樣一個事實，所有的自然語言處理問題都可以被描述成以下兩種分類問題之一(Daelemans1995)：(1)消歧。給定一組可能的類別和以屬性和值表示的上下文信息，判斷在該上下文環(huán)境下，所屬的正確類別。 (2)切分。給定一個目標和上下文信息，判斷在該上下文環(huán)境下，是否存在目標的邊界信息以及哪類邊界信息。

5、 當然，復雜的語言處理問題(句法分析)可以通過分解成一系列上述問題。正是基于這樣一個事實，本文的工作以文本組塊獲取作為應用背景，探討了各種機器學習算法的實現(xiàn)過程以及性能比較。在有指導的學習方法中，分別對統(tǒng)計的方法如HMM，符號的方法如TBL，MBL，Winnow，以及其他的方法如SVM，組合分類器等進行了深入地分析和實踐，在半指導的學習方法中，對co-training方法進行了嘗試。 首先給出了組塊分析體系和形式化定義，并將組

6、塊識別問題看成一種分類問題，為應用各種機器學習方法提供了一個學習框架。 在有指導的學習方法中，首先對傳統(tǒng)的HMM進行了改進，提出了增益的HMM來構造更為準確的模型。利用轉(zhuǎn)換函數(shù)將各種上下文信息導入訓練模型中，在提高模型描述能力的同時，保持了與原模型一致的訓練和標注過程。實驗結(jié)果表明，無論漢語還是英語組塊識別，新模型均比原模型有很大的提高。 接著探討了SVM算法實現(xiàn)細節(jié)以及性能分析。SVM算法是目前公認的最好的文本分類算法

7、之一。在本文應用各單分類器的組塊識別結(jié)果中，SVM也取得了最好的結(jié)果。在對多項式核函數(shù)各個階次的比較發(fā)現(xiàn)，SVM在高維特征空間的確表現(xiàn)了良好的泛化能力，在與增益的HMM比較發(fā)現(xiàn)，SVM在小樣本統(tǒng)計模式識別方面表現(xiàn)出特有的優(yōu)勢。我們還著重討論了直推式SVM和多類識別算法。 在此基礎上，提出了基于stacking算法的組合分類器模型。組合分類器方法是近幾年機器學習領域的一個熱點，該方法由于可以取得比單分類器更好的性能而日益受到研究人

8、員的重視。我們構造了兩層疊加式框架結(jié)構，將SVM，TBL，Winnow，MBL四種分類器進行組合，并與基于voting算法的組合分類器方法進行了比較，基于stacking算法的組合模型無論在準確率還是召回率方面都取得了更好的結(jié)果。 我們嘗試半指導機器學習方法co-training方法。半指導機器學習方法是有指導和無指導機器學習兩者的一個折中辦法，它的原則是：在不犧牲性能的前提下，盡量多的使用未帶標數(shù)據(jù)。在具體的組塊識別過程中，分