排序?qū)W習中的領域自適應研究.pdf

1、隨著監(jiān)督式機器學習技術在各個領域的廣泛應用，研究人員逐漸意識到，訓練數(shù)據(jù)的缺乏是阻礙學習模型快速部署的關鍵因素之一。最近幾年，如何解決訓練數(shù)據(jù)缺乏的問題，已經(jīng)成為機器學習，自然語言處理，信息檢索、多媒體等領域的研究熱點。
　　 排序?qū)W習是信息檢索的關鍵問題之一。目前，基于監(jiān)督的機器學習技術被認為是解決排序?qū)W習的最佳選擇。如同傳統(tǒng)監(jiān)督式學習技術，目標領域缺乏訓練數(shù)據(jù)也是排序?qū)W習正在面臨的實際問題。針對排序?qū)W習，我們研究了如何利用其

2、他相關領域的已有訓練數(shù)據(jù)，學習出適用于目標領域的模型，即領域自適應。
　　 本文的主要貢獻有以下幾個方面：
　　 1.提出了基于文檔權重的排序?qū)W習自適應框架。首先，利用領域分隔超平面估計源領域文檔對目標領域的重要性；然后，把這些文檔權重轉(zhuǎn)換成文檔對權重；最終，文檔對權重可以集成到基于文檔對的排序?qū)W習算法中。
　　 2.研究了著名的排序?qū)W習算法RankBoost的領域自適應問題。在基于文檔權重的排序自適應框架下，提

3、出了三種基于文檔權重的RankBoost算法，并分別對它們進行了理論分析和試驗比較。
　　 3.提出了直接在查詢層次估計源領域查詢對目標領域重要性的方法。在排序?qū)W習中，查詢是帶有相關性標簽的文檔集合，是排序?qū)W習的基本對象。我們分別從兩個不同的角度進行查詢權重估計：(1)將查詢壓縮成特征向量，然后采用傳統(tǒng)的權重估計方法進行查詢權重估計。(2)對每個源領域的查詢，把它依次和目標領域查詢進行比較；通過集成這些兩兩比較的結果，估計源領域

4、查詢對于目標領域的重要程度。
　　 4.提出了基于主動學習的排序?qū)W習自適應算法。為了獲得目標領域特有的排序知識，采用主動學習技術，選擇少量目標領域具有信息量的查詢進行標注。這些查詢可以彌補源領域所缺失的目標領域排序知識，同時，利用這些目標查詢評估源查詢對目標領域的重要性權重，從而充分利用源領域的訓練數(shù)據(jù)。
　　 5.將領域自適應技術應用在語義實體識別中，提出了利用領域獨立特征來增強領域自適應能力的方法。傳統(tǒng)實體識別僅僅使

5、用短文本特征，當訓練文檔和測試文檔在風格上稍有差異時，性能便有明顯下降。為解決該問題，我們設計了一個CRF與SVM的組合框架，通過該框架，短文本特征與領域獨立特征可以有效的集成，最終獲得的識別模型能夠更好地適用于目標領域。
　　 針對不同的應用場景，本文研究了排序?qū)W習中的領域自適應問題。在目標領域沒有標注數(shù)據(jù)的場景下，我們從樣本權重的角度，研究了基于權重的排序?qū)W習領域自適應；在目標領域存在少量標注預算的場景下，我們研究了基于主動