不完整數(shù)據(jù)集成分類算法的研究.pdf

1、分類被廣泛的應用于生產、科學研究、日常生活等領域的方方面面。隨著機器學習應用范圍的擴大，信息技術以及互聯(lián)網的迅速發(fā)展，每天都有大量的數(shù)據(jù)被收集，新的挑戰(zhàn)和問題也隨之出現(xiàn)。在心理學研究中經常出現(xiàn)研究對象可能由于對自己隱私的保護，而沒有填寫某些實驗數(shù)據(jù)。在醫(yī)學研究當中經常由于觀察對象死亡而丟失后續(xù)實驗的數(shù)據(jù)，這些情況都造成了最后的實驗結果不完整。目前主流的分類算法都是針對完整的數(shù)據(jù)集，對不完整的數(shù)據(jù)集則束手無策。如何有效的利用這些不完整的數(shù)

2、據(jù)，成為機器學習中又一個研究熱點。
　　 集成學習由于其簡單的算法和良好的泛化性能得到了廣泛的應用。近年來也有人使用集成學習的方法解決不完整數(shù)據(jù)的分類問題，并取得了良好的效果。但目前針對不完整數(shù)據(jù)的集成分類算法在衡量各個子分類器的權重時只考慮了相應數(shù)據(jù)子集的維數(shù)和大小，而沒有考慮到不同的屬性對最終類別的貢獻程度不同。
　　 信息量是個很抽象的概念，一個系統(tǒng)中信息量多或者信息量少，都是感性的認識，那么如何量化一個系統(tǒng)中信息

3、的多與少呢？1948年克勞德·艾爾伍德·香農第一次用數(shù)學公式描述了一個系統(tǒng)中信息量的多少。本文利用條件熵和互信息的概念來衡量不同缺失屬性之間對于類別貢獻的差異，進而計算出各個子分類器的權重，使得最終的加權投票更加公平，結果更加準確。
　　 本文的主要工作如下:
　　 1.闡述了研究不完整數(shù)據(jù)的背景和意義，介紹了當前處理不完整數(shù)據(jù)的主要方法以及優(yōu)缺點。闡述了弱可學習理論以及集成學習的相關概念、原理、優(yōu)勢和其兩個主要算法:B

4、agging和Boosting。介紹了信息熵、聯(lián)合熵、條件熵以及互信息的概念、意義和相關公式。
　　 2.針對當前集成學習處理不完整數(shù)據(jù)的不足，提出了基于條件熵的不完整數(shù)據(jù)的集成分類算法。給出了使用條件熵計算各個子分類器權值的方法。詳細論述了算法的有效性和正確性。本文使用UCl的數(shù)據(jù)集，利用Bagging和AdaBoost集成學習算法進行了實驗。實驗結果表明該算法比簡單的使用缺失屬性的多少來計算子分類器的權重更有效，最終的集成結