面向失衡數(shù)據(jù)集的數(shù)據(jù)缺失問(wèn)題研究.pdf

1、失衡數(shù)據(jù)集是數(shù)據(jù)挖掘領(lǐng)域中廣泛存在數(shù)據(jù)狀態(tài)，由于不同類別的數(shù)據(jù)樣本數(shù)量差異懸殊而使得正常的分類算法效果不明顯。在數(shù)據(jù)挖掘領(lǐng)域中還有一個(gè)不可避免的問(wèn)題就是數(shù)據(jù)缺失，即數(shù)據(jù)集在收集或者保存時(shí)由于環(huán)境等因素而產(chǎn)生的數(shù)據(jù)值缺失或者屬性缺失，造成的結(jié)果可能是丟失數(shù)據(jù)信息所要表達(dá)的知識(shí)。數(shù)據(jù)集的失衡和缺失給數(shù)據(jù)分析以及知識(shí)發(fā)現(xiàn)帶來(lái)了困難，因此對(duì)此類數(shù)據(jù)集的研究已經(jīng)受到了越來(lái)越多的關(guān)注。隨著計(jì)算機(jī)技術(shù)突飛猛進(jìn)的發(fā)展，基于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)的分類問(wèn)題成

2、為企業(yè)及組織快速?zèng)Q策、準(zhǔn)確判斷和有效輔助的方法，而數(shù)據(jù)缺失的失衡數(shù)據(jù)集普遍的存在于計(jì)算機(jī)科學(xué)、生物信息學(xué)、經(jīng)濟(jì)學(xué)等可利用的領(lǐng)域中，對(duì)于失衡問(wèn)題人們常常關(guān)心的是少數(shù)類的情況，對(duì)于數(shù)據(jù)缺失則常常關(guān)心的是缺失的有用信息，因而對(duì)這類數(shù)據(jù)集的解決就特別的重要。
　　本文先描述了失衡數(shù)據(jù)集以及數(shù)據(jù)缺失的問(wèn)題，總結(jié)了國(guó)內(nèi)外專家對(duì)此類數(shù)據(jù)集的成果，論述了數(shù)據(jù)缺失的失衡數(shù)據(jù)集對(duì)分類的影響、常用的處理辦法以及分類器的性能評(píng)價(jià)標(biāo)準(zhǔn)，詳細(xì)地介紹了數(shù)據(jù)值缺

3、失和屬性缺失。在最大限度的利用數(shù)據(jù)集中已存在數(shù)據(jù)的基礎(chǔ)上，提出了采用基于密度聚類與灰色管理分析技術(shù)相結(jié)合的數(shù)據(jù)值填補(bǔ)策略，同時(shí)運(yùn)用遷移學(xué)習(xí)的方法對(duì)數(shù)據(jù)集中屬性缺失進(jìn)行解決，利用譜特征排列算法對(duì)屬性進(jìn)行增強(qiáng)，并結(jié)合利用密度聚類的簇邊界采樣，處理數(shù)據(jù)集中樣本不平衡，將支持向量機(jī)作為分類模型，對(duì)經(jīng)過(guò)上述步驟的數(shù)據(jù)集分類。最后，將數(shù)據(jù)缺失的失衡數(shù)據(jù)集處理問(wèn)題應(yīng)用到基于數(shù)據(jù)挖掘的輔助醫(yī)療診斷中，并且利用真實(shí)的醫(yī)學(xué)數(shù)據(jù)驗(yàn)證了本文提出的方法可以獲得較