基于信息熵的屬性約簡算法研究.pdf

1、波蘭數(shù)學(xué)家Z．Pawlak于1982年提出的粗糙集理論是一種新的處理模糊和不確定性知識的數(shù)學(xué)工具。其主要思想就是在保持分類能力不變的前提下，通過知識約簡，導(dǎo)出問題的決策或分類規(guī)則。目前，粗糙集理論已成功應(yīng)用于機器學(xué)習(xí)、決策分析、過程控制、模式識別與數(shù)據(jù)挖掘等領(lǐng)域。粗糙集在數(shù)據(jù)挖掘的過程中，主要用于數(shù)據(jù)挖掘的數(shù)據(jù)預(yù)處理部分。 然而，粗糙集作為一種有效的粒度計算模型，只適合于處理名義型變量，對于現(xiàn)實應(yīng)用中廣泛存在數(shù)值型數(shù)據(jù)卻不能直接

2、處理。需要采用離散化方法把數(shù)值型屬性轉(zhuǎn)化為符號型屬性，而這種轉(zhuǎn)換不可避免地會帶來信息的損失，其計算結(jié)果在很大程度上取決于離散的效果。為了解決這一問題，本文主要運用三種方法進行有效的約簡，進而利用改進的決策樹方法（C—ID3算法）去做決策： 第一，我們利用條件熵來表示模糊等價關(guān)系矩陣的區(qū)分能力，這是我們建立的模糊粗糙集模型的一個關(guān)鍵點，依據(jù)條件熵，我們提出屬性重要度的概念，接著建立了基于條件熵的約簡算法，實驗表明由該約簡算法得到的

3、更好的結(jié)果。 第二，考慮到1）當數(shù)據(jù)的區(qū)分性不太明顯時，常常不能實現(xiàn)信息系統(tǒng)的約簡；2）難以系統(tǒng)地將不確定性決策意識融入約簡過程中，而如何排除噪音、削弱模糊信息的不確定性則是彌補這些不足的關(guān)鍵問題?；谶@兩方面的分析，本文從模糊信息的結(jié)構(gòu)特征以及模糊決策的基本原理出發(fā)，在分析不確定性對約簡的本質(zhì)影響基礎(chǔ)上，提出了模糊信息過濾的公理化體系，給出了幾種具有良好結(jié)構(gòu)特征的模糊信息過濾模式，建立了基于信息過濾和信息熵的屬性約簡方法FII

4、—RED，并結(jié)合具體實例分析了FII—RED特性，結(jié)果表明FII—RED可以有效地將決策意識融入屬性約簡的過程中，具有良好的結(jié)構(gòu)特征和可解釋性，在一定程度上彌補了模糊粗糙集模型的不足。 第三，考慮到信息系統(tǒng)中模糊等價關(guān)系矩陣的不同，本著充分利用各種信息的原則，提出了極小混合熵的概念，建立了基于極小混合熵的屬性約簡方法，進而結(jié)合具體實例進行了比較分析研究，結(jié)果表明該方法具有良好的屬性約簡能力。 最后，我們提出了改進的ID3