非參數邊際距離最大化準則及其應用.pdf

1、維數災難問題是許多模式識別方法在實際應用中面臨的主要問題，比如文本處理，圖像識別。在低維空間里解析上或計算上行得通的方法，在高維空間里往往行不通。因此，降低維數有時就成為處理實際問題的關鍵。特征提取的任務就是求出一組有效的特征，把數據從高維空間變換為低維空間。 線性鑒別分析是最有效的線性特征提取和維數減少方法之一。線性鑒別分析方法的目標是通過最大化類間散度矩陣Sb，同時最小化類內散度矩陣Sw來提取特征。在許多應用中，線性鑒別分析

2、被證明是十分有效的。但是線性鑒別分析依然存在缺陷：一是當樣本維數很高時，類內散度矩陣為奇異的問題；二是它假設各類都屬于Gaussian分布，并且各類的協(xié)方差矩陣相同，但一般情況下數據不滿足這樣的假設。 本文中，我們提出一種新的非參數邊際距離最大化準則的特征提取方法，非參數邊際距離最大化準則是一種從最近鄰分類器的角度提出的線性特征提取方法。它不存在類內散度矩陣的奇異問題，也不需要假設每個類服從特定的分布。然后我們提出一種維數遞減的

3、優(yōu)化算法。 我們成功地將非參數邊際距離最大化準則應用于人臉識別，效果要好于目前流行的特征提取方法。 最后，我們進一步擴展非參數邊際距離最大化準則，從信息論的角度提出信息邊際距離的概念。我們同樣不假設樣本屬于某個特定的分布，用非參數密度估計方法得到每個樣本在不同類別里的概率密度，我們的目標是最大化類與類之間的相對熵，并且同時最小化每類樣本的熵。實驗證叫，信息邊際距離最人化準則要比互信息最大化準則和其它線性特征提取準則更有效