正則化方法在數據挖掘中的應用與研究.pdf

1、隨著信息技術的發(fā)展尤其是高通量技術的進步，數據已成為各行業(yè)接觸最多，使用最為頻繁的信息載體。但海量數據的出現使得人們無法從中獲得真正對決策或者預測起作用的信息，從而造成了數據存儲上的浪費和運算上的困難。因此，如何從數據中快速、準確地獲取有效信息便成為數據挖掘領域中的根本問題。正則化方法是近年來數據挖掘領域中的研究熱點，通過整合新的信息對數學模型進行修正從而達到融合多種信息的目的。該方法被越來越多地運用于生物信息學、模式識別、人臉檢測、圖

2、像聚類等領域中。因此，研究正則化方法在數據挖掘領域的應用具有深遠的意義。
　　本文主要研究的是基于正則化方法的數據挖掘技術，全文就分類器設計、特征選擇、聚類等問題提出了相應的算法，全文在提出正則化數學模型的同時分別給出了求解模型的算法及理論分析。本文主要工作概括如下：
　　1）首先介紹了本研究的目的、背景以及正則化方法在數據挖掘領域中的研究現狀。其中相關的內容包括：正則化方法在分類器設計方面的研究現狀；正則化方法在數據降維算

3、法中的研究現狀；正則化方法在聚類算法中的研究現狀。
　　2）提出一種針對小樣本分類問題具有魯棒性的無參數稀疏表達分類器。傳統(tǒng)稀疏表達分類器是一種有效的分類方法，但是該分類器的應用需要人為設置相關的稀疏化參數，顯然對于不同的數據而言稀疏化參數都不相同。通過交叉驗證的方式挑選參數是處理此類問題的可行方法，但是這將是一項時間復雜度非常高的工作。本文提出一種用加權字典替代原始樣本并構造一種不定線性系統(tǒng)的策略，利用正則化稀疏范數實現對樣本分

4、類。本方法不需要人為設置參數，分類方法具有自適應性。
　　3）提出了用于特征選擇的局部敏感Laplacian Score算法，本方法的主要思想是結合數據的流形結構考察特征對局部邊界的貢獻能力，如：同時考慮特征對極小化類內信息與極大化類間信息的能力。在進行有監(jiān)督的特征選擇時，數據的局部結構往往比全局特征有更好的判別能力，因此新算法從流形學習的角度定義了新的局部邊界結構，擴展了基于距離的度量方式。特征的方差在一定程度上可以描述特征的顯

5、著性且方差越大的特征更具表達能力，作為一種信息增益方式，新算法從譜圖理論的角度將方差信息作為正則項引入評價框架對特征選擇進行綜合考量，進而擴展了譜特征選擇算法。
　　4）提出兩種高效的批處理式特征選擇算法，該方法同時考慮了多目標回歸模型與圖嵌入并在一個統(tǒng)一的優(yōu)化模型中予以求解。由于模型中加入了結構化稀疏范數的約束條件使得本文提出的模型可以適用于特征選擇。本方法有以下兩個優(yōu)勢：（1）被選出的特征子集同時考慮了全局邊界結構與局部流形結

6、構，因此數據的全局結構與局部結構都得以保存；（2）特征的選擇方式以批處理方式進行而非以貪婪策略實現，所以降維的同時特征間的相互作用得以保存。最后本文給出了數學模型的求解算法以及理論證明。在求解結構化稀疏問題時，本文提出一種基于迭代的優(yōu)化算法從而避免了在非平滑優(yōu)化問題中關于次梯度的求解，進而提高了算法的收斂速度。
　　5）提出一種基于圖正則的非負稀疏PCA聚類算法，該方法同時考慮了數據的局部流形結構和稀疏約束因此擴展了基于非負矩陣分