基于正則化框架的核函數(shù)選擇.pdf

1、上世紀90年代，在Vapnik等人的努力下，基于數(shù)據(jù)的機器學習理論得到了長足的發(fā)展，形成了一門比較完善的統(tǒng)計學習理論。統(tǒng)計學習理論的精髓在于引入了假設函數(shù)容量控制，為了使學習機具有更好的推廣能力，需要在假設函數(shù)容量控制和最小化經(jīng)驗風險之間作一個好的折中。在統(tǒng)計學習理論之前，核函數(shù)在機器學習中就被引入過，其中包含非線性映射和非線性函數(shù)。核函數(shù)能夠有效地對數(shù)據(jù)進行降維，且避免了對數(shù)據(jù)的過度擬合。由于統(tǒng)計學習理論和核技術的結合，引起了核機器的

2、出現(xiàn)和快速成功的發(fā)展。目前的核機器技術主要有支持向量機，多核學習，PAC框架和核Fisher分類器等問題。
　　 本文就是在上述理論的視角上展開，主要包括以下三個方面的內(nèi)容：
　　 首先，介紹了統(tǒng)計學習的基本理論及性質(zhì)定理，對希爾伯特學習空間上的核函數(shù)及相關知識進行了總結。
　　 其次，由于統(tǒng)計學習理論和核函數(shù)的有效結合，得到的基于正則化框架的核函數(shù)學習最優(yōu)化問題，有效地解決了有監(jiān)督學習的求解問題。對正則化與核函