稀疏貝葉斯學(xué)習(xí)理論及應(yīng)用研究.pdf

1、近年來(lái)，稀疏貝葉斯學(xué)習(xí)方法成為機(jī)器學(xué)習(xí)中的一個(gè)研究熱點(diǎn)，它能夠充分挖掘和利用數(shù)據(jù)的先驗(yàn)信息，假設(shè)先驗(yàn)信息的概率分布情況，對(duì)要解決的問(wèn)題進(jìn)行合理的數(shù)學(xué)建模，來(lái)實(shí)現(xiàn)低維模型的學(xué)習(xí)。由于挖掘了數(shù)據(jù)的先驗(yàn)信息，因此能夠利用數(shù)據(jù)自身的特性對(duì)信號(hào)和圖像實(shí)現(xiàn)最優(yōu)的稀疏表示。稀疏貝葉斯學(xué)習(xí)的關(guān)鍵難點(diǎn)在于：模型的選取和先驗(yàn)知識(shí)的假設(shè)。在研究稀疏貝葉斯學(xué)習(xí)理論的基礎(chǔ)上，本文深入探討了在不同概率模型下的信號(hào)和圖像稀疏建模與學(xué)習(xí)方法，主要在如下幾個(gè)方面開(kāi)展了工

2、作：
　　 (1)提出一種基于快速貝葉斯匹配追蹤算法(Fast Bayesian Matching pursuit，F(xiàn)BMP)的稀疏學(xué)習(xí)機(jī)構(gòu)造方法。FBMP算法加入了稀疏系數(shù)服從混合高斯分布的假設(shè)，比傳統(tǒng)的貪婪匹配追蹤算法的性能有了顯著提高。本文在分析FBMP算法性能的基礎(chǔ)上，將該算法用于學(xué)習(xí)機(jī)的結(jié)構(gòu)稀疏化，提出一種基于FBMP的稀疏學(xué)習(xí)機(jī)方法。在壓縮感知框架下，進(jìn)一步通過(guò)壓縮采樣技術(shù)得到結(jié)構(gòu)更加精簡(jiǎn)的網(wǎng)絡(luò)模型。將該方法用于雙螺

3、旋線數(shù)據(jù)的分類(lèi)，實(shí)驗(yàn)結(jié)果顯示：該方法能夠得到性能優(yōu)良的學(xué)習(xí)模型，相比其他優(yōu)化算法得到的學(xué)習(xí)機(jī)具有更好的性能。
　　 (2)實(shí)現(xiàn)了一種基于l1正則化的稀疏貝葉斯學(xué)習(xí)算法，在貝葉斯準(zhǔn)則下給出一種正則參數(shù)的學(xué)習(xí)方法。在稀疏貝葉斯學(xué)習(xí)中，假設(shè)稀疏系數(shù)服從Laplace分布，引入了均勻正則化和獨(dú)立正則化的思想，建立了l1范數(shù)正則的稀疏貝葉斯學(xué)習(xí)模型，研究了正則化參數(shù)的確定方法。針對(duì)一般最小二乘(Ordinary Least Square，

4、OLS)和非負(fù)最小二乘(Nonnegative Least Square，NLS)兩種情況，提出在貝葉斯準(zhǔn)則下正則參數(shù)的學(xué)習(xí)算法，仿真實(shí)驗(yàn)驗(yàn)證了其有效性。
　　 (3)實(shí)現(xiàn)了圖像稀疏表示的非參數(shù)稀疏貝葉斯學(xué)習(xí)，給出了在Dirichlet過(guò)程和Beta過(guò)程兩種分布下的非參數(shù)貝葉斯混合因子模型。對(duì)能夠被約束在低維子空間中高維圖像數(shù)據(jù)進(jìn)行低秩混合高斯模型的學(xué)習(xí)，該模型從給定的數(shù)據(jù)集中自動(dòng)學(xué)習(xí)得到混合元素的個(gè)數(shù)和因子個(gè)數(shù)，將其作為數(shù)據(jù)的