統(tǒng)計(jì)稀疏學(xué)習(xí)-特征提取、聚類(lèi)、分類(lèi)及多特征融合.pdf

1、統(tǒng)計(jì)學(xué)習(xí)作為統(tǒng)計(jì)學(xué)和人工智能的交叉學(xué)科，近年來(lái)得到快速發(fā)展，并在諸多領(lǐng)域得到了廣泛的應(yīng)用，例如數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、內(nèi)容檢索、計(jì)算機(jī)視覺(jué)等等。其中基于稀疏理論的統(tǒng)計(jì)學(xué)習(xí)方法因稀疏分解理論、壓縮傳感理論的研究及其成功的廣泛應(yīng)用，引起了信息科學(xué)與統(tǒng)計(jì)學(xué)等領(lǐng)域研究者的極大關(guān)注，并對(duì)當(dāng)前統(tǒng)計(jì)學(xué)習(xí)的研究產(chǎn)生了深刻影響。當(dāng)前，統(tǒng)計(jì)學(xué)習(xí)領(lǐng)域的學(xué)者結(jié)合稀疏特性對(duì)傳統(tǒng)統(tǒng)計(jì)學(xué)習(xí)理論和方法進(jìn)行了豐富和拓展，正逐步形成有特色的統(tǒng)計(jì)稀疏學(xué)習(xí)學(xué)科，并成為統(tǒng)計(jì)學(xué)習(xí)與信

2、息處理的重要研究方向。
　　 本文以統(tǒng)計(jì)稀疏學(xué)習(xí)方法為主線，著重在基于統(tǒng)計(jì)稀疏學(xué)習(xí)的數(shù)據(jù)降維、特征提取、遷移學(xué)習(xí)、聚類(lèi)及分類(lèi)等任務(wù)方面進(jìn)行了深入的調(diào)研及探討，并提出了相應(yīng)的新方法和研究的新思路。其主要內(nèi)容如下:
　　 1.本文首先對(duì)于統(tǒng)計(jì)稀疏學(xué)習(xí)方法的研究背景和意義進(jìn)行了介紹，并對(duì)其在視覺(jué)問(wèn)題上的應(yīng)用進(jìn)行了探索，然后分析了統(tǒng)計(jì)稀疏學(xué)習(xí)方法在國(guó)內(nèi)外的研究現(xiàn)狀。
　　 2.本文對(duì)當(dāng)前的稀疏主元分析進(jìn)行了調(diào)研，并分析了

3、其若干局限性，特別是當(dāng)前的方法無(wú)法對(duì)高階的數(shù)據(jù)進(jìn)行直接處理，而只能先把數(shù)據(jù)轉(zhuǎn)換成向量進(jìn)行操作。這樣的轉(zhuǎn)換必然破壞了數(shù)據(jù)之間的空間關(guān)系。對(duì)于這個(gè)問(wèn)題，本文提出了一個(gè)嶄新的稀疏高階數(shù)據(jù)主元分析算法。我們的算法可以直接對(duì)基于張量表達(dá)的高階數(shù)據(jù)進(jìn)行分析，以達(dá)到數(shù)據(jù)降維和特征提取的效果。
　　 3.對(duì)于聚類(lèi)問(wèn)題，我們對(duì)于當(dāng)前的一個(gè)基于字典學(xué)習(xí)的方法進(jìn)行的分析，并對(duì)當(dāng)前最廣泛應(yīng)用的k-means算法進(jìn)行考查，然后指出了其在某些方面的局限性。

4、針對(duì)這些局限性，我們提出了一個(gè)基于稀疏表達(dá)和字典學(xué)習(xí)的多任務(wù)聚類(lèi)算法。我們的算法對(duì)于每一個(gè)潛在類(lèi)學(xué)習(xí)一個(gè)字典以表達(dá)這個(gè)類(lèi)的特征信息，同時(shí)對(duì)于所有數(shù)據(jù)學(xué)習(xí)一個(gè)公共字典以捕捉那些被多個(gè)類(lèi)共享的信息。我們的算法以多任務(wù)學(xué)習(xí)的方式進(jìn)行運(yùn)作，并相應(yīng)地提高了聚類(lèi)性能。
　　 4.本文考察了當(dāng)前的遷移學(xué)習(xí)領(lǐng)域中學(xué)者還未涉及到的方向，即如何對(duì)于無(wú)標(biāo)簽的異構(gòu)數(shù)據(jù)進(jìn)行無(wú)監(jiān)督地遷移以達(dá)到增強(qiáng)求解目標(biāo)任務(wù)性能的目的。面對(duì)這個(gè)問(wèn)題，我提出了一個(gè)基于稀疏表

5、達(dá)及字典學(xué)習(xí)的無(wú)監(jiān)督遷移學(xué)習(xí)算法。我們的算法可以對(duì)源域數(shù)據(jù)尋找一個(gè)投影空間，以使驅(qū)使著這些異構(gòu)數(shù)據(jù)像目標(biāo)域數(shù)據(jù)空間靠攏。之后，我們的算法有選擇性的地挑取更有意義的數(shù)據(jù)進(jìn)行遷移，以提高目標(biāo)域任務(wù)的性能。
　　 5.對(duì)于基于稀疏表達(dá)和字典學(xué)習(xí)的圖片分類(lèi)問(wèn)題，本文進(jìn)行了深刻地探討和分析，并指出了當(dāng)前的前沿方法的缺陷。針對(duì)這些缺陷，我們提出了一個(gè)新的基于字典學(xué)習(xí)的圖片分類(lèi)算法。我們的算法對(duì)于每個(gè)類(lèi)都學(xué)習(xí)一個(gè)字典以捕捉那些最具有特色的信息

6、，同時(shí)對(duì)于所有類(lèi)學(xué)習(xí)一個(gè)共享字典以表達(dá)那些被多個(gè)類(lèi)共享的必要的數(shù)據(jù)重構(gòu)信息。通過(guò)我們的算法學(xué)習(xí)到的字典更加緊湊、更加具有判別能力，更重要的是，我們的算法可以把每個(gè)類(lèi)中最具有判別特征的信息和那些被其他類(lèi)也共享的信息分離開(kāi)來(lái)，以達(dá)到提高分類(lèi)正確率的效果。
　　 6.本文進(jìn)一步把基于字典學(xué)習(xí)的圖片分類(lèi)算法擴(kuò)展到了多特征分類(lèi)任務(wù)中。與基于一種特征的圖片分類(lèi)相比，對(duì)于一張圖片的多個(gè)特征同時(shí)進(jìn)行分析并依據(jù)多個(gè)特征進(jìn)行分類(lèi)將能得到更好的分類(lèi)結(jié)