基于深度置信網(wǎng)絡的分類方法.pdf

1、最近,機器學習領域出現(xiàn)了一系列基于多層神經(jīng)網(wǎng)絡架構的學習方法,稱為深度學習方法。深度置信網(wǎng)絡作為經(jīng)典的深度學習方法,可以包含較多隱藏層,可以更好的學習各種復雜數(shù)據(jù)的結構和分布,引起了廣泛關注。但由于深度置信網(wǎng)絡本身采用的是無監(jiān)督學習機制,因此,探討如何使用深度學習方法來解決分類問題,特別是基于半監(jiān)督學習的分類問題的研究工作還比較少。
　　本文提出了一系列基于深度置信網(wǎng)絡的分類方法,使用半監(jiān)督學習和監(jiān)督學習方法來提升分類性能。研究內

2、容主要包括:
　　第一,區(qū)分深度置信網(wǎng)絡。深度置信網(wǎng)絡方法在數(shù)據(jù)壓縮中取得了很好的效果,但是在分類方面的性能還有待提升。本文基于深度置信網(wǎng)絡方法,提出了一種新的半監(jiān)督學習方法,稱為區(qū)分深度置信網(wǎng)絡。該方法使用一個新的深層架構來集成深度置信網(wǎng)絡的抽象能力和指數(shù)損失函數(shù)的區(qū)分能力,可以使用少量的標注數(shù)據(jù)達到比較好的分類效果。在人工合成和現(xiàn)實生活中圖片數(shù)據(jù)集上的實驗表明,區(qū)分深度置信網(wǎng)絡可以通過使用大量的未標注數(shù)據(jù)來大大提升它的分類能力

3、。
　　第二,自適應深度置信網(wǎng)絡。區(qū)分深度置信網(wǎng)絡主要解決半監(jiān)督學習問題,而沒有解決如何用深度學習方法進行有效的監(jiān)督學習的問題。本文基于區(qū)分深度置信網(wǎng)絡和深度自動編碼方法,提出了一種新的監(jiān)督學習方法,稱為自適應深度置信網(wǎng)絡。該方法使用無監(jiān)督學習方法來構建輸出層,與使用隨機數(shù)初始化輸出層的經(jīng)典方法相比,分類結果得到了提升。在手寫數(shù)字、手寫字母和現(xiàn)實生活中圖片數(shù)據(jù)集上的實驗表明,自適應深度置信網(wǎng)絡的分類結果優(yōu)于經(jīng)典機器學習方法和區(qū)分深

4、度置信網(wǎng)絡方法。
　　第三,量子深度置信網(wǎng)絡。量子神經(jīng)網(wǎng)絡是一個將模糊集和傳統(tǒng)神經(jīng)網(wǎng)絡很好的結合起來的分類方法。為了進一步提升監(jiān)督學習方法性能,本文在自適應深度置信網(wǎng)絡和量子神經(jīng)網(wǎng)絡基礎上,提出了量子深度置信網(wǎng)絡方法。該方法使用一個新的深層架構來集成深層架構的抽象能力和量子神經(jīng)網(wǎng)絡的模糊表示能力。在多個現(xiàn)實應用數(shù)據(jù)集上的實驗表明,量子深度置信網(wǎng)絡的分類能力明顯高于經(jīng)典神經(jīng)網(wǎng)絡、模糊神經(jīng)網(wǎng)絡、區(qū)分深度置信網(wǎng)絡和自適應深度置信網(wǎng)絡方法

5、。
　　第四,主動深度置信網(wǎng)絡。為解決半監(jiān)督學習中的有效樣本選擇問題,本文將自適應深度置信網(wǎng)絡和主動學習方法相結合,提出了一種新的半監(jiān)督學習方法,稱為主動深度置信網(wǎng)絡。該方法使用同一個深層架構來進行半監(jiān)督學習和主動學習,使深層架構在主動學習過程中進行迭代訓練,逐步提高抽象和分類能力。本文將主動深度置信網(wǎng)絡成功的應用到情感分類任務中,實驗結果表明,主動深度置信網(wǎng)絡的性能優(yōu)于經(jīng)典半監(jiān)督學習方法、主動學習方法,對本文前面提出的深度學習方

6、法也有性能上的改進。
　　第五,主動模糊深度置信網(wǎng)絡。為了進一步提升主動深度置信網(wǎng)絡的性能,本文將主動深度置信網(wǎng)絡與模糊學習方法相結合,提出了主動模糊深度置信網(wǎng)絡。該方法繼承了深層架構優(yōu)異的數(shù)據(jù)抽象能力和模糊集優(yōu)異的分類能力。本文將該方法成功的應用到情感分類任務中,實驗結果表明,主動模糊深度置信網(wǎng)絡獲得了所有對比方法中最好的性能。
　　最后,本文將深度學習方法應用到手寫中文識別任務中,提出了一個有效的手寫中文識別方法,稱為基