基于深度學習的多模態(tài)數(shù)據(jù)特征提取與選擇方法研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展以及科學技術(shù)的不斷進步，在現(xiàn)實生活與科學研究中都積累了大量類型不同的數(shù)據(jù)。而且其中大部分數(shù)據(jù)都呈現(xiàn)為結(jié)構(gòu)各異的非結(jié)構(gòu)化數(shù)據(jù)，具有維度較高，表現(xiàn)形式迥異，含有大量冗余信息等特點。而傳統(tǒng)的機器學習方法又無法直接利用這些多模態(tài)非結(jié)構(gòu)化數(shù)據(jù)，提出一種用于多模態(tài)數(shù)據(jù)的特征提取方法成為迫切需要。同時因為不同模態(tài)中包含著冗余信息甚至噪聲信息，對于這一問題需要提出一種能夠?qū)Σ煌瑪?shù)據(jù)模態(tài)的特征進行選擇的方法，以便去除冗余與噪聲信息。

2、>　　本文提出了一系列基于深度學習的多模態(tài)數(shù)據(jù)特征提取與特征選擇方法。首先為了解決多模態(tài)環(huán)境下不同數(shù)據(jù)模態(tài)之間結(jié)構(gòu)差異巨大，傳統(tǒng)機器學習方法無法直接應(yīng)用這一現(xiàn)實問題，本文引入了深度學習這一特征提取方法，將深度學習的思想應(yīng)用于多模態(tài)特征提取。本文提出了一種多模態(tài)神經(jīng)網(wǎng)絡(luò)，對于每一種模態(tài)都有一個獨立結(jié)構(gòu)的多層子神經(jīng)網(wǎng)絡(luò)與之對應(yīng)，用于將不同模態(tài)下的特征轉(zhuǎn)換為同模態(tài)特征。同時通過位于這些子神經(jīng)網(wǎng)絡(luò)之上的所有模態(tài)共有的一個網(wǎng)絡(luò)層，在這些這些不同的

3、模態(tài)之間建立聯(lián)系，最終將多個異構(gòu)模態(tài)轉(zhuǎn)換成為同一模態(tài)并且從中提取出多種數(shù)據(jù)模態(tài)的融合特征。
　　另一方面，不同的模態(tài)對于當前的學習任務(wù)作用也不盡相同，為了評價不同模態(tài)對于當前學習任務(wù)的重要程度，本文提出了一種結(jié)合了深度神經(jīng)網(wǎng)絡(luò)與稀疏表達學習的多模態(tài)特征評價與選擇方法。首先使用多模態(tài)神經(jīng)網(wǎng)絡(luò)將不同模態(tài)的異構(gòu)特征轉(zhuǎn)換成為同模態(tài)下的同構(gòu)特征，隨后采用基于結(jié)構(gòu)化稀的特征選擇方法，得到不同模態(tài)的重要性權(quán)值，選擇出對于當前學習任務(wù)最重要的特征