基于時空顯著性的視頻場景解析.pdf

1、場景解析是理解圖像和視頻至關重要的一步。作為近年來計算機視覺領域最活躍的研究方向之一，場景解析在自動車輛導航、遙感、地表外貌自動識別、圖像檢索等諸多領域都具有十分廣泛的應用前景。
　　通常，場景理解涉及兩個部分：場景內容的提取和場景內容的識別。本文利用顯著性模擬視覺注意機制提取場景中的顯著區(qū)域，然后使用改進的圖像場景解析算法完成視頻場景內容的分層標注。主要研究工作如下：
　　1)針對現有時空顯著性檢測模型對于運動特征的描述不

2、是過于簡單導致不足以包含豐富的運動信息，就是太過復雜導致耗時太多的問題，提出一種基于慢特征分析的時空顯著性檢測模型。該方法首先以非監(jiān)督的方式從不同視頻序列的時空立方體中學習緩慢特征函數，然后利用兩層級聯的緩慢特征核來提取像素級的高層運動特征用于計算時間顯著性，最后將獲得的時間顯著圖與基于布爾圖的空間顯著圖融合生成最終的時空顯著圖。在JPEGS視頻序列數據集上的實驗結果表明，提出的方法優(yōu)于其他的時空顯著模型，獲得了更好的顯著區(qū)域提取效果。

3、
　　2)針對通常的非參數圖像場景解析方法中利用人工特征的圖像檢索存在噪聲圖像導致不高的像素識別，以及利用 KNN的超像素分類傾向于忽略稀少類別而帶來較低的類別識別這兩個問題，提出一種自動特征學習的場景解析方法。該方法首先利用深度學習框架提取CNN特征代替?zhèn)鹘y(tǒng)的人工特征（如gist特征和空間金字塔匹配）用于場景相似性的圖像檢索，然后將 KNN與集成分類器技術相結合，通過合并不同概率分類器的似然得分來調整 KNN分類的似然估計，從而

4、增強稀少類別的分類性能。在兩個公開數據集SIFTflow和LMSun上的實驗結果表明，CNN特征在場景相似性描述上優(yōu)于人工特征，大大提高了場景標注的像素識別率；另外KNN與集成分類器的融合使得場景標注的類別識別率得到顯著提高。
　　3)針對傳統(tǒng)的非參數解析方法沒有考慮到場景中顯著區(qū)域所帶來的語義重要性，導致一些具有稀少特性的顯著區(qū)域標注不正確這一問題，提出一種基于感興趣區(qū)域的視頻場景標注算法。該方法首先利用時空顯著性模擬人眼視覺注