面向結(jié)構(gòu)化數(shù)據(jù)的視頻檢索研究.pdf

1、視頻數(shù)據(jù)在近幾年呈現(xiàn)出爆炸式的增長，在人們的日常生活中占據(jù)越來越重要的地位，而視頻分享在未來數(shù)年甚至數(shù)十年也都將會是熱點，這使得視頻內(nèi)容分析以及視頻檢索成為當(dāng)前視頻研究領(lǐng)域的重點?；趦?nèi)容的視頻檢索(CBVR)是一項集理論性、實用性和挑戰(zhàn)性為一體的技術(shù)，經(jīng)過十幾年的研究，取得了巨大的進展，已經(jīng)有一些原型系統(tǒng)開發(fā)出來，并在小型商用搜索引擎中使用。在CBVR中，廣義的視頻結(jié)構(gòu)化起著非常關(guān)鍵的作用。由于原始視頻為無結(jié)構(gòu)的數(shù)據(jù)流，在檢索時首先需

2、要采用合適的模型將視頻組織為結(jié)構(gòu)化數(shù)據(jù)，并根據(jù)結(jié)構(gòu)化的組織形式對視頻進行分析、索引與查詢。本文的主要工作目標(biāo)是研究視頻的數(shù)據(jù)結(jié)構(gòu)化特性，并充分利用其結(jié)構(gòu)特性設(shè)計高效的機器學(xué)習(xí)算法用于高層語義理解，能夠自動地或以較少的人工參與縮小底層特征與高層語義之間的“語義鴻溝”，最終改善視頻檢索的性能。 本文以視頻的結(jié)構(gòu)為主線，分別從圖像層次結(jié)構(gòu)、鏡頭層次結(jié)構(gòu)和場景層次結(jié)構(gòu)進行研究，提出在這些層次結(jié)構(gòu)下的機器學(xué)習(xí)算法。本文的主要工作和創(chuàng)新點總

3、結(jié)如下： 1.針對基于全局信息的圖像層檢索，提出采用AdaBoost方法與SVM相結(jié)合進行多次樣本抽樣，將分類精度作為特征性能的判據(jù)進行特征選擇，選取少量有利于檢索的特征，將弱分類器增強為強分類器，從而較好的融合多種特征。 2.對基于區(qū)域信息的圖像層檢索，采用多示例學(xué)習(xí)進行建模，并利用多示例主動學(xué)習(xí)以減少人工標(biāo)注的工作量，解決標(biāo)注樣本缺乏問題。文中詳細分析多示例主動學(xué)習(xí)的特點，歸納為包層、示例層和混合層次三種主動學(xué)習(xí)模式

4、；針對包層多示例主動學(xué)習(xí)問題，提出一種結(jié)合示例數(shù)目統(tǒng)計特征和不確定性的樣本選擇策略，實驗驗證了該方法的有效性。 3.鏡頭是視頻的基本物理單元，因此視頻檢索通常都是在鏡頭級別進行。本文分析視頻本身所具有的多層次結(jié)構(gòu)特性，首次提出多層次多示例學(xué)習(xí)框架，該框架結(jié)合了結(jié)構(gòu)學(xué)習(xí)和多示例學(xué)習(xí)的特點，能對視頻內(nèi)容有效建模。文中探討多層次多示例學(xué)習(xí)需要解決的關(guān)鍵問題，并針對這些問題設(shè)計多個算法構(gòu)成一個完整的框架。本文首先設(shè)計多層次多示例核來度量

5、這種特定結(jié)構(gòu)下樣本的相似度；然后利用邊緣化核的思想對多層次多示例核進行改進得到邊緣化多層次多示例核，解決示例貢獻的權(quán)重問題；繼而提出多層次多示例正則化框架，引入多重約束顯式地表達多層次結(jié)構(gòu)和多示例關(guān)系特性，最終較好地解決了多層次多示例學(xué)習(xí)問題。 4.場景是視頻中的語義單元，比鏡頭具有更高的抽象和概括能力，在視頻語義理解時有效地結(jié)合場景信息將對視頻檢索、管理等語義級應(yīng)用提供支持。本文提出一種將全局分布特性和局部相似性約束結(jié)合的基于