基于內(nèi)容的視頻檢索與視頻摘要關(guān)鍵技術(shù)研究.pdf

1、隨著計(jì)算機(jī)技術(shù)、多媒體技術(shù)、存儲(chǔ)技術(shù)、網(wǎng)絡(luò)技術(shù)的發(fā)展，數(shù)字視頻得到了長(zhǎng)足的發(fā)展和廣泛的應(yīng)用。從錄像機(jī)到手機(jī)，無(wú)論是專(zhuān)業(yè)應(yīng)用還是家庭消費(fèi)產(chǎn)品，數(shù)字視頻已經(jīng)變得非常普遍。視頻是一種具有時(shí)間及空間三維結(jié)構(gòu)的數(shù)據(jù)格式，具有數(shù)據(jù)量大、蘊(yùn)含信息豐富等特點(diǎn)，其本身常常是無(wú)組織的數(shù)據(jù)流，難以搜索與瀏覽，這對(duì)獲取視頻信息構(gòu)成了嚴(yán)峻的挑戰(zhàn)。為了有效地獲取視頻信息，基于內(nèi)容的多媒體檢索技術(shù)應(yīng)運(yùn)而生，其中最引起學(xué)者興趣的是基于內(nèi)容的視頻檢索?；趦?nèi)容的視頻檢索

2、技術(shù)對(duì)視頻數(shù)據(jù)中蘊(yùn)含的視覺(jué)和語(yǔ)義內(nèi)容進(jìn)行計(jì)算機(jī)處理、分析與理解，并根據(jù)內(nèi)容進(jìn)行檢索，其本質(zhì)是對(duì)視頻數(shù)據(jù)內(nèi)容與結(jié)構(gòu)進(jìn)行分析，提取視頻語(yǔ)義信息，保證視頻內(nèi)容能被快速檢索。
　　 由于基于內(nèi)容的視頻檢索技術(shù)蘊(yùn)含著巨大的市場(chǎng)前景，自上世紀(jì)九十年代以來(lái)就成為一個(gè)活躍的研究領(lǐng)域。經(jīng)過(guò)許多年的努力，已經(jīng)開(kāi)發(fā)了很多搜索視頻的方法，這些方法基本上都是采用計(jì)算機(jī)視覺(jué)和模式識(shí)別中的核心算法與理論。同時(shí)，為了解決多媒體內(nèi)容描述的標(biāo)準(zhǔn)化問(wèn)題，國(guó)際標(biāo)準(zhǔn)化組

3、織ISO/IEC下的MPEGE委員會(huì)專(zhuān)門(mén)指定了國(guó)際標(biāo)準(zhǔn)MPEG-7。
　　 基于內(nèi)容的視頻檢索包含很多方面，比如視頻內(nèi)容分析，結(jié)構(gòu)化、索引、摘要、檢索等，這些方面既獨(dú)立又相關(guān)，各自也都有很多研究成果，但是從開(kāi)發(fā)系統(tǒng)的實(shí)際角度講，這些方面又必須綜合考慮，只有這樣才能開(kāi)發(fā)出高效且有效的系統(tǒng)。
　　 本論文的研究主要集中在以下幾個(gè)方面：
　　 (1)鏡頭邊緣檢測(cè)技術(shù)。鏡頭是視頻中最基本的結(jié)構(gòu)單元。鏡頭邊緣檢測(cè)是視頻分析

4、中研究的比較早也是研究得比較成熟的一個(gè)方面。在這方面己經(jīng)取得了很多可用的技術(shù)，尤其是在突變鏡頭邊緣檢測(cè)方面。對(duì)鏡頭邊緣的檢測(cè)主要是采用視頻中的一些底層特征，比如顏色、紋理、邊緣、形狀，等等。在鏡頭之上的更高級(jí)的語(yǔ)義結(jié)構(gòu)是場(chǎng)景，這是一個(gè)對(duì)用戶更有意義的結(jié)構(gòu)信息。場(chǎng)景比鏡頭表示的信息更完整，一個(gè)場(chǎng)景往往對(duì)應(yīng)著一個(gè)事件。很多技術(shù)是通過(guò)對(duì)鏡頭的聚類(lèi)完成場(chǎng)景檢測(cè)的，這往往要用到一些更高級(jí)的技術(shù)，比如多模特征的集成。本文在對(duì)鏡頭邊緣檢測(cè)做了綜合分析

5、之后，提出了一種新的鏡頭邊緣檢測(cè)算法。該算法首先將視頻序列中的每幀圖像分割為許多塊；基于這些塊，計(jì)算連續(xù)兩幀之間的匹配距離，最后根據(jù)自適應(yīng)的閾值確定視頻序列中的鏡頭邊界。并在此基礎(chǔ)上，提出了一種新的基于鏡頭的關(guān)鍵幀提取方法。
　　 (2)體育視頻興奮內(nèi)容建模與視頻摘要提取。已有的體育視頻精彩內(nèi)容的提取往往都是針對(duì)特定類(lèi)型的體育視頻開(kāi)發(fā)的，比如針對(duì)棒球的或者足球的。這樣的系統(tǒng)在使用范圍上有很大的局限性，因?yàn)橛脩舨豢赡転橛^看每一種類(lèi)

6、型的體育視頻要單獨(dú)安裝一個(gè)系統(tǒng)。因此，通用的精彩內(nèi)容提取方法是一個(gè)值得研究的課題。從我們所能夠檢索到的文獻(xiàn)來(lái)看，有很多種方法來(lái)研究通用的精彩內(nèi)容提取，比如基于注意力模型的方法，基于運(yùn)動(dòng)模型的方法。本論文從用戶興奮的角度通過(guò)提取音頻和視頻中的多個(gè)特征來(lái)對(duì)體育視頻中的興奮內(nèi)容進(jìn)行建模，從而獲得體育視頻的興奮時(shí)間曲線，并基于此提出一種通用的視頻摘要(關(guān)鍵幀和視頻概略)提取框架，同時(shí)對(duì)所提取的摘要進(jìn)行有效排序。
　　 (3)交互式體育視

7、頻事件檢索方法。視頻類(lèi)型的多樣性和用戶需求的個(gè)性化往往使得系統(tǒng)檢索的結(jié)果無(wú)法滿足用戶的偏好。不同的用戶通過(guò)一個(gè)系統(tǒng)檢索同一個(gè)視頻得到的結(jié)果是一樣的，但是不同用戶的需求迥異，因而這樣的系統(tǒng)無(wú)法滿足不同用戶的具體需求。所以，一個(gè)系統(tǒng)在檢索的時(shí)侯，必須考慮到用戶的這種個(gè)性化需求。相關(guān)反饋技術(shù)是解決這個(gè)問(wèn)題的一個(gè)有效辦法。利用相關(guān)反饋技術(shù)可以有效地提高檢索的效率，這點(diǎn)已經(jīng)在基于內(nèi)容的圖像檢索中得到證明。本文利用交互式遺傳算法從用戶那里得到反饋信

8、息，通過(guò)與系統(tǒng)的不斷交互實(shí)現(xiàn)個(gè)性化的檢索。
　　 (4)智能視頻監(jiān)控中的運(yùn)動(dòng)對(duì)象提取?；趦?nèi)容的視頻檢索與視頻摘要的研究大多數(shù)都是針對(duì)體育視頻展開(kāi)的，因?yàn)轶w育視頻有更多的用戶觀賞，市場(chǎng)前景比較廣闊。自從911以來(lái)，安全引起了各國(guó)的廣泛重視，這種對(duì)安全的需求激發(fā)了無(wú)數(shù)學(xué)者的興趣，人們開(kāi)始研究智能的視頻監(jiān)控，得到的監(jiān)控視頻有著與一般視頻不同的性質(zhì)。智能視頻監(jiān)控里面的研究課題很多，并且都很有挑戰(zhàn)性，比如對(duì)象的跟蹤與檢測(cè)、異常事件檢測(cè)，