基于SimHash的海量視頻檢索研究.pdf

1、在網(wǎng)絡(luò)上，由于視頻經(jīng)常被復(fù)制、編輯并重新上傳，導(dǎo)致出現(xiàn)了很多相似甚至重復(fù)的視頻，對(duì)視頻進(jìn)行基于內(nèi)容的相似性檢索可以有效解決該類問(wèn)題，對(duì)于視頻內(nèi)容的發(fā)布商以及監(jiān)管者而言，對(duì)視頻內(nèi)容進(jìn)行監(jiān)管也依賴于視頻的相似性檢索。伴隨著視頻數(shù)據(jù)的成倍增多和網(wǎng)絡(luò)視頻用戶的持續(xù)增長(zhǎng)，如何對(duì)大規(guī)模視頻數(shù)據(jù)進(jìn)行高效快速地檢索成為研究的熱點(diǎn)問(wèn)題。
　　為此，本文采用SimHash算法對(duì)視頻關(guān)鍵幀構(gòu)建特征，從而將海量視頻檢索問(wèn)題轉(zhuǎn)化為漢明距離檢索問(wèn)題，在此基礎(chǔ)

2、上提出一種基于Bloom Filter算法進(jìn)行漢明距離檢索的方法，該方法對(duì) SimHash簽名庫(kù)中所有簽名窮舉其漢明距離在 K以內(nèi)的所有簽名，并將Bloom Filter結(jié)構(gòu)匯總在一起組成類似BitMap的結(jié)構(gòu)，最終查詢漢明距離時(shí)，只需要計(jì)算 BitMap的并集，提高了查詢效率。針對(duì)海量視頻檢索提取特征存在的空間復(fù)雜度問(wèn)題，引入MapReduce框架，設(shè)計(jì)MapReduce算法進(jìn)行分布式處理解決了空間復(fù)雜度較大的問(wèn)題。
　　本文創(chuàng)

3、新工作如下：
　　1）針對(duì)現(xiàn)有SimHash簽名匹配存在的時(shí)間復(fù)雜度較高的問(wèn)題，引入Bloom Filter結(jié)構(gòu)，改進(jìn) SimHash簽名查找的方式，通過(guò) CC_WEB_VIDEO實(shí)驗(yàn)數(shù)據(jù)集的測(cè)試表明，在保證召回率與準(zhǔn)確率的前提下，本文方法與Zhang基于LSH的方法相比，視頻數(shù)量達(dá)到12790時(shí)，算法執(zhí)行效率提高2倍。
　　2）針對(duì)海量視頻檢索中提取特征、構(gòu)建索引存在的時(shí)間復(fù)雜度與空間復(fù)雜度均較高的問(wèn)題，引入MapRedu