海量圖像語義分析和檢索技術研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展、各種數(shù)字化設備的普及以及大規(guī)模存儲設備的不斷改進，全世界以各種形式產生的數(shù)字圖像的數(shù)量正在以驚人的速度增長。大量使用的數(shù)字圖像構成了娛樂、商業(yè)、教育等應用的基礎，出現(xiàn)了許多大型圖像數(shù)據(jù)庫。海量圖像信息的管理、檢索及其應用得到越來越多的關注和研究，如何快速、有效地檢索迅速激增的可視信息已成為一個亟待解決的問題。
　　 基于內容的圖像檢索技術(CBIR)利用圖像的客觀視覺特征進行圖像的桐似匹配檢索，作為一種自動

2、的客觀的反映圖像內容的檢索方式，在上世紀90年代被提出并逐漸蓬勃發(fā)展起來。然而，圖像低層的視覺特征內容難以表達用戶的高層語義理解，即存在“語義鴻溝”，這種底層內容與高層用戶理解之間的差異性是目前CBIR技術難以被廣泛用戶所接受的根本原因。另外圖像低層視覺特征的提取效率以及基于視覺高維特征的檢索技術的局限性(“維度災難”)也使得CBIR技術難以直接應用于海量圖像數(shù)據(jù)的檢索?；谡Z義的圖像檢索，從圖像內容理解出發(fā)，著眼于提取和分析用戶對圖像

3、的理解信息，研究結合高層語義理解信息進行檢索，是CBIR發(fā)展的一個方向。由于圖像語義信息本身的復雜性、主觀性等特點，在語義提取、表達、比較上都存在技術難點，因此，圖像語義檢索目前仍是多媒體信息檢索領域一個重要且極具挑戰(zhàn)性的研究課題。
　　 本文著重解決海量圖像數(shù)據(jù)語義檢索的核心問題，研究特征關聯(lián)分析、語義知識描述、語義相似度量、語義融合檢索機制以及查詢理解、檢索結果聚類等一系列關鍵技術，并集成以上系統(tǒng)性研究成果，實現(xiàn)新型、完整、

4、高效的海量圖像語義檢索原型系統(tǒng)。本文工作的主要貢獻和創(chuàng)新總結如下：
　　 (1)深入探究“語義鴻溝”的原因、表現(xiàn)形式，從層次語義提取入手，以語義分析為出發(fā)點，提出一種面向海量圖像數(shù)據(jù)庫的語義層次模型：該模型結合詞匯學知識、領域知識、以及用戶反饋信息，以層次化結構反映了“語義鴻溝”在不同層次上的表現(xiàn)形式，其優(yōu)點概括如下：a)通過層次語義關系既可以清晰表達不同的語義粒度，也可以表達不同語義之間的關聯(lián)，豐富語義層次和范圍；b)語義的復

5、雜性和多樣性導致直接獲取語義十分困難，自碩向下層次化語義構建符合人們的認知過程，更有效的獲得多方位多粒度的圖像語義。
　　 (2)研究融合語義非測度(non-metric)空間索引和視覺測度(metric)空間索引的檢索機制：首先提出了一種綜合度量圖像相似程度的“語義相似度量”準則，從不同語義層次(視覺內容、元語義、高級語義與圖像語義類別)探討了圖像語義的相似性問題?；诖?，設計了一種快速高效的二階段相似查詢索引機制。其優(yōu)點在于

6、：a)以文本語義為主，輔以視覺特征綜合考慮的相似度量準則，更好地獲得用戶對圖像語義相似匹配的查詢理解；b)兩階段相似檢索算法結合文本語義和視覺特征分階段比較過濾，大大縮小了查詢檢索范圍，不僅在性能上相對于傳統(tǒng)的順序索引算法有指數(shù)級提高，同時也大幅提高查詢準確度。
　　 (3)基于以上理論研究成果，實現(xiàn)高效可擴展的支持多模式用戶查詢的海量圖像語義檢索原型系統(tǒng)-HISA：系統(tǒng)集成圖像特征獲取、圖像語義層次分析、圖像語義模型建立、語義

7、相似度量、融合索引機制等研究技術成果，支持基于關鍵字、圖像例子、以及二者結合的查詢，支持動態(tài)層次分類目錄維護和瀏覽，提供圖像自動標注等功能以完善現(xiàn)有的檢索功能。并在此原型系統(tǒng)平臺基礎上用大量真實世界的圖像數(shù)據(jù)對本文提出的檢索算法進行全面的評價分析，包括算法的各項參數(shù)調優(yōu)測試，以及與傳統(tǒng)檢索算法的效率比較和實例分析。實驗結果證明了本文提出的檢索算法具有高可擴展性、在性能上和準確度上栩對傳統(tǒng)檢索算法有顯著改進。
　　 (4)針對目前

8、互聯(lián)網(wǎng)協(xié)作標簽(tag)的應用背景，進一步研究海量圖像共事資源基于tag關聯(lián)的語義理解和分析，提出了一種結合tag語義關聯(lián)信息分析的圖像結果聚類技術，以及基于此的迭代聚類檢索模式-Pivot Browsing：該查詢模式融合查詢擴展機制、tag聚類算法、視覺特征重排、以及用戶反饋等關鍵技術，提供全新的靈活友好的圖像信息導航和用戶交互方式，使用戶能夠方便地瀏覽大量的紛繁復雜的查詢返回結果，快速準確地找到想要的目標，以及進行信息發(fā)現(xiàn)。其中，

9、對于關鍵技術-tag聚類，本文采用自頂向下的啟發(fā)式的圖劃分算法實現(xiàn)快速、高效的結果聚類，滿足在線查詢的性能需求。該檢索模式不僅僅適用于圖像，也能應用于更一般的tag空間信息檢索的模式，有很好的應用前景。
　　 (5)將基于tag的圖像結果聚類迭代檢索技術系列研究納入之前海量圖像語義檢索的研究框架下，實現(xiàn)新穎的帶tag圖像語義檢索原型系統(tǒng)-PivotBrowser，并對基于tag迭代聚類的圖像語義檢索技術應用展開全面的分析：該原型