基于相關(guān)性挖掘的跨媒體檢索研究.pdf

1、從九十年代初期開始，基于內(nèi)容的多媒體檢索一直是計算機領(lǐng)域的研究熱點。認知心理學(xué)的研究表明人腦對外界事物的認知需要跨越不同感官傳遞的信息以作出綜合的判斷，類似地，人們對多媒體數(shù)據(jù)的檢索需求是要能夠靈活跨越不同類型的多媒體數(shù)據(jù)(如圖像、音頻等)，以形成對多媒體語義的整體理解。這就需要有一種新的檢索方式能夠處理和查詢不同類型的多媒體數(shù)據(jù)，本文的目的便是研究這種靈活跨越不同類型多媒體數(shù)據(jù)的檢索方式——跨媒體檢索。 針對圖像、音頻等多媒體

2、數(shù)據(jù)在底層內(nèi)容特征上的異構(gòu)性和不可比性使得難以計算跨媒體相關(guān)性的現(xiàn)狀，本文以典型相關(guān)性分析為突破點，研究了圖像和音頻在內(nèi)容特征上潛在的統(tǒng)計關(guān)系，并且在特征降維的同時最大程度地保持了相關(guān)性學(xué)習結(jié)果，從而通過自定義的距離函數(shù)實現(xiàn)了跨媒體的相關(guān)性度量；還進一步提出了基于增量學(xué)習的相關(guān)反饋機制，從用戶交互過程中提取先驗知識，以修正圖像和音頻數(shù)據(jù)集在同構(gòu)子空間中的拓撲結(jié)構(gòu)，從而有效縮小了底層內(nèi)容與高層語義之間的鴻溝，提高了跨媒體檢索效率。

3、 大量研究證明流形結(jié)構(gòu)在多媒體數(shù)據(jù)表達方面可以發(fā)現(xiàn)非線性的數(shù)據(jù)關(guān)系，本文提出一個流形子空間計算方法，用來模擬文本、圖像和音頻數(shù)據(jù)在語義空間上的分布關(guān)系。該方法通過計算多媒體數(shù)據(jù)的本征距離矩陣，在此基礎(chǔ)上求取語義子空間的本征參數(shù)，從而得到內(nèi)嵌的非線性的流形子空間作為語義子空間；同時給出了短期修正和長期修正兩種策略用以結(jié)合相關(guān)反饋信息來更新流形結(jié)構(gòu)。 針對Web環(huán)境中多媒體數(shù)據(jù)集之間特有的跨媒體數(shù)據(jù)關(guān)系，提出以Web頁面中的多媒體對

4、象為最小數(shù)據(jù)單元，建立跨媒體關(guān)聯(lián)圖用以綜合表達在內(nèi)容特征、鏈接關(guān)系和用戶交互三方面的數(shù)據(jù)關(guān)系；提出全局相關(guān)性推理算法充分利用跨媒體關(guān)聯(lián)圖中各種數(shù)據(jù)關(guān)系之間的互補性，從而準確找到跨媒體的相關(guān)對象； 提出用隱性語義索引分析圖像的視覺特征和音頻的聽覺特征之間的互索引關(guān)系，并通過交互式的相似度傳遞優(yōu)化了圖像和音頻的聚類質(zhì)量，設(shè)計了主動學(xué)習策略用以計算用戶標注的反饋樣本周圍未標注樣本的的條件概率，加速了圖像和音頻之間跨媒體檢索的收斂過程，