視覺媒體語義自動提取關(guān)鍵技術(shù)研究.pdf

1、近幾年來，隨著計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的發(fā)展，數(shù)字化視頻與圖像信息越來越多的涌現(xiàn)，基于多媒體信息服務(wù)的信息時代正在向我們走來。人們對視頻和圖像等視覺媒體內(nèi)容的需求也越來越多，越來越廣泛。這就需要行之有效的技術(shù)手段來滿足用戶的各種需求。而“語義鴻溝”是橫在人與計(jì)算機(jī)和諧交互中的一個重要障礙，這是由于人的大腦對視覺媒體的評判標(biāo)準(zhǔn)和計(jì)算機(jī)系統(tǒng)對視覺媒體的評判標(biāo)準(zhǔn)存在著很大差異。雖然目前針對視覺媒體的語義分析和理解有了很多研究，但這一倍受關(guān)注的技術(shù)還遠(yuǎn)

2、遠(yuǎn)不能滿足用戶的普遍需求。他們需要利用更多自動提取的語義信息。 本文對視覺媒體語義自動提取中的幾項(xiàng)關(guān)鍵技術(shù)進(jìn)行了研究，提出了語義提取的四層技術(shù)框架，即對象語義層、場景語義層、知識及情感語義層和語義應(yīng)用層，并分別研究了對象檢測、場景分類、高級語義概念提取和基于本體的語義應(yīng)用等多項(xiàng)關(guān)鍵技術(shù)。由于想找到一條普遍通用的語義提取技術(shù)是非常困難的，因此往往針對給定應(yīng)用和利用專業(yè)領(lǐng)域知識對特定的視覺媒體內(nèi)容采取各個擊破的策略來分析和自動理解。

3、體育視頻的分析和理解由于具有廣泛的用戶群和巨大的市場潛力而成為近幾年來的一個熱門研究方向，而隨著北京奧運(yùn)會的臨近，體育視頻的語義分析和理解對中國具有更強(qiáng)的現(xiàn)實(shí)意義。另一方面，通過計(jì)算機(jī)技術(shù)對數(shù)字化藝術(shù)圖像進(jìn)行分析，并提取它們類別、風(fēng)格、以及包含的內(nèi)容等語義信息是一個非常重要而且迫切的問題，正逐漸獲得越來越多的關(guān)注，國畫是中華藝術(shù)的瑰寶，對國畫等數(shù)字化藝術(shù)圖像的研究也是一個重要的問題。因此本文針對視頻和圖像這兩種視覺媒體，分別研究了體育視

4、頻和藝術(shù)圖像中的語義提取技術(shù)。最后還給出了夜景圖像的場景分類方法，該技術(shù)也具有重要的應(yīng)用價值。具體來說，論文主要的研究成果包括： 1)首先對視覺媒體的語義自動提取的系統(tǒng)框架進(jìn)行了宏觀分析，這是必要的，一方面可以對整個問題有個全局的認(rèn)識，另一方面可以指導(dǎo)我們實(shí)現(xiàn)具體的語義提取技術(shù)。給出其中所包含的各個層次的語義信息；并對視覺媒體語義提取的 應(yīng)用框架和解決方案分別進(jìn)行了系統(tǒng)分析。 2)針對體育視頻提出了一個魯棒的球場對象分

5、割檢測方法。在很多種體育視頻的自動分析中，球場區(qū)域起著至關(guān)重要的基礎(chǔ)性作用，許多語義線索可以在球場分割結(jié)果的基礎(chǔ)上獲取。采用高斯混合模型(GMMs)為球場區(qū)域建立顏色模型 這是由于GMMs可以對復(fù)雜的，非線性的顏色分布進(jìn)行建模，從而在進(jìn)行球場區(qū)域的像素檢測時具有足夠的通用性。經(jīng)過高斯混合模型的像素檢測過程之后，采用區(qū)域分析方法把檢測的像素連成區(qū)域，區(qū)域分析主要包括形態(tài)學(xué)的方法和區(qū)域增長的方法，這樣得到最終的分割結(jié)果。實(shí)驗(yàn)證明，本文提出的

6、方法對于不同的體育視頻均能有效地實(shí)現(xiàn)球場區(qū)域的檢測。論文還研究了體育視頻場景語義分類的技術(shù)。針對足球體育視頻提出了三層分類框架，共九種場景畫面。并利用球場分割的結(jié)果所得到的顏色特征，以及形狀和邊緣等特征，從圖像底層語義的角度分析各個場景畫面之間的不同之處。由于可利用的訓(xùn)練數(shù)據(jù)相對較少，利用支持向量機(jī)(SVM)作為分類器，它具有較好的推廣能力。本文提出 的分類方法可以直接用在語義標(biāo)注，也可被用來進(jìn)行更高級的語義分析。比賽形勢的分析對于體育

7、專業(yè)人士和長期的體育愛好者來說是十分有幫助的，這是一個較新的方向，少有人涉及。對于給定的視頻序列，將利用球場分割的結(jié)果 進(jìn)行球員分析以及利用攝像機(jī)運(yùn)動估計(jì)進(jìn)行球場變化分析。并利用這兩方面的信息為比賽形式建模。從而判定哪個球隊(duì)在這段時間內(nèi)更占優(yōu)勢一些。這樣就可以對鏡頭進(jìn)行自動語義標(biāo)注，從而利于自動的語義視頻檢索，也可以用來分析整個比賽。 3)國畫圖像是中華藝術(shù)的瑰寶。本文研究了國畫圖像的檢測算法。使用了三個低級特征來實(shí)現(xiàn)這個高級

8、的語義提取問題，分別為：顏色直方圖、顏色一致性向量和自相關(guān)紋理特征。檢測采用決策樹與支持向量機(jī)相結(jié)合的方法來實(shí)現(xiàn)，并采用支持向量機(jī)作為主分類器。在一個中等規(guī)模的數(shù)據(jù)集上的正確檢測率為94.85％。國畫基本上可以分為工筆、寫意兩大類。為了區(qū)分這兩種國畫，提出一種新的圖像特征：邊緣大小直方圖。這個特征反映了圖像邊緣的稀疏程度。使用支持向量機(jī)作為國畫圖像檢測和分類的主要分類器，并采用顏色、紋理和新提出的邊緣特征，最終得到了較好的分類結(jié)果。

9、 4)利用本體來進(jìn)行多媒體的語義理解受到了越來越多的關(guān)注。文本針對藝術(shù)圖像建立了視覺本體；還針對藝術(shù)圖像提出了圖像的非寫實(shí)語義的概念。建立的本體包括藝術(shù)圖像各個方面的語義概念，從而可使用戶從各個角度查找需要的視覺信息。本體中的語義概念可以自動提取。最終目標(biāo)是使得用戶方便的根據(jù)語義查找圖像，從而縮小“語義鴻溝”。 5)夜景圖像在數(shù)字圖像尤其是家庭照片或旅游圖像中占有相當(dāng)?shù)谋壤?。夜景圖像一般由比較黑暗的背景區(qū)域和非常明亮的前景區(qū)

10、域組成。另一方面，由于夜景圖像在不同的地點(diǎn)不同的光照環(huán)境下拍攝，也往往呈現(xiàn)不同的外觀。本文針對夜景圖像的這些特點(diǎn)提出了一個基于高斯混合模型(GMMs)的圖像分類檢測算法；在實(shí)驗(yàn)數(shù)據(jù)集上的分類結(jié)果為89.79％。 總之，本文的研究工作基于用戶迫切的應(yīng)用需求和廣泛的應(yīng)用前景而展開的，研究了圖像和視頻等視覺媒體中的不同層次的語義提取技術(shù)，重點(diǎn)為體育、藝術(shù)等多種視覺媒體形式的語義理解提供技術(shù)方法，從而為幫助用戶更好地獲取并使用他們感興趣