視頻語義標注方法和理論的研究.pdf

1、隨著多媒體和網(wǎng)絡(luò)技術(shù)的發(fā)展,面向海量視頻數(shù)據(jù)的檢索已成為一種迫切的需要。作為視頻檢索的必要基礎(chǔ),視頻索引問題的解決將為基于視頻數(shù)據(jù)庫和互聯(lián)網(wǎng)的搜索應(yīng)用提供基本的技術(shù)支持。而基于視頻內(nèi)容分析的自動視頻標注是建立高性能視頻索引的十分有效的方法。本論文針對非特定領(lǐng)域的視頻數(shù)據(jù)集的標注任務(wù),在一個統(tǒng)一的視頻標注框架下,著重探討了機器學習理論在時間序列(視頻數(shù)據(jù))這個特定背景下的理論擴展和應(yīng)用,以及結(jié)合機器學習與視頻特點的視頻語義標注方法。研究利

2、用半監(jiān)督、主動學習以及兩者之間的結(jié)合等方法提高標注準確性,以期對非特定領(lǐng)域的視頻數(shù)據(jù)集,自動的或在盡量少的人工參與情況下,取得與完全手工標注盡可能接近的結(jié)果,達到可實際應(yīng)用的目的。由于視頻標注涉及到機器學習等領(lǐng)域中的許多重要的理論和應(yīng)用問題,需要從新的角度,基于新的條件對這些問題重新進行審視,并在研究過程中不斷探索、尋求人機結(jié)合的最佳途徑,推動機器學習理論領(lǐng)域的發(fā)展。本論文的主要研究工作如下:
　　首先,由于高層語義概念與底層特征

3、間存在著“語義鴻溝“,采用傳統(tǒng)的有監(jiān)督學習方法進行分類/標注時需要在很大的訓練集上建立待標注概念的統(tǒng)計模型,從而保證所得到的分類器具有良好的推廣性能,但是建立這個訓練集往往需要大量的人工勞動。與之相對的是,我們可以很容易的獲得大量的未標注樣本,對未標注樣本中的隱含信息加以挖掘可以在有限訓練樣本集的情況下有效的提高標注準確性。因此,對于某些簡單概念,本文提出了多個基于半監(jiān)督學習的自動視頻標注方法。通過對幾種常見的半監(jiān)督學習方法,如自訓練、

4、互訓練以及Co-EM等方法的分析,針對它們(主要是自訓練和互訓練方法)在視頻標注應(yīng)用中的局限,在提高分類的準確性和模型更新等方面做了深入研究,提出了相應(yīng)的改進措施。與此同時,利用視頻中語義概念分布的特點,在標注過程中結(jié)合視頻聚類分析,有效的糾正了一些孤立的錯誤分類結(jié)果。這些基于改進的半監(jiān)督學習的自動視頻標注方法對簡單概念取得了較好的標注結(jié)果,同時也為后續(xù)結(jié)合半監(jiān)督和主動學習方法的半自動視頻標注研究打下了基礎(chǔ)。
　　其次,上述自動視

5、頻標注方法對復(fù)雜概念進行標注的結(jié)果仍無法令人滿意,其主要原因在于“語義鴻溝”的存在,初始訓練集中所含的信息不足以表示該概念在視頻集中的分布。因此需進一步考慮在學習過程中引入人機交互以達到縮小“語義鴻溝”加速學習過程收斂速度的目的。本文在對主動學習方法進行深入研究的基礎(chǔ)上，針對其在視頻標注應(yīng)用中所存在的限制，提出了一種基于多個互補分類器的主動學習進行半自動視頻標注的方法。在此方法中，首先利用多個互補分類器以互學習的方式對未標注樣本中隱含的

6、信息進行挖掘，而對那些難以確定的樣本則通過用戶標注加以確定，這種作法有助于提高樣本選擇的效率。同時對獲得新標注樣本后的模型更新方法也進行了研究，針對GMM模型，引入了最大似然線性回歸(MLLR)的在線自適應(yīng)更新方法。
　　此外，本文還提出了一種新穎的結(jié)合支持向量機(SVM)和聚類調(diào)整的主動視頻標注方法。由于我們的任務(wù)是對給定的視頻數(shù)據(jù)集進行標注，因此該方法首先對給定的視頻數(shù)據(jù)集進行聚類分析，并利用聚類信息構(gòu)建初始訓練集，從而保證了

7、初始分類器具有較好的準確性;同時利用分類結(jié)果對聚類信息進行調(diào)整，提高了聚類的準確性。然后在主動學習過程中將聚類信息、SVM的分類間隔最大化等因素綜合為一個最優(yōu)化問題，并通過遺傳算法對該問題進行求解。由于SVM的分類間隔與推廣性誤差上界之間存在著密切的關(guān)系，即分類間隔越大，則推廣性誤差上界越小，因此可以利用這種關(guān)系在理論上分析該主動學習方法的有效性。
　　最后，在對半監(jiān)督學習和主動學習方法研究的基礎(chǔ)上，本文進一步探索將兩者有機結(jié)合的