行為識別中基于局部時空關系的特征模型研究.pdf

1、視頻人體行為識別作為模式識別和計算機視覺領域的熱點研究方向之一，在智能視頻監(jiān)控、人機交互、異常行為檢測、視頻檢索等方面具有廣泛的應用前景。行為識別研究的目的是利用現(xiàn)有的計算機技術使機器能夠像人類一樣具有識別、分析、理解以及預測人體行為的能力。視頻人體行為識別技術盡管已取得了長足的進步與發(fā)展，但是，當前仍然面臨如何高效、準確地獲取、描述人體行為特征，進而學習特征之間的關系、融合特征以及行為建模等各個方面的問題。
　　為了解決上述問題

2、，以局部特征作為切入點研究人體行為模型的識別算法?？偟膩碚f，本文的研究內容和創(chuàng)新性工作總結如下:
　　1)有效的局部特征和描述符由于成像設備的運動，基于跟蹤興趣點提取的局部特征包含了來自運動場景的不相關信息，同時單一模式的方向量化致使方向被誤劃分。針對這一問題，我們提出了跟蹤相對運動點和多方向模式量化軌跡方向的行為模型。該方法采用超像素分割和能夠抑制相機勻速運動的運動邊緣檢測器選擇有效的軌跡起點。對于軌跡形狀的表示，采用預定義的多

3、重方向模式量化軌跡的方向信息，經(jīng)過每個模式的量化，串聯(lián)組合作為軌跡形狀的描述符。在KTH（瑞典皇家理工學院）和UCF-sports行為數(shù)據(jù)庫（美國University of Central Florida）上，實驗結果證明，提取的相對運動點軌跡能夠描述感興趣對象的運動變化，多模式方向統(tǒng)計描述符增強了軌跡形狀特征的魯棒性。與相關文獻的識別結果比較，選擇軌跡起點提取的特征在MKL融合框架下獲得了較好的識別性能。
　　2)基于分層樹結構

4、字典的稀疏編碼稀疏編碼能夠自適應地表示信號。然而，學習的字典缺少原子之間的關聯(lián)，信號的相似性在編碼后缺失?？紤]到結構化稀疏表示的魯棒性，我們提出了樹結構的字典學習和編碼方法。該方法以分層的方式，逐層學習字典原子，并建立上下層的子字典原子之間的關聯(lián)。具體來說，以標準的字典學習為基礎，凸優(yōu)化算法引入數(shù)據(jù)點編碼路徑約束，即上層編碼選擇的字典原子索引規(guī)劃下層字典選擇的原子。實驗結果表明，局部特征的稀疏表示具有較好的魯棒性。在KTH數(shù)據(jù)庫上，與其

5、他相似文獻的識別結果相比，基于樹結構字典編碼建立的行為模型獲得了較好的識別結果，樹結構的編碼模型優(yōu)于標準稀疏表示的方法。
　　3)分層特征組的行為模型在復雜的人體行為識別領域，空時關系在描述行為原型時顯示出了較強的判別性。然而，在歐式距離度量下，采用不穩(wěn)定的時空興趣點構造組合特征如凝集統(tǒng)計、特征對等可能導致同類行為的描述符缺失語義意義和魯棒性。針對這一問題，考慮人體運動具有層次化和結構性，在分層框架下我們提出了分層特征組的行為模型

6、。該方法利用運動補償和人體部位屬性抑制運動場景信息，采用自適應尺度核的密度聚類算法產(chǎn)生人體部位特征。具體來說，運動補償ROI后，依據(jù)人體運動部位的空域局部共生和時域持續(xù)的屬性，選擇時域差分的殘差信息，之后采用自適應尺度核Mean-Shift密度聚類算法標定底層特征、學習人體部位的特征組。在人體部位表示的基礎上，累積視頻窄切片的視覺詞響應描述人體對象。在基準的KTH和UCF-sports行為數(shù)據(jù)庫上，實驗表明基于特征組建立的行為模型增強了

7、行為表示的判別能力，提高了識別性能。
　　4)基于人體部位特征樹的行為模型基于傳統(tǒng)方法學習的時空內容缺乏語義意義和時間關系。針對這一不足，我們提出了不同時間分辨率人體部位之間的樹結構關系模型。該方法采用超像素標定興趣點，產(chǎn)生空域語義共生點集。在空域共生點集合的基礎上，以遞歸的方式構建特征樹。為了產(chǎn)生特征樹的高層節(jié)點，采用圖像塊匹配的方法融合時間近鄰的節(jié)點?；诔袼亟⒌墓采虮硎救梭w部位具有較好的靈活性。另外，通過圖像塊匹配關聯(lián)

8、時間近鄰節(jié)點降低了點集合之間匹配的難度。在KTH、UCF-YT和HOHA行為數(shù)據(jù)庫，實驗證明學習的特征樹模型能夠建立人體部位之間的關系，提高了行為描述符的判別能力，同時在多核學習框架下獲得了期望的識別結果。
　　5)判別共生統(tǒng)計特征的概念特征對行為模型K-means量化局部特征容易產(chǎn)生較大的量化誤差，同時傳統(tǒng)的共生統(tǒng)計忽略了特征對的方向和相對距離信息。針對這些問題，在共生統(tǒng)計框架下我們提出了判別共生統(tǒng)計特征的概念特征對行為模型。為

9、了學習概念特征，采用局部流形約束的稀疏子空間聚類算法量化STIPs。為了增強局部共生統(tǒng)計的判別性，特征對的方向和相對距離信息嵌入到概念特征對共生矩陣。另外，考慮到人體行為風格的多樣性，多時間尺度時空體的內容信息被用來描述行為。在特征融合階段，采用多核學習融合多時間粒度的共生統(tǒng)計和點特征的行為表示作為SVM分類器的最終輸入。在KTH和UCF-sport行為數(shù)據(jù)庫上，通過實驗驗證，與點特征行為模型相比，學習共生統(tǒng)計特征的概念特征對具有較好的