基于矩陣低秩與稀疏分解的視頻圖像融合研究.pdf

1、隨著傳感器技術的快速發(fā)展，視頻傳感器被廣泛應用于視頻監(jiān)控系統(tǒng)和機器視覺領域中。在實際應用中，通常會同時利用多個不同種類的視頻傳感器來拍攝同一場景的內容以獲得該場景的完整信息。為了充分利用不同視頻傳感器捕捉到的信息，可以通過視頻融合的方法將不同傳感器拍攝的視頻融合到一個視頻中，融合視頻綜合了不同視頻傳感器獲得的重要信息，能夠更加準確地反映該場景的內容。
　　本文的主要研究工作及貢獻如下：
　　首先，較為詳細地討論了幾種常用的視

2、頻融合算法，即：基于時空能量匹配、基于時空結構張量、基于脈沖耦合神經網絡和基于高階奇異值分解的視頻融合算法。基于時空能量匹配的視頻融合算法把視頻當做一個整體進行融合，在時間一致性方面相比于基于單幀的視頻融合算法有一定的提升，但是該算法采用相同的融合規(guī)則對輸入視頻中的空間信息和時間信息進行融合，在一定程度上降低了融合視頻的時空一致性。為了提高融合視頻的時空一致性，基于時空結構張量的視頻融合算法采用不同的融合規(guī)則對輸入視頻中的空間信息和時間

3、信息分別進行融合，但是卻增加了運算復雜度。上述兩種算法在輸入視頻包含噪聲的情況下，無法獲得令人滿意的融合效果?；诿}沖耦合神經網絡的視頻融合算法能夠在噪聲強度較小情況下獲得不錯的融合效果，但是當噪聲強度很大時，該算法獲得的融合視頻中仍然包含較多噪聲，并且該算法的計算復雜度較高。基于高階奇異值分解的視頻融合算法很好地解決了噪聲環(huán)境下的視頻融合問題，同時其具有較高的運算效率，但是該算法利用高階奇異值的分解結果表示空間背景信息，對所有幀采用相

4、同的空間特征圖，這在一定程度上降低了融合視頻的時空一致性。
　　其次，針對上述算法存在的問題，提出了一種基于三維 Surfacelet變換(three-dimensional surfacelet transform,3D-ST)和矩陣低秩與稀疏分解(也稱魯棒主成分分析，robust principal component analysis，RPCA)的視頻融合算法。該算法的步驟如下：(1)對輸入視頻進行三維Surfacelet變

5、換，獲得相應的低頻子帶和帶通方向子帶；(2)利用RPCA對獲得的帶通方向子帶進行進一步分解，分別得到具有低秩特性的背景信息部分和具有稀疏特性的運動目標信息部分；(3)分別對上述步驟中獲得的低頻子帶系數、背景信息部分和運動目標信息部分進行組合，得到融合視頻的Surfacelet變換系數；(4)對獲得的Surfacelet變換系數進行三維Surfacelet逆變換得到融合視頻。
　　最后，大量的實驗表明，本文提出的視頻融合算法在時空信