面向自由視點系統(tǒng)的虛擬視點繪制技術研究.pdf

1、計算機圖形學、計算機視覺和多媒體等相關領域技術的涌現(xiàn)帶來了新一代多媒體技術-自由視點視頻( Free-viewpoint Video, FVV)技術的飛速發(fā)展。FVV允許用戶在一定范圍內交互式地選擇觀看位置和方向并且能使用戶體會場景的深度感。因此，F(xiàn)VV引起了各界廣泛關注，并且廣泛地應用于商業(yè)和娛樂方面。視頻數(shù)據(jù)采集、視頻數(shù)據(jù)傳輸和虛擬視點繪制是FVV系統(tǒng)中的三個重要環(huán)節(jié)，這幾個環(huán)節(jié)都與深度圖密切相關。深度視頻是通過深度傳感器或者深度估

2、計算法這兩種方式得到，目前，這兩種方式獲取的深度視頻信息均不準確。直接導致了虛擬視點繪制的映射位置錯誤，造成幾何失真，尤其是深度值突變易處使前景對象像素映射到背景，產生“虛影”、“橡皮擦”和空洞等效應嚴重影響觀看效果。因此，在傳輸端對深度視頻進行矯正預處理具有重要意義。FVV系統(tǒng)中需要傳輸大量數(shù)據(jù)信息，巨大的數(shù)據(jù)量負擔使得高效、低復雜度的編碼方式成為研究熱點。然而，高壓縮率必然帶來深度圖失真，因此，編碼造成的深度失真影響了虛擬視點質量這

3、一挑戰(zhàn)性問題亟待解決。本文從繪制產生的虛擬視點質量的角度出發(fā)，針對FVV系統(tǒng)中深度視頻預處理、深度視頻壓縮以及解碼端深度視頻恢復重建這幾個關鍵挑戰(zhàn)性問題，展開了虛擬視點繪制技術研究。
　　針對深度視頻在空間上不連續(xù)，造成虛擬視點幾何失真的問題。本文提出了基于消除突變的自適應深度視頻預處理方法。首先得出了空洞尺寸大小與相鄰深度值建立的關系模型，在此模型的基礎上，計算相鄰像素深度值的差值以標記深度突變區(qū)域。然后，在深度突變區(qū)域，使突變

4、深度值以等步長緩慢變化。實驗結果表明，與采用未經過平滑處理的深度視頻繪制的方法相比，本文方法產生虛擬視點主客觀質量都有提高?？陀^上，峰值信噪比( Peak Signal-to-Noise Ratio, PSNR)提高了0.03~0.14dB；主觀上，對象邊緣的“毛刺”得到明顯修復，邊緣變得更加清晰。
　　針對深度視頻傳輸過程面臨的深度不連續(xù)、傳輸數(shù)據(jù)量大以及深度失真造成繪制失真一系列問題，本文提出了一種深度傳輸新方法，該方法從深度

5、預處理、深度壓縮以及深度后處理三個角度解決深度視頻傳輸?shù)膯栴}。(1)預處理深度視頻常用的方式是深度視頻進行整體濾波，保護對象邊緣區(qū)域進行局部濾波等方式。這些濾波方式都沒有從深度值變化對繪制產生影響的角度考慮。本文提出了無繪制失真高斯濾波，結合3D-warping映射方程，得到繪制深度無失真范圍。根據(jù)該范圍指導高斯濾波，與Zhao方法相比，本文方法魯棒性強，同時適用于匯聚序列和平行序列，而Zhao方法只適用于平行序列。(2)為了減少傳輸所

6、需帶寬、降低編碼復雜度，將上述基于深度無失真范圍高斯濾波后的深度視頻進行1/4下采樣。(3)針對深度視頻在下采樣時丟失大量信息，并且在編碼時也會產生量化失真問題。本文傳輸方法在解碼端對上采樣后的深度視頻進行自適應恢復重建?；谙袼仡l率、距離和相似度三個因素，建立自適應深度后處理濾波模型，該模型能自適應地調節(jié)三種函數(shù)的比例。實驗結果表明本文深度視頻傳輸方法不僅能節(jié)省53.87％~73.62%的編碼碼率，而且能很好地恢復重建下采樣深度視頻，