基于實(shí)時(shí)三維重建的遠(yuǎn)程呈現(xiàn)技術(shù).pdf

1、溝通是人類(lèi)永恒的話(huà)題，而面對(duì)面交流是最直接有效的一種溝通方式。然而隨著經(jīng)濟(jì)全球化和勞動(dòng)力移動(dòng)化，面對(duì)面交流并不總是可行而且往往代價(jià)高昂，人們迫切需要一種新的多媒體通信技術(shù)，為不同地理位置的人們帶來(lái)虛擬面對(duì)面溝通的沉浸式體驗(yàn)。因而，綜合應(yīng)用通信和虛擬現(xiàn)實(shí)技術(shù)的遠(yuǎn)程呈現(xiàn)（Tele-Presence）技術(shù)成為近年來(lái)研究的熱點(diǎn)。市場(chǎng)上已有的軟件會(huì)話(huà)軟件和商用遠(yuǎn)程呈現(xiàn)系統(tǒng)僅能提供普通的二維視頻會(huì)議體驗(yàn)，其主要缺陷是屏幕顯示結(jié)果與用戶(hù)的觀(guān)察角度無(wú)關(guān)

2、。這些局限造成了沉浸感的缺失。在已有的遠(yuǎn)程呈現(xiàn)系統(tǒng)研究工作中，基于多RGB-D攝像機(jī)的實(shí)時(shí)重建技術(shù)兼具不錯(cuò)的重建質(zhì)量和實(shí)時(shí)的幀率，展現(xiàn)出了優(yōu)秀的潛力。
　　本文在已有的方法上進(jìn)行擴(kuò)展，研究和實(shí)現(xiàn)了一個(gè)基于多RGB-D攝像機(jī)實(shí)時(shí)三維重建的一對(duì)一遠(yuǎn)程呈現(xiàn)系統(tǒng)，為用戶(hù)提供視角相關(guān)的顯示效果。首先，提出了一個(gè)靈活的遠(yuǎn)程呈現(xiàn)框架，將系統(tǒng)分為幾個(gè)獨(dú)立的技術(shù)模塊：實(shí)時(shí)三維重建模塊、追蹤模塊、顯示模塊、編解碼模塊和網(wǎng)絡(luò)模塊，實(shí)現(xiàn)了遠(yuǎn)程呈現(xiàn)的功能雛

3、形。其次，重點(diǎn)研究和實(shí)現(xiàn)了一個(gè)基于多RGB-D攝像機(jī)的實(shí)時(shí)三維重建算法，在保持足夠高的實(shí)時(shí)幀率情況下通過(guò)彩色圖的顏色校正、基于二次中值濾波的深度圖填充與平滑等多種方法提高重建質(zhì)量。再次，針對(duì)用戶(hù)交互延時(shí)問(wèn)題，提出了一種基于三維圖像變換的渲染算法，并將其在CUDA上實(shí)現(xiàn)。該算法在本地根據(jù)已有的彩色和深度圖像快速得到新視點(diǎn)下的觀(guān)察結(jié)果，從而降低因網(wǎng)絡(luò)來(lái)回、圖像編解碼和傳統(tǒng)渲染過(guò)程等帶來(lái)的交互延時(shí)。最后，通過(guò)一系列實(shí)驗(yàn)說(shuō)明系統(tǒng)的整體效果和性能