移動(dòng)增強(qiáng)現(xiàn)實(shí)裝配系統(tǒng)的虛實(shí)場景融合研究.pdf

1、移動(dòng)增強(qiáng)裝配(Mobile Augmented Reality Assembly，MARA)是指將移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于工業(yè)裝配領(lǐng)域，旨在降低設(shè)計(jì)成本、提高生產(chǎn)效率。虛實(shí)融合即指將計(jì)算機(jī)渲染的虛擬場景與用戶所處的真實(shí)環(huán)境進(jìn)行疊加，是增強(qiáng)現(xiàn)實(shí)關(guān)鍵技術(shù)之一。評價(jià)虛實(shí)融合效果的主要標(biāo)準(zhǔn)有是否具有光照一致性和幾何一致性，本文主要關(guān)注幾何一致性對虛實(shí)融合效果的影響，幾何一致性主要考慮虛實(shí)遮擋。虛實(shí)遮擋是指根據(jù)虛擬場景與真實(shí)場景的正確空間位置關(guān)系，

2、呈現(xiàn)出遮擋與被遮擋的效果，主要是實(shí)現(xiàn)真實(shí)場景對虛擬場景的遮擋。通過虛實(shí)遮擋處理可以使得融合場景更具有真實(shí)感，從而改善用戶體驗(yàn)。目前針對虛實(shí)遮擋的處理方法通常有基于模型、基于深度及基于圖像分析。本文著重研究在Android系統(tǒng)下通過基于模型的方法實(shí)現(xiàn)虛實(shí)遮擋處理。
　　首先，實(shí)現(xiàn)了基于自然特征點(diǎn)的場景識別及模型注冊。對攝像機(jī)完成標(biāo)定以獲取內(nèi)部參數(shù)矩陣;通過對三維場景進(jìn)行特征點(diǎn)提取和訓(xùn)練完成三維場景識別，針對匹配中的錯(cuò)誤匹配對進(jìn)行優(yōu)化

3、處理;對三個(gè)體積規(guī)格、結(jié)構(gòu)復(fù)雜程度及表面材質(zhì)不同的目標(biāo)物進(jìn)行虛擬模型注冊并對注冊效果進(jìn)行穩(wěn)定性及魯棒性實(shí)驗(yàn)。
　　其次，完成了虛擬模型在移動(dòng)端的渲染顯示。研究OBJ模型數(shù)據(jù)結(jié)構(gòu)，并實(shí)現(xiàn)在移動(dòng)端的應(yīng)用層解析;研究OpenGL ES的管線渲染原理及OpenGL ES渲染成像的坐標(biāo)系轉(zhuǎn)換;實(shí)現(xiàn)基于OpenGL ES的三維模型光照模型管理，使模型更具有立體感。
　　然后，研究并實(shí)現(xiàn)了虛實(shí)遮擋處理。針對傳統(tǒng)虛實(shí)融合時(shí)虛擬場景總是渲染在

4、最頂端以遮擋真實(shí)場景的問題設(shè)計(jì)具有虛實(shí)遮擋的融合流程;對系統(tǒng)應(yīng)用圖層設(shè)計(jì)，針對場景類型的不同進(jìn)行分層顯示，實(shí)現(xiàn)了對二維虛擬輔助信息的疊加和三維虛擬模型的高效渲染;借助OpenGL ES渲染引擎獲取虛擬場景的深度圖，通過“虛擬替身”獲取真實(shí)場景深度圖;通過基于模型的方法進(jìn)行遮擋處理，實(shí)現(xiàn)了三個(gè)目標(biāo)識別物對虛擬模型的遮擋，最終獲取具有正確幾何關(guān)系的融合場景。
　　最后，構(gòu)建一個(gè)完整的移動(dòng)增強(qiáng)現(xiàn)實(shí)引導(dǎo)裝配系統(tǒng)，并運(yùn)行實(shí)例。研究了Andr