非完備幾何特征的測量建模與醫(yī)學(xué)應(yīng)用研究-博士論文開題報(bào)告

1、2024/3/27,非完備幾何特征的測量建模與醫(yī)學(xué)應(yīng)用研究,RE/RP Lab 計(jì)算機(jī)集成制造研究所,開 題 報(bào) 告,2024/3/27,一、研究背景與意義二、文獻(xiàn)綜述三、課題研究內(nèi)容四、擬采取的研究方法、技術(shù)路線五、已經(jīng)完成的工作六、研究的創(chuàng)新點(diǎn)七、計(jì)劃進(jìn)度,,,匯 報(bào) 提 綱,2024/3/27,一.研究背景與意義,,由于疾病或其他原因造成的人體顏面缺損是屬于具有非完備幾何特征的數(shù)據(jù)。如何通過模型重建的技術(shù)得到具有

2、完備幾何特征的顏面數(shù)據(jù)，從而實(shí)現(xiàn)人體顏面贗復(fù)體的制作？,2024/3/27,,一.研究背景與意義,非完備幾何特征的測量建模在顏面缺損修復(fù)中的應(yīng)用,對(duì)稱特征顏面 1)單側(cè)眼眶部缺損 2)單側(cè)顳窩缺損 3)單側(cè)顱面部缺損 4)單側(cè)上下頜面缺損 5)單側(cè)耳部缺損 6)單側(cè)鼻缺損,頜面贗復(fù)體的設(shè)計(jì),人眼贗復(fù)體的設(shè)計(jì)1,問題1:在數(shù)據(jù)預(yù)處理時(shí),如何實(shí)現(xiàn)多視角的數(shù)據(jù)的坐標(biāo)歸一化?問題2:如何實(shí)現(xiàn)具有對(duì)稱特征的

3、非完備數(shù)據(jù)的幾何建模?,人眼贗復(fù)體的設(shè)計(jì)2,組織有變形,,,2024/3/27,,一.研究背景與意義,非完備幾何特征的測量建模在顏面缺損修復(fù)中的應(yīng)用,非對(duì)稱特征顏面 1)全鼻缺損 2)全唇缺損 3)雙眼缺損,問題3：如何基于特征相似性來實(shí)現(xiàn)非完備數(shù)據(jù)的幾何建模?問題4：如何保證贗復(fù)體與周圍組織區(qū)域的貼合性及美觀性?,2024/3/27,,二.文獻(xiàn)綜述,,2024/3/27,,2.1 網(wǎng)格多視對(duì)齊技術(shù),,(1

4、) 多視對(duì)齊給定: N個(gè)已實(shí)現(xiàn)粗拼合的視圖目標(biāo): 對(duì)其進(jìn)行全局拼合,實(shí)現(xiàn)精拼合要解決的問題:1) 誤差逐步累積,如何分散;2) 大的計(jì)算量,如何減少計(jì)算;3) 大的存儲(chǔ)需求, 如何減少存儲(chǔ);4)局部最小化,如何能達(dá)到全局最小化(2) 多視對(duì)齊算法綜述,順序?qū)R首尾視圖出現(xiàn)間隙,?斯坦福大學(xué)BROWN B(2007) ;Pulli（1999）:基于主視圖的思想,不同之處在于在進(jìn)行多視對(duì)齊之前僅考慮所有的視圖間潛在的

5、對(duì)齊。評(píng)價(jià)：提取出視圖間的兩兩拼合的約束，避免將所有視圖都加入內(nèi)存；另外該方法僅考慮有重疊區(qū)域的信息，并允許已經(jīng)對(duì)齊的區(qū)域可以再次調(diào)整。 ?德國自主智能系統(tǒng)研究所Nüchter（2004）:提出了“simultaneous matching”，它與Pulli的方法的不同之處在于它不需要兩兩對(duì)齊的迭代過程 評(píng)價(jià)：這種方法依賴于要有的好的初始對(duì)齊結(jié)果。 3 同步對(duì)齊法：?Masuda（2002）:基于符號(hào)距離場同步對(duì)

6、齊和融合所有視圖 ,在迭代過程中去除外點(diǎn) 。工作原理是:第一步執(zhí)行一個(gè)粗對(duì)齊將所有的視圖都變換到同一個(gè)坐標(biāo)系下；第二步執(zhí)行一個(gè)迭代過程使得數(shù)據(jù)形狀對(duì)齊融合至收斂。評(píng)價(jià):好處是：所有視圖能夠同步對(duì)齊，誤差也不會(huì)產(chǎn)生累積。另外外點(diǎn)也能自動(dòng)去除。 缺點(diǎn)是：由于多幅視圖同時(shí)對(duì)齊,不僅計(jì)算的復(fù)雜度會(huì)很大,而且占用的存貯空間也很大 。,1 順序?qū)R直接使用兩兩對(duì)齊的算法對(duì)N個(gè)視圖進(jìn)行順序拼合。評(píng)價(jià):兩兩拼合中會(huì)產(chǎn)生不均勻分配的錯(cuò)誤,

7、因此會(huì)出現(xiàn)一對(duì)視圖有很高的拼合精度,而整個(gè)拼合系統(tǒng)達(dá)不到高的拼合精度的情況。 2 主視圖法?Chen and Medioni (1991):對(duì)齊兩個(gè)視圖,將它們?nèi)诤铣梢粋€(gè)主視圖,然后新的視圖又順序的對(duì)齊并融合為新的主視圖。評(píng)價(jià)：好處是融合后的主視圖所含的所有信息都能夠在新的對(duì)齊過程中被使用。 缺點(diǎn)是已經(jīng)融合到主視圖中的視圖，它是沒法再調(diào)整的。,2024/3/27,,2.1 網(wǎng)格多視對(duì)齊技術(shù),,?Silva（2003）：提出用遺傳

8、算法替代基于ICP的方法 思想：引入一個(gè)新的健壯的度量surface interpenetration measure(SIM)（用于度量可視的對(duì)齊誤差來決定兩個(gè)視圖間的重疊面積），他們使用SIM和一個(gè)健壯的估計(jì)來實(shí)現(xiàn)遺傳算法。染色體是由三個(gè)平移矢量和三個(gè)旋轉(zhuǎn)矢量組成，每個(gè)染色體的SIM結(jié)果在每一代中被用來選擇能夠能夠生成更精確變換。評(píng)價(jià)：該方法能夠取得精確的結(jié)果，該方法最重要的缺點(diǎn)就是要收斂到一個(gè)好的結(jié)果，所需計(jì)算的時(shí)間太長 。

9、?法國克萊蒙第二大學(xué)E. Mouragnon（2007）：基于bundle adjustment方法實(shí)現(xiàn)實(shí)時(shí)的對(duì)齊和融合,同時(shí)最小化角度誤差。bundle adjustment通常用于求解視圖參數(shù)(如相機(jī)的位置和標(biāo)定估計(jì))它是一個(gè)非線性的最小化問題，對(duì)于它的求解通常需要非線性最小二乘法求解. 評(píng)價(jià)： bundle adjustment技術(shù)在出現(xiàn)外點(diǎn)時(shí)能提供好的結(jié)果，但需要好的初始估計(jì)，很少用于大的場景4 圖分析法 其主

10、要思想是利用視圖之間的關(guān)系。例如一些方法想法找到視圖間的最優(yōu)路徑來獲得一個(gè)精確的對(duì)齊；另外一些方法利用物體的部分被重新訪問來探測循環(huán)并在循環(huán)的視圖中分散誤差。,? Bergevin（1996）:被認(rèn)為是這種方法的先驅(qū) 圖的創(chuàng)建方法如下：視圖與結(jié)點(diǎn)相聯(lián)系。邊代表變換兩個(gè)結(jié)點(diǎn)之間的路徑代表一系列變換。 Bergevin的方法是獲取一個(gè)很好平衡的網(wǎng)在網(wǎng)中1）視圖間的變換都有相似的誤差2）不同視圖之間有唯一的變換矩陣，不考

11、慮他們之間的路徑。當(dāng)兩個(gè)非中心視圖的變換矩陣趨于相同時(shí)，算法收斂。? P. J. Neugebauer（1997）:提出了星形的拓?fù)洌c前面方法的主要不同之處在于使用Levenberg–Marquardt方法來最小化對(duì)應(yīng)點(diǎn)之間的距離來調(diào)整變換矩陣。另一個(gè)重要的不同在于通過等級(jí)化的方法來降低計(jì)算量。Huber（2002）：算法分為兩步 1）局部對(duì)齊 2）全局對(duì)齊局部對(duì)齊的主要目標(biāo)是創(chuàng)建一個(gè)“model graph”

12、,基于”spin image”計(jì)算所有可能的兩兩對(duì)齊 ;僅使用正確的兩兩對(duì)齊來進(jìn)行全局對(duì)齊,最后用Neugebauer的方法來進(jìn)行優(yōu)化.評(píng)價(jià):該方法既不需要視圖位置以及視圖順序的知識(shí),但是一旦一個(gè)不正確的匹配加到最終的圖上，全局模型就會(huì)不連續(xù)，導(dǎo)致重新開始全過程。,2024/3/27,,2.1 網(wǎng)格多視對(duì)齊技術(shù),,?Sharp(2004)：對(duì)大場景且未知視圖方向的多視對(duì)齊進(jìn)行了研究，為了降低計(jì)算負(fù)擔(dān)，將圖分解成一組環(huán)。 要點(diǎn)在于：

13、1）環(huán)的判別方法 環(huán)探測的復(fù)雜程度取決于視圖是無組織的還是順序的；2）不合格兩兩對(duì)齊的判別方法；3）環(huán)內(nèi)及環(huán)間的誤差分散方法。? HouFei (2009)：為了剔除錯(cuò)誤的兩兩對(duì)齊，在判斷環(huán)的問題上提出一致性環(huán)的概念。所謂一致性環(huán)即環(huán)中所有的變換都是近似單位陣變換，這樣的一致性環(huán)中沒有錯(cuò)誤的兩兩對(duì)齊。評(píng)價(jià)：這種方法的缺點(diǎn)在于要求過于嚴(yán)格，可能會(huì)將合格的兩兩對(duì)齊排除在外，僅適合于粗對(duì)齊有很好的結(jié)果的場合。 ?Matabosch

14、 (2008)：探測環(huán)的方法： 如果視圖是順序拍攝的,如手持?jǐn)z像儀,如果前后兩個(gè)視圖間的平移矢量(或旋轉(zhuǎn)矢量)小于一定的閾值,同時(shí)這兩個(gè)視圖又不是相鄰的那就可以判定是一個(gè)環(huán).簡化的方法:利用兩個(gè)視圖的包圍盒在XY,YZ,XZ方向上的投影來確定重疊區(qū)域,如果三個(gè)重疊區(qū)域都超過了給定的閾值,且兩包圍盒中心足夠小, 那就可以判定是一個(gè)環(huán)。,（3）文獻(xiàn)總結(jié),現(xiàn)有的多視對(duì)齊技術(shù)存在的主要問題:(1) 主視圖法: 兩兩拼合如果誤拼合

15、，會(huì)影響全局拼合的效果。(2) 同步對(duì)齊法：無法降低大的計(jì)算量。(3) 圖方法：瓶頸在于如何有效的探測環(huán)。,2024/3/27,,2.2 具有對(duì)稱特征的非完備數(shù)據(jù)的幾何建模技術(shù),,2.2.1非完備幾何特征的定義及分類,(1)非完備幾何特征的定義,(4)非完備幾何特征的分類,在測量操作前因外力作用或在測量過程中因掃描設(shè)備場景的限制或被測物體的遮擋等原因引起的構(gòu)成產(chǎn)品模型的低層幾何體素及其構(gòu)造特征,如點(diǎn),線,面出現(xiàn)缺失或變形等偏離物

16、體原貌的情況,稱為非完備幾何特征。,(2)非完備幾何特征的測量建模過程,非完備幾何特征的測量建模過程就是試圖通過軟件或硬件的手段恢復(fù)物體原貌的過程。,1 測量前階段（即用來測量的物體就是非完備的）如缺齒的齒輪；做了器官摘除手術(shù)的病人；受到擠壓變形的古化石2 測量階段 （由于測量手段或物體的復(fù)雜性（如內(nèi)凹）引起的）,(3)非完備幾何特征的產(chǎn)生階段,1 按照非完備類型分： 1）缺損 2）

17、變形2 按照產(chǎn)生階段分： 1）原始非完備 2）測量非完備3 按照非完備的范圍分： 1）小區(qū)域 2）大范圍4 非完備幾何特征的性質(zhì)分： 1）平面 2）二次曲面 3）自由曲面如機(jī)械產(chǎn)品很多是規(guī)則曲面；而人臉等是自由曲面,(5)非完備幾何特征的測量建模的應(yīng)用,1 受到擠壓變

18、形的古化石,恢復(fù)其原貌;2 做了器官摘除手術(shù)的病人需要做贗復(fù);3 動(dòng)畫設(shè)計(jì)4 利用已有的數(shù)據(jù)進(jìn)行創(chuàng)造性設(shè)計(jì),2024/3/27,,2.2 具有對(duì)稱特征的非完備數(shù)據(jù)的幾何建模技術(shù),,2.2.2 對(duì)稱面或近似對(duì)稱面的求解方法,,1)輪廓線法?金濤( 2003):,評(píng)價(jià):該方法采用的對(duì)稱特征是二維空間折線，需在測量階段對(duì)特征線作標(biāo)記，增加了數(shù)據(jù)測量的難度和工作量；另外，特征線上所含數(shù)據(jù)點(diǎn)的數(shù)量有限，難以通過統(tǒng)計(jì)方法減小誤差。,202

19、4/3/27,,2.2 具有對(duì)稱特征的非完備數(shù)據(jù)的幾何建模技術(shù),,,,2)局部形狀匹配法?紐約州立大學(xué)的Jianning Wang (2002): 利用3D Hough 變換將點(diǎn)云分為平坦區(qū)域和特征區(qū)域，對(duì)于特征區(qū)域進(jìn)行聚類，然后對(duì)特征點(diǎn)對(duì)進(jìn)行取中心點(diǎn)，多個(gè)中心點(diǎn)擬合成中心對(duì)稱面。,評(píng)價(jià):優(yōu)點(diǎn)：局部形狀匹配法是將三維空間域的問題轉(zhuǎn)化為二維平面域的圖像問題,是一種降維的處理方法。缺點(diǎn)：存儲(chǔ)需求量大，因?yàn)樾枰D(zhuǎn)換；求取對(duì)稱面的精度

20、不高，適用于復(fù)雜物體的多個(gè)對(duì)稱面的求取。,?斯坦福大學(xué)的Niloy J. Mitra (2006): 匹配” local shape signature”局部形狀簽名對(duì),使用這些匹配來累積得到近似的對(duì)稱面 。第一階段: 我們計(jì)算一個(gè)簡單的局部形狀描述器第二階段: 我們使用隨機(jī)聚類算法mean shift clustering,對(duì)每個(gè)點(diǎn),計(jì)算一個(gè)局部形狀簽名,如果簽名值相似,則這兩點(diǎn)為一對(duì)點(diǎn),點(diǎn)對(duì)之間可以計(jì)算一個(gè)中心點(diǎn), 眾多中

21、心點(diǎn)累積得到近似的對(duì)稱面。,2024/3/27,,2.2 具有對(duì)稱特征的非完備數(shù)據(jù)的幾何建模技術(shù),,3)ICP方法?南京航空航天大學(xué) 的張麗艷( 2006)：提出用ICP迭代方法來獲取健康人臉的對(duì)稱面,利用去掉裙邊的數(shù)據(jù)求取人臉最優(yōu)鏡面,1首先使用PCA(主軸分析)來確定鏡面的最近似的位置,獲取初始鏡面 ;2通過初始鏡面的鏡像獲取它的初始鏡面;3對(duì)原始數(shù)據(jù)和初始鏡像面去除掉裙邊的數(shù)據(jù)進(jìn)行基本ICP精對(duì)齊。除掉裙邊的目的是保證初始

22、鏡像數(shù)據(jù)是原始數(shù)據(jù)的子集,從而滿足基本ICP收斂的要求;4 將對(duì)齊后的對(duì)應(yīng)點(diǎn)連線的中點(diǎn)擬合成最小二乘平面,這就是所要求的最佳鏡面。優(yōu)點(diǎn)：該方法是采用的基于優(yōu)化理論的ICP算法，它通過迭代的方法找求最佳對(duì)稱平面特征,能達(dá)到較高的精度。缺點(diǎn)：1初始對(duì)齊的位置對(duì)算法的收斂精度有影響；2如何有效地去除假的對(duì)應(yīng)關(guān)系是保證算法健壯性的瓶頸所在。,原始數(shù)據(jù),初始鏡像,粗對(duì)齊,去掉裙邊的初始鏡像,去掉裙邊的原始數(shù)據(jù),文獻(xiàn)總結(jié)：對(duì)于健康人臉的

23、對(duì)稱面獲取,利用張麗艷的去掉裙邊,然后使用基本ICP對(duì)齊方法是能夠得到較好精度的對(duì)稱面, 但對(duì)于需要贗復(fù)的病人,他的數(shù)據(jù)是帶有缺損信息的,不滿足基本ICP收斂的要求, 其結(jié)果是不理想的。因此我們需要著力解決的是如何有效地去除ICP對(duì)齊中假的對(duì)應(yīng)關(guān)系,從而保證該方法在臨床使用的穩(wěn)定性.,病人原始數(shù)據(jù),初始鏡像,病人臉面最優(yōu)鏡面,2024/3/27,,2.3 基于特征相似性的非完備數(shù)據(jù)的幾何建模技術(shù),,(1) 問題求解的思路

24、利用外部的信息來輔助獲取非完備區(qū)與完備區(qū)拓?fù)潢P(guān)系(2) 研究現(xiàn)狀,1 構(gòu)建人體特征模板,2利用模板實(shí)現(xiàn)頭部缺損區(qū)的填充,1)利用設(shè)備投射光線的信息?Davis, Marschner, Garr, Levoy( 2002)：測量殘缺是因凹陷的幾何形狀致使測量手段難以到達(dá)所致，故通過光滑插值于殘缺邊界的等值面修復(fù)殘缺區(qū)域幾何形狀，并在修復(fù)過程中考慮到殘缺鄰域幾何的遮擋。算法由模糊與組合交替進(jìn)行。,2)基于模板的方法?Allen

25、, Curless, Popovic (2003)?Kraevoy ，Sheffer (2005)：第一步：根據(jù)人體的數(shù)據(jù)構(gòu)建參數(shù)化的模板,然后利用模板進(jìn)行參數(shù)設(shè)置,第二步：與缺損數(shù)據(jù)進(jìn)行對(duì)齊來進(jìn)行缺損區(qū)的填充。,評(píng)價(jià)： 優(yōu)點(diǎn)：能夠利用設(shè)備投射光線的信息，實(shí)現(xiàn)殘缺區(qū)域的光順填充；缺點(diǎn)：需要已知設(shè)備的信息。,評(píng)價(jià)：優(yōu)點(diǎn)：能夠基于特征參數(shù)構(gòu)造臉部輪廓曲線，可以整體G‘連續(xù)的B樣條曲面表示人體模型；缺點(diǎn)：需進(jìn)行參數(shù)化定義，適用基

26、本相似特征的數(shù)據(jù)。,無光線約束,有光線約束,無光線約束,有光線約束,初始化,迭代,在對(duì)齊過程中考慮：1 對(duì)應(yīng)點(diǎn)對(duì)距離誤差2 平滑誤差3 標(biāo)記點(diǎn)誤差,2024/3/27,,2.3 基于特征相似性的非完備數(shù)據(jù)的幾何建模技術(shù),,基于例子的缺損區(qū)構(gòu)建的技術(shù)路線,3)基于例子的方法 ?斯坦福大學(xué)的Mark Pauly, Niloy J. Mitra( 2005)：從數(shù)據(jù)庫中檢索合適的上下文模型,扭曲上下文模型來符合輸入數(shù)據(jù),兩者貼

27、合設(shè)計(jì)來達(dá)到最終完整的數(shù)據(jù)。,1模型搜索利用紋理搜索和形狀搜索融合的搜索方法從數(shù)據(jù)庫中提取一個(gè)模型(上下文模型),該模型能夠提供所需的缺損區(qū)域的信息； 2 模板模型非剛性對(duì)齊基于變形和形狀誤差的懲罰函數(shù)計(jì)算和評(píng)估原有模型與上下文模型的對(duì)齊后的局部形狀變形；,評(píng)價(jià)優(yōu)點(diǎn)：利用原有的數(shù)據(jù)庫模型的信息，經(jīng)過非剛性變換，使得一個(gè)不完備的數(shù)據(jù)構(gòu)建成一個(gè)完整的幾何模型，降低了模型處理的復(fù)雜度。缺點(diǎn)：需要有合適的數(shù)據(jù)庫模型。,3模板模型與現(xiàn)有模

28、型融合基于重疊區(qū)的處理算法將原有模型與從上下文模型得到的幾何信息融合為一個(gè)完整和一致的模型。,變形度量,幾何誤差,綜合誤差,文獻(xiàn)總結(jié)：,未考慮模板模型的非剛性部分對(duì)模型搜索的影響；未考慮模板模型非剛性匹配存在約束的情況 ；,存在問題：,2024/3/27,,2.4 贗復(fù)體與周圍組織的幾何及紋理的光順技術(shù),2.4.1 過渡曲面光順技術(shù),,(1) 問題的提出: 贗復(fù)體與缺損區(qū)組織面需要進(jìn)行貼合,需要構(gòu)造三角網(wǎng)格的過渡曲面，實(shí)現(xiàn)光順過

29、渡。(2) 過渡曲面的定義: 過渡曲面(blending surface)就是光滑地把兩個(gè)或多個(gè)曲面連接起來的中間曲面, 被連接的曲面稱之為基曲面。,(3) 曲面光順準(zhǔn)則(馬利莊,石教英,1996) 1）關(guān)鍵曲線（如飛機(jī)的骨架線）光順； 2）網(wǎng)格線無多余的拐點(diǎn)（或平點(diǎn)）及變撓點(diǎn)； 3）主曲率在節(jié)點(diǎn)處的躍度和足夠??； 4）高斯曲率變化均勻。,(4) 研究現(xiàn)狀 1)神經(jīng)網(wǎng)絡(luò)方法 (徐立亞,1999;熊邦書 ,200

30、3;蔣剛 ,2009)原理：通過空間映射獲得3 個(gè)方向的二維坐標(biāo),利用神經(jīng)網(wǎng)絡(luò)方法獲得過渡區(qū)域的三維坐標(biāo) 。評(píng)價(jià):優(yōu)點(diǎn):不需要表面知識(shí)和確切的數(shù)學(xué)函數(shù)描述，只需要測得表面的有限點(diǎn)數(shù)；缺點(diǎn):1)需要大數(shù)據(jù)量；2)速度不快 。2)能量法；Terzopoulo ( 2004) ：把在基曲面上過渡切觸線及其在基曲面上的法矢和其他邊界線作為約束，采用基于物理的曲面造型技術(shù)，來生成過渡曲面。,3)基于周邊信息;陳志楊( 2005)：通過引

31、入平均誤差及平均曲率影響因子,自動(dòng)計(jì)算出過渡曲面影響區(qū)域,進(jìn)而利用影響區(qū)域內(nèi)的數(shù)據(jù)構(gòu)造連續(xù)曲面并計(jì)算出過渡區(qū)域數(shù)據(jù)點(diǎn)。評(píng)價(jià)：優(yōu)點(diǎn)：能夠與周邊區(qū)域光順過渡；缺點(diǎn)：需要確定影響區(qū)域的位置。 4）傘形操作子的迭代Hongbo Fu（2007）：建立兩個(gè)網(wǎng)格邊界之間的對(duì)應(yīng)關(guān)系，建立初始三角化，然后用傘形操作子進(jìn)行新建三角網(wǎng)格及周邊的平滑處理。,評(píng)價(jià)：優(yōu)點(diǎn)：能保證過渡曲面在拼接處與原曲面具有二階幾何連續(xù)性。 缺點(diǎn)：應(yīng)用范圍受

32、限制，一般適合管狀之間的過渡。,,,贗復(fù)體與缺損區(qū)組織面之間形成的空隙需要光順填充,2024/3/27,,2.4 贗復(fù)體與周圍組織的幾何及紋理的光順技術(shù),2.4.2 紋理光順技術(shù),(2) 研究現(xiàn)狀 1)基于特征點(diǎn)的映射方法?R.Kurazum(2008)：從自動(dòng)抽取模型表面的三維邊緣特征入手，進(jìn)行特征對(duì)應(yīng)尋找。將紋理圖像映射到三維點(diǎn)上。 評(píng)價(jià)：該方法僅需將紋理圖像與三維點(diǎn)云的特征點(diǎn)對(duì)應(yīng)起來即可實(shí)現(xiàn)紋理映射；但缺點(diǎn)在于特征點(diǎn)

33、的準(zhǔn)確性直接影響紋理映射變形程度。 2) 基于分塊組合的方法 ?趙向陽 (2004):選擇三幅正交的人臉圖像,根據(jù)每張人臉圖像只能提供一部分清晰無冗余的紋理,保留清晰有用的紋理和剔除冗余紋理；最后再對(duì)各模型塊交接處進(jìn)行顏色平滑過渡。 評(píng)價(jià)：該方法僅需對(duì)需要過渡部分進(jìn)行處理；但缺點(diǎn)在于1）它要求有三幅正交的人臉圖像，這樣的條件并不總是能夠滿足； 2）過渡區(qū)域大小選擇,以及合成權(quán)值的設(shè)定都會(huì)影響最終融合圖像的質(zhì)量。,(1) 紋理光

34、順的目標(biāo) 1)不會(huì)出現(xiàn)明顯的接縫現(xiàn)象 2)盡量降低生成圖像與原始圖像的失真度,3)搜索最優(yōu)縫合路徑的方法 ?李笑嵐 ( 2006):通過小波分解技術(shù)將原始圖像集合分為2類:邊緣圖和平滑圖,對(duì)邊緣圖像采用圖像縫合法進(jìn)行拼接,提出了在部分紋理圖表面搜索最優(yōu)縫合路徑的方法。對(duì)平滑圖像采用多尺度融合法拼接。評(píng)價(jià)： 優(yōu)點(diǎn)在于在消除接縫的同時(shí)能夠最大限度地保存圖像原有的細(xì)節(jié)信息；缺點(diǎn)是文中使用的柱面展開法只適合于形狀較為簡單

35、的模型。,4)重疊區(qū)設(shè)置權(quán)重的方法 ?丁雅斌, ( 2008) :設(shè)計(jì)的三維光學(xué)數(shù)字成像系統(tǒng)可以同時(shí)采集物體在同一個(gè)方向的深度圖像和與它精確對(duì)應(yīng)的紋理圖像。對(duì)于重疊區(qū)的紋理采用權(quán)函數(shù)的設(shè)定方法。 評(píng)價(jià)：優(yōu)點(diǎn)是在深度圖像合成的同時(shí)進(jìn)行紋理圖像的融合； 缺點(diǎn)是權(quán)值是人為設(shè)定，無法保證紋理的平滑過渡。,5)用顏色梯度場的方法 ? Ming Chuang (2009); Su MS ( 2004); Levin A (2004)原理：

36、首先通過在每個(gè)視圖上添加顏色梯度獲取一個(gè)描寫紋理細(xì)節(jié)變化的顏色梯度場，然后求解梯度場的泊松方程,得到能夠最佳擬合梯度變化的顏色場,將顏色場映射到幾何模型上。 評(píng)價(jià)：可以得到一個(gè)無縫的紋理表面；保證紋理的平滑過渡。缺點(diǎn)是需要增加顏色梯度場的計(jì)算。,2024/3/27,,,,文獻(xiàn)綜述結(jié)論,2024/3/27,,三.研究內(nèi)容,,1．網(wǎng)格多視對(duì)齊技術(shù)研究（1）基于柵格結(jié)構(gòu)探測環(huán) （2）環(huán)內(nèi)及環(huán)間的誤差分散處理 （3）補(bǔ)測數(shù)據(jù)的誤差

37、分散處理 2．具有對(duì)稱特征的非完備數(shù)據(jù)的幾何建模技術(shù)研究（1）測量數(shù)據(jù)幾何特征非完備性的定義及分類（2）基于M估計(jì)的健壯性ICP算法的對(duì)稱特征模型構(gòu)建方法（3）基于糾正局部變形的對(duì)稱特征模型構(gòu)建方法3．基于特征相似性的非完備數(shù)據(jù)的幾何建模技術(shù)研究（1）基于健壯區(qū)域的特征相似性的數(shù)據(jù)搜索技術(shù)（2）基于約束的非剛性的模板模型映射技術(shù)4．贗復(fù)體與周圍組織的幾何及紋理光順技術(shù)研究（1）面結(jié)構(gòu)光點(diǎn)云的數(shù)據(jù)特點(diǎn)（2）

38、基于雙傘形運(yùn)算的過渡曲面光順技術(shù)（3）基于顏色梯度場最佳擬合的紋理光順技術(shù)5．支持顏面缺損修復(fù)的軟件架構(gòu)及其應(yīng)用流程（1）軟件開發(fā)平臺(tái)及關(guān)系結(jié)構(gòu) （2）空間拓?fù)浣Y(jié)構(gòu) （3）軟件數(shù)據(jù)結(jié)構(gòu)的UML描述 （4）系統(tǒng)應(yīng)用流程,3.1 研究內(nèi)容,2024/3/27,,三.研究內(nèi)容,,在對(duì)非完備幾何數(shù)據(jù)的特點(diǎn)分析的基礎(chǔ)上，研究利用已有信息的特點(diǎn)來恢復(fù)缺損區(qū)數(shù)據(jù)信息的方法。 以顏面整形和缺損修復(fù)為應(yīng)用背景,針對(duì)醫(yī)學(xué)上對(duì)快

39、速非接觸無損測量和逼真建模新技術(shù)的需求,開發(fā)相應(yīng)的模型構(gòu)建和處理的軟件工具，最終形成一套高度集成的具有臨床應(yīng)用價(jià)值的顏面缺損修復(fù)的CAD系統(tǒng)，同時(shí)開展臨床應(yīng)用。,3.2 研究目標(biāo),3.3 預(yù)期成果,形成國內(nèi)第一套具有自主知識(shí)產(chǎn)權(quán)的人體顏面數(shù)據(jù)快速獲取與逼真建模系統(tǒng)(逼真建模部分)編制一套人體顏面數(shù)據(jù)快速獲取與逼真建模CAD系統(tǒng)軟件,2024/3/27,,四.技術(shù)路線,,,總體技術(shù)路線,2024/3/27,,四.技術(shù)路線,,,2024/

40、3/27,,1.網(wǎng)格多視對(duì)齊技術(shù),,1.1 融合圖分析及主視圖法的多視對(duì)齊算法,1)基于柵格結(jié)構(gòu)探測環(huán),通過Hash 數(shù)據(jù)結(jié)構(gòu)基于柵格來尋找重疊視圖,重疊程度與所設(shè)定的閾值比較來確定是否是合格的兩兩對(duì)齊，從而實(shí)現(xiàn)環(huán)的有效探測。,2)環(huán)內(nèi)及環(huán)間的誤差分散處理 A 環(huán)內(nèi)誤差分散算法,B 環(huán)間誤差分散,,視圖重疊程度偏差顯示圖,兩個(gè)視圖在法線方向的距離:綠色: -0.3—0.3mm; 藍(lán)色:-0.3— -1.2mm;黃色: 0.

41、3— 1.2mm; 灰色表示為單一視圖.由圖可見,綠色占絕大部分.少部分藍(lán)色和黃色是因?yàn)檫吘墧?shù)據(jù)不準(zhǔn)確.對(duì)齊效果滿足使用要求.,融合圖及主視圖法的多視對(duì)齊流程圖,,最終效果圖,3)補(bǔ)測數(shù)據(jù)的誤差分散處理,補(bǔ)拍多幅視圖來補(bǔ)償細(xì)節(jié)部分的孔洞 1)一個(gè)結(jié)點(diǎn)上增加多個(gè)結(jié)點(diǎn)。2)兩個(gè)結(jié)點(diǎn)之間出現(xiàn)一個(gè)結(jié)點(diǎn),形成一個(gè)環(huán),出現(xiàn)了嵌套環(huán)的情況。,,解決方案:1) 以?為主視圖,??按照主視圖法進(jìn)行誤差分散;2)以??為主視圖, ?按照主視圖法

42、進(jìn)行誤差分散。,回答問題1: 在數(shù)據(jù)預(yù)處理時(shí),如何實(shí)現(xiàn)多視角的數(shù)據(jù)的坐標(biāo)歸一化?,2024/3/27,,2.具有對(duì)稱特征的非完備數(shù)據(jù)的幾何建模技術(shù),,2.1 基于M估計(jì)的健壯ICP的對(duì)稱 特征模型構(gòu)建方法,求對(duì)稱面的問題就轉(zhuǎn)化為如何健壯地獲取ICP迭代的問題。,帶有缺損信息的數(shù)據(jù)的健壯ICP算法,由于相對(duì)于缺損區(qū)的完好區(qū)數(shù)據(jù)在迭代過程中是找不到正確的對(duì)應(yīng)點(diǎn)的,因此必須采取方法,對(duì)迭代過程中建立的臨時(shí)對(duì)應(yīng)點(diǎn)對(duì)的真?zhèn)芜M(jìn)行判斷.去

43、掉可信度低的對(duì)應(yīng)點(diǎn)對(duì)，以保證收斂的連續(xù)性和準(zhǔn)確性。,對(duì)應(yīng)論文：A CADCAM System for Fabrication of Facial Prosthesis, Rapid Prototyping Journal , (2011-Jun-17,vol 17 issue4)SCI檢索,,,,在精度和速度上都優(yōu)于其他方法!,使用洛倫茲函數(shù)作為M估計(jì)，,,重新定義對(duì)齊問題如下：給定一組對(duì)應(yīng)點(diǎn)對(duì),共軛梯度搜索實(shí)現(xiàn)下式最小化,,,,試驗(yàn)

44、:不同算法獲取的鏡像面與標(biāo)準(zhǔn)鏡像面偏差,回答問題2:如何實(shí)現(xiàn)具有對(duì)稱特征的非完備數(shù)據(jù)的幾何建模?,2024/3/27,,2.具有對(duì)稱特征的非完備數(shù)據(jù)的幾何建模技術(shù),,2.2 基于糾正局部變形的對(duì)稱特征 贗復(fù)體模型構(gòu)建方法,對(duì)應(yīng)論文：基于糾正局部變形的對(duì)稱特征贗復(fù)體模型的構(gòu)建（待投）,問題的解決方案(要解決變形的方向/變形的程度/變形的方法),如右圖所示，一個(gè)需要進(jìn)行頜面贗復(fù)的患者，由于頜面摘除手術(shù)與頜面贗復(fù)手術(shù)的時(shí)間相隔較長，

45、受缺損部位收縮的牽引，口腔部軟組織已出現(xiàn)了明顯的偏移現(xiàn)象，因此要對(duì)該患者進(jìn)行頜面贗復(fù)體制作時(shí)，需要先將口腔部的局部變形先糾正過來，然后再按照2.1的方法進(jìn)行贗復(fù)建模，否則就會(huì)出現(xiàn)歪嘴之類的不美的顏面外觀。,第一步 探求額頭及眼區(qū)的對(duì)稱面H（帶有法向n);第二步 交互地選取鼻根,人中以及嘴角;第三步 將鼻根,人中形成的平面與額頭及眼區(qū)的對(duì)稱面重疊;并得到新的嘴角位置,在移動(dòng)過程中保證AB、BC的長度不變，且AB垂直于對(duì)稱面。<

46、-變形的方向/變形的程度第四步 嘴區(qū)的其余點(diǎn)數(shù)據(jù)按照基于彈性化的棱柱剛體的方法進(jìn)行變換;<-變形的方法第五步 在糾正了局部變形后的臉面上按照2.1的方法進(jìn)行頜面贗復(fù)體的設(shè)計(jì)。,回答問題2:如何實(shí)現(xiàn)具有對(duì)稱特征的非完備數(shù)據(jù)的幾何建模(有局部變形)?,2024/3/27,,3.基于特征相似性的非完備數(shù)據(jù)的幾何建模技術(shù),3.1基于模板模型非剛性匹配的模型 構(gòu)建方法,(1)基于健壯區(qū)域的特征相似的數(shù)據(jù)搜索,(2)

47、基于約束的非剛性的模板模型映射,基于模板模型非剛性匹配的模型構(gòu)建流程圖,1）首先進(jìn)行數(shù)據(jù)分割 A 基于平均曲率圖的方法提取出鼻區(qū) B 排除掉臉部的非剛性區(qū)域,對(duì)應(yīng)論文：Model Retrieval and Template Guided Construction of Nosal Prosthesis（待投）,回答問題3：如何基于特征相似性來實(shí)現(xiàn)非完備數(shù)據(jù)的幾何建模?,,,2）構(gòu)建數(shù)據(jù)庫3）相似性度量,1）剛性

48、對(duì)齊來確定配體鼻在患者數(shù)據(jù)上的位置2）基于約束的非剛性對(duì)齊實(shí)現(xiàn)鼻形態(tài)調(diào)整 A 滿足約束 A1第一步剛性變換所帶來的約束 A2對(duì)稱面兩邊的數(shù)據(jù)變化應(yīng)該是相同的,不過方向相反 A3 與人臉垂直方向縮放的基準(zhǔn)面是配體鼻的底面 B 誤差表達(dá) B1 位置誤差 B2 變形誤差 C 最優(yōu)化方程,,,截面線光順性的檢驗(yàn),間隙檢驗(yàn),截

49、面線/切向偏差/曲率,2024/3/27,,4.贗復(fù)體與周圍組織的幾何及紋理光順技術(shù),,4.1融合雙傘形運(yùn)算和顏色梯度場最佳擬合的幾何及紋理光順技術(shù),基于最佳擬合的顏色梯度場的紋理融合流程圖,對(duì)應(yīng)論文：Smooth and Texturing Blending Surfaces for Marginal Area ofFacial Prosthesis adjoined to Surrounding Tissue,回答問題4：如何保

50、證贗復(fù)體與周圍組織區(qū)域的貼合性及美觀性?,,1 面結(jié)構(gòu)光點(diǎn)云的數(shù)據(jù)特點(diǎn),2 幾何光順 首先對(duì)產(chǎn)生的間隙進(jìn)行三角化填充，然后運(yùn)用雙傘形運(yùn)算進(jìn)行網(wǎng)格平滑。,3 紋理光順,,,,點(diǎn)云與像素的一一對(duì)應(yīng)的關(guān)系,,網(wǎng)格點(diǎn)P的傘形運(yùn)算示意,2024/3/27,,五、已經(jīng)完成的工作,,5.1 已完成的研究點(diǎn)1 融合圖及主視圖法的多視對(duì)齊算法 2 基于M估計(jì)的健壯ICP的模型構(gòu)建方法 3 基于糾正局部變形的對(duì)稱特征贗復(fù)體模型構(gòu)

51、建方法 4 基于模板模型非剛性匹配的模型構(gòu)建方法 5 融合雙傘形運(yùn)算和顏色梯度場最佳擬合的幾何及紋理光順技術(shù)5.2 參加的科研項(xiàng)目 1 上海市信息化專項(xiàng)資金項(xiàng)目 基于三維視覺測量的顏面缺損修復(fù)CAD系統(tǒng)的開發(fā)及其應(yīng)用推廣（2006-13） 2 上海市科委科技攻關(guān)項(xiàng)目 人體顏面數(shù)據(jù)快速獲取與逼真建模技術(shù)及其醫(yī)學(xué)應(yīng)用研究

52、(08511501100) 3 上海市科委制造業(yè)信息化專項(xiàng) 基于點(diǎn)云數(shù)據(jù)的復(fù)雜型面產(chǎn)品制造幾何精度評(píng)定方法與系統(tǒng)開發(fā)(08DZ1121200),2024/3/27,,五、已經(jīng)完成的工作,,,5.3 取得的知識(shí)產(chǎn)權(quán) （1）專利 [1]習(xí)俊通，孫進(jìn)，熊耀陽，陳曉波等，基于三維視覺測量的對(duì)稱特征顏面贗復(fù)體制備方法，中國，發(fā)明專利，（授權(quán)號(hào)ZL200810038840.1,授權(quán)公告日2

53、010.08.18） [2]習(xí)俊通、孫進(jìn)、熊耀陽、陳曉波等,基于三維視覺測量的非對(duì)稱特征顏面贗復(fù)體制備方法,中國，發(fā)明專利, (申請(qǐng)?zhí)朲L200810038841.6,公開公告日2008.10.29)（2）發(fā)表論文[1] Jin Sun, Xiaobo Chen, Juntong Xi,Yaoyang Xiong,A CADCAM System for Fabrication of Facial Prosthesis, Rapi

54、d Prototyping Journal , (2011-Jun-17,vol 17 issue4)SCI檢索[2][2] Jin Sun, Xiaobo Chen, Juntong Xi, Integration of Precise Mid-facial Plane Model with Realistic Visualization Techniques for Developing Ocular Prostheses, G

55、ESTS International Transactions on Computer Science and Engineering, 錄用[3] Jin Sun, Xiaobo Chen, Juntong Xi, Triangular mesh generation for areal-structure scan data in 3D space ,2011 Third International Conference on M

56、easuring Technology and Mechatronics Automation, EI檢索,ISTP檢索, 錄用[4] Chen Xiaobo, Sun Jin ,Xi Juntong, Development of a 3D Optical Measurement System based on Fringe Projection for Facial Prosthesis,2011 IEEE Interna

57、tional Instrumentation and Measurement Technology Conference, EI檢索,ISTP檢索, 錄用（3）軟件登記[1] 基于三維視覺測量的顏面缺損修復(fù)CAD系統(tǒng) V1.0 登記號(hào)：2009SR07640[2] 人體顏面快速高精度三維測量和逼真可視化建模系統(tǒng) V1.0 2010.12.14 通過上海市軟件評(píng)測中心的軟件成果鑒定,2024/3/27,,六

58、、研究的創(chuàng)新點(diǎn),,1 網(wǎng)格多視對(duì)齊技術(shù) 融合圖分析及主視圖法的多視對(duì)齊算法解決補(bǔ)測數(shù)據(jù)的誤差處理問題 2 具有對(duì)稱特征的非完備數(shù)據(jù)的幾何建模技術(shù) 1）基于M估計(jì)的健壯ICP算法解決數(shù)據(jù)缺損的對(duì)稱特征模型構(gòu)建 2）基于糾正局部變形的對(duì)稱特征模型構(gòu)建 3 基于特征相似性的非完備數(shù)據(jù)的幾何建模技術(shù) 1）基于人臉健壯區(qū)的模型搜索 2）基于約束的模板模型非剛性匹配的模型構(gòu)建 4 贗復(fù)