基于移動(dòng)互聯(lián)網(wǎng)的手語翻譯器的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、根據(jù)第六次全國人口普查我國總?cè)丝跀?shù)和第二次全國殘疾人抽樣調(diào)查我國殘疾人數(shù)占全國總?cè)丝跀?shù)的比例和各類殘疾人數(shù)占?xì)埣踩丝側(cè)藬?shù)的比例，可以預(yù)測(cè)2017年聾人總?cè)藬?shù)將會(huì)超過2700萬人。眾所周知，與其他類殘疾人相比較，和聾人溝通更加困難。為了解決聾人與正常人的溝通困境，本文提出了一套自然手語資源建設(shè)、服務(wù)平臺(tái)開發(fā)和手機(jī)終端APP實(shí)現(xiàn)的綜合方案。
　　本系統(tǒng)主要做了以下幾方面的工作：
　　1.電子化手語資源：首先收集日常對(duì)話300句，

2、設(shè)計(jì)了這300句日常對(duì)話相關(guān)的語義資源（自然語言和自然手語之間翻譯所需的語義知識(shí)）；編寫爬蟲程序，從我愛手語網(wǎng)中爬取了手語圖片資源，通過整理，建立了手語圖片庫；建立了3個(gè)手語角色模型，手Key了30手語動(dòng)作，建立手語動(dòng)畫庫；收集手語視頻，建立手語視頻庫。
　　2.開發(fā)了資源管理系統(tǒng)。該模塊主要是對(duì)文法知識(shí)庫和對(duì)手語資源庫的管理，本系統(tǒng)將文法知識(shí)庫分類為日常對(duì)話庫、語素?cái)?shù)據(jù)庫、詞語庫、短語庫、同義詞辭典、術(shù)語語義網(wǎng)、自然手語文法和自

3、然語言文法庫。在開發(fā)過程中，使用了大規(guī)模知識(shí)管理技術(shù)，設(shè)立一套通用化的知識(shí)管理建模方案。該套方案是一般知識(shí)管理系統(tǒng)工具中所沒有的，是一種細(xì)粒度的管理，這種細(xì)粒度的知識(shí)管理，使得平臺(tái)分析管理員可以更有效的從知識(shí)的運(yùn)行中實(shí)時(shí)地掌握用戶的使用情況，從而更有效地進(jìn)行科學(xué)決策。
　　3.搭建了自然手語資源服務(wù)平臺(tái)，為接入平臺(tái)的應(yīng)用系統(tǒng)提供手語資源服務(wù)，包括自然語言處理和手語動(dòng)畫生成功能。在自然語言處理技術(shù)方面，本系統(tǒng)主要采用概念空間+語義文

4、法+意圖分析+知識(shí)融合的技術(shù)路線，綜合起來完成語義分析。在動(dòng)畫自動(dòng)生成技術(shù)方面，主要采用關(guān)鍵幀動(dòng)畫技術(shù)，運(yùn)動(dòng)路徑動(dòng)畫技術(shù)，變形動(dòng)畫技術(shù)，逐幀動(dòng)畫等，自主設(shè)計(jì)了一種可支撐不同角色的手語骨骼動(dòng)畫自動(dòng)生成+專家調(diào)優(yōu)結(jié)合的模式。該模式不僅融合了人工智能的研究成果，也融合了手語專家、知識(shí)管理員、動(dòng)畫專家等人工因素，是一種人機(jī)結(jié)合的服務(wù)模式。
　　4.開發(fā)手機(jī)APP。在開發(fā)手機(jī)APP過程中，設(shè)計(jì)了語音、文本的輸入功能，學(xué)習(xí)手語功能，設(shè)計(jì)了AP

5、P的界面。手機(jī)APP采用Web服務(wù)客戶端的方式訪問自然語言資源服務(wù)平臺(tái)提供的自然語言處理和動(dòng)畫自動(dòng)生成功能。其中APP的語音輸入功能，本系統(tǒng)通過降噪算法，去除背景噪音，得到清晰無雜音的人聲，然后調(diào)用訊飛語音識(shí)別云，識(shí)別之后，訊飛服務(wù)器將返回這段人聲對(duì)應(yīng)的文字。
　　5.在以上工作的基礎(chǔ)之上，本文設(shè)計(jì)并開發(fā)出全新的一套手語翻譯器。
　　本文從志愿者協(xié)會(huì)中，隨機(jī)抽取100位完全不懂手語的志愿者，隨機(jī)將這100位志愿者分成4組，分

6、別利用讓懂手語的老師教、使用手語詞典自學(xué)手語、上網(wǎng)看手語視頻、使用手語翻譯器四種方式進(jìn)行手語學(xué)習(xí)，學(xué)習(xí)內(nèi)容是系統(tǒng)提供的160個(gè)手語詞匯，學(xué)習(xí)時(shí)間是1周，并設(shè)計(jì)了同樣的學(xué)習(xí)效果測(cè)試試卷，考試時(shí)間2個(gè)小時(shí)。測(cè)試結(jié)果為，使用手語詞典學(xué)習(xí)手語的志愿者的正確率11.9％，跟著手語老師學(xué)習(xí)手語的志愿者正確率為23.1%，網(wǎng)上自學(xué)手語的志愿者的正確率為正確率為43.1%，使用手語翻譯器學(xué)習(xí)手語的志愿者的正確率74.3%。通過比較，本系統(tǒng)的手機(jī)APP學(xué)