自然人機交互相關技術研究與系統(tǒng)實現(xiàn).pdf

1、自然人機交互技術是人機交互技術的一個重要研究方向,主要研究人和計算機之間如何用自然的方式進行交互。其按交互方式分類主要可以分為語音交互,體態(tài)語言交互,其他姿態(tài)語言交互等。對比傳統(tǒng)的人機交互方式如鼠標,按鈕等,自然人機交互所具有的自然交互方式,無疑更被人們所關注。目前,自然交互方式的研究已經有了一定的發(fā)展,但是應用中的系統(tǒng)還非常缺乏。因此,如何更好更有效地將自然人機交互技術應用到具體領域是目前的熱點問題之一。本文通過對自然人機交互系統(tǒng)中的

2、語音識別技術,圖案跟蹤識別技術和體態(tài)識別技術的研究,設計并建立實現(xiàn)了一套用于課堂教學領域的自然人機交互系統(tǒng)。分析了微軟公司的語音識別引擎,并充分利用其來實現(xiàn)語音交互;設計并實現(xiàn)了圖案跟蹤和實時識別算法,使得信號的實時交互能力更加高效;改進并實現(xiàn)了基于直方圖的體態(tài)識別算法,使得體態(tài)識別的準確性更好,實時性更高;同時利用上述技術設計實現(xiàn)了一套基于自然人機交互的課件編輯和播放的教學輔助系統(tǒng)。論文主要研究內容包括:(1)設計實現(xiàn)了基于自然人機交

3、互的教學輔助系統(tǒng)。采用COM組件對象模型實現(xiàn)了底層交互引擎和上層用于課件編輯和播放的用戶界面主程序相分離,有效降低了系統(tǒng)耦合度。(2)研究激光筆交互技術。提出了基于視頻的圖案跟蹤與識別算法,實現(xiàn)系統(tǒng)支持用戶用有圖案的激光筆進行交互;(3)研究體態(tài)語言交互技術。改進了基于直方圖分布的體態(tài)識別算法。實現(xiàn)系統(tǒng)對用戶所做的簡單姿態(tài)進行識別,從而判斷用戶的行為;(4)研究語音交互技術。通過微軟公司的Microsoft Speech SDK實現(xiàn)系統(tǒng)