本文是一篇開題報告，開題報告是指開題者對科研課題的一種文字說明材料。這是一種新的應用寫作文體，這種文字體裁是隨著現代科學研究活動計劃性的增強和科研選題程序化管理的需要而產生的。（以上內容來自百度百科）今天碩博網為大家推薦一篇開題報告，供大家參考。

 

一、課題研究背景

 

1.國內外的研究現狀

 

目前國內外實現的手語識別系統主要分為基于傳感器的系統識別和基于圖像處理的識別系統。利用傳感器識別的系統就是利用空間加速度和角速度這兩個參數來進行的，當信息量比較大時，能更方便的獲取到數據；缺點是需要在手臂上裝置大量裝置在表達上帶來了不便性。基于圖像的視覺識別是用攝像機采集手勢信息進行識別的技術。這種方式的優點是動作的識別更加自然，缺點是圖像處理識別時容易受到環境的干擾。

 

手勢識別領域的研究在國外要比國內早，國內最早開始研究手勢手語的識別是哈工大團隊提出了將多種手勢識別算法融合的方法，這種方法在分類時特征和模型的參數都很少，但這種技術對手語手勢的識別在那個年代取得了良好的識別效果，通過將神經網絡和 hmm 算法相結合，使系統對簡單靜態手語的識別率達到百分之八十以上。隨著技術的發展，人們將gmm模型運用到手語識別系統中，通過這種方法對手語識別得到的結果更好。2009 年，南開大學的李國峰等人研發了基于mems加速度傳感器的簡單輸入系統，該系統也為自熱的人機交互研究開啟了新理念。2011年華中師范大學團隊開始了基于加速度傳感器手語識別研究，對預設的八種手勢進行識別，其識別率達到了85.3%.2013年，清華研究團隊利用semg信號去識別手臂和手指動作采用多電極陣列獲取semg信號，雖然實用性不是很強，識別率不是很高，但是在該領域的探索研究，做出了大量的探索工作。2014年，由于傳感器的手勢識別領域的快速發展，國內學者張欣和陳勛等人將傳感器技術與生理信號相互結合，構建了手勢識別系統的遠程醫療系統，該系統研發為識別領域注入了新的血液，使得國內對相關領域的研究更加熱衷起來。

 

2.課題研究的意義

根據世衛組織最近的一項報道表明，在全球有6億多的殘疾人，其中就聾啞人占殘疾人口的10%.截止到2013年末，中國殘疾人的數量已經占到全國總人口數的百分之六，是世界上殘疾人最多的國家。在這些殘疾人當中，具有聽力障礙的人占33%,人數大約為2780萬，這些人中只有少部分人只有聽力或語言障礙，而大多數人完全失去了與健康人類正常溝通的能力，手語則是它們唯一的交流方式。對于健康的人們來說，除一些專業人士外大部分人并不能理解手語的含義，那么將手語轉換成聲音和圖像并被人們輕易理解就變得很有實用價值。這將清除它們與社會交流的障礙為它們融入到有聲世界提供了很大的幫助。手勢手語是將人體產生的動作賦予了特定的含義且高度的結構化后的集中體現。

 

它主要是由人的手勢決定也會有一些面部表情進行輔助，因此我們要對手語進行識別，首先必須要弄清手勢含義，目前很多對手語的識別是依靠計算機視頻識別來實現的。自上世紀九十年代以來，計算機技術得到迅猛發展已經深入到生活的方方面面之中影響迅速擴大，而且在日常生活中多模態接口技術已經變得越來越普遍。雖然傳統鼠標和鍵盤隨著計算機技術飛速發展而變得越來越先進，但是由于人的需求也在發生著很大的變化，這些傳統設備也逐漸凸顯出了它們的局限性，在虛擬現實和人機交互上這種限制是有著明顯的表現。人機交互中手勢是輸入和輸出的非常重要的方式，所以手勢識別是多模式接口技術的一個重要部分。

 

隨著技術的不斷革新，用戶對傳統計算機的要求已經不僅僅局限在便利性和人機交互的方面，導致傳統設備在人機互動方面已經無法滿足用戶的需求。而手勢識別就是解決高人工智能領域的局限性問題的，它作為多模式人機接口技術已成為當前計算機技術繼續深入研究的方向，能使通信在人機交互界面技術上使用的更加自然和諧，手勢識別最接近的就是手語識別，對它的研究涉及心理學、人工智能、計算機視覺等多領域的學科研究，而且作為日常生活中溝通的一種方式已開始受到大批專家和學者的關注，并在手勢識別研究方向開始投入大量科研經費和精力，由于手勢手臂本身較為復雜而且它的時間和空間差異使得手勢識別已經成為一個具有挑戰性的多學科交叉融合的研究課題。

 

二、課題研究內容

 

1.手勢的表示

手勢表示通常是利用手勢模型和模型參數來表示的，所以在識別手勢的時候首先要要對手勢建模，識別是根據手勢表示內容而選取手勢特征量與模型匹配，由于環境文化和地區的不同會導致了手勢的差異，可能會有使用不同的表達方式，所以手勢通常是一個不太明確的概念，有時手勢表達的含義在不同情景下承載的信息是不同的。比如不同地區表示暫停的時候是左手在上右手在下，而其它地方可能就是右手在上左手在下。

本文設計的關鍵是對手勢的建模訓練，尤其是對待識別的手勢的確定。具體的應用決定了采用什么樣的手勢模式，只有建立準確的手勢模型才能利用算法進行對識別到的手勢做出正確反饋。通常手勢建模和手勢識別所使用到的方法是相異的，采集手勢特征數據的方法也不一樣。目前基于數據手套的特征捕獲方法是比較常用的采集數據信息的方式，通過選擇相應的識別算法實現手勢的識別反饋。

 

2.常用手勢識別算法分析

2.1人工神經網絡算法

這種算法還具有抗干擾能力和容錯性強識別速度快等優點，它能把預處理和識別的過程同時進行處理。在目前的識別領域中，運用的比較多的神經網絡是誤差反向傳播神經網絡（簡稱網絡）。 bp 神經網絡結構圖算法是一種有監督式的學習算法，它由三部分構成輸入層、中間層（也叫隱藏層）和輸出層，其中的輸入層和輸出層的神經元節點是固定的數目，兩層之間存在從輸入層到輸出層的前饋連接和輸出層至輸入層的反饋連接，只有隱藏層的神經元是可以自由定義的。

在人際交互識別領域中應用神經網絡算法進行手勢的識別時首先需要有自己的數據庫系統，再對采集到的手勢數據序列進行算法的訓練，使用訓練好的網絡去識別輸入的手勢數據信息數據的含義即達到識別手勢的目的，識別到后經由計算處理以實現人機交互的目的。神經網絡的優點是抗干擾性和容錯能力強，缺點是訓練量比較大，擴充性不強對時序建模能力差，無法有效處理動作的速率帶來的問題。

 

2.2動態時間規整

動態時間規整曾是語音識別的一種主流方式，它是一種將時間歸整與距離測度結合起來的非線性正則化的技術，算法是建立一套科學的時間校準匹配路徑將測試模式和參考模式建立起聯系的算法。

dtw的算法主要利用的動態編程技術（dynamic programming, dp）去實現，它的算法實現是將全局的優化分化成眾多的局部最優化。所以在使用算法的時候需要將各局部最優化，已達到全部的最優化。

在dtw算法中由于容易實現和數據的訓練簡單等優點被用在語音識別中廣泛應用，但在手勢識別領域由于其運算量太大和較弱的抗噪能力，很難達到對手勢識別的實時性的要求。

 

2.3特征選擇

手勢識別本質上是對手勢進行多分類任務，在實際的實驗測試過程中，能夠準確區分手部狀態是進行手勢識別任務的前提條件，且對后續的分類以及檢測等任務的精準度至關重要。

比如在進行圖像識別過程中，對拍攝到的圖像進行特征提取是判別手勢的第一步，特征性質的優劣是后續進行圖像信息處理的關鍵，對采集到的數據進行特征提取，提取過程中如果特征過于簡單就會造成對圖像信息的提取不全，導致最后的判別精確度較低的問題不能滿足手勢識別對人體手勢識別高精確度的要求，而如果不考慮提取到的特征維度問題，容易造成數據維度災難現象即產生大量的特征數據使計算機無法短時間進行處理，這樣不能滿足手勢識別對于現場實時性的要求。

因為在三維空間中執行的手勢是動態的，采集到的加速度和姿態角的數據也是實時變化的，所以對于手勢識別的數據是由內嵌在手套中的兩個六軸陀螺儀加速度傳感器產生的，當手部移動時會產生加速度，角速度姿態角等實時數據信息，處理器通過對傳感器識別的運動數據進行采集計算最終識別手勢的動作。

 

三、實驗結果測試與分析

 

1.實驗手勢

本章主要內容是根據前面內容進行試驗，通過實驗驗證可穿戴智能手套翻譯器能夠使用改進型的識別算法提高手勢的識別率和識別精度。

為驗證嵌入式系統對手勢手語識別的可行性，在進行試驗時候從準備好的手勢模型中各取四個進行手勢識別試驗。開始手勢表達時要按箭頭的方向做軌跡，同時要求一次性完成動作，不能在動作執行時有停頓，做完每一個手勢都要停頓一定時間。

 

2.實驗過程及數據統計

本文所采取的實驗方法及過程如下：

首先，實驗所用的手勢模板是已經定義好了的手勢集合，實驗時從中選取定義好的手勢集。

其次，從手勢集合中選取部分手勢進行算法識別，在這個過程中逐漸將訓練樣本數量由少到多增加，觀察樣本數量對識別率的影響。

最后，使用改進型算法對手勢進行識別，同樣將樣本數量逐漸增多，觀察樣本數量對手勢識別率的影響，將兩種算法識別的結果進行對比，比較識別率。

整個識別的流程通常是由以下幾步完成的：系統的初始化、檢測動作的狀態是否開始、記錄數據集、檢測動作是否結束，模型對比和識別結果，實驗的流程圖如圖所示。

識別動作時最重要的是準確判斷手勢的開始時刻，因為每一個手勢動作通常可能會連續擺動來表達含義，所以在進行動作識別時需要采集傳感器信息加速度的變化去判斷是否為開始信號，過程是傳感器采集到數據時判斷是否開始，若是開始信號則開始轉換數據進行對手勢的識別，當傳感器停止傳輸數據時則表動作結束同時語音播放。

 

根據實驗結果可知手勢識別率總體上是隨著樣本的訓練次數增加有微量上升，因此再一次增加樣本的訓練次數進行實驗對比，來確認訓練的樣本數對識別率的影響，分別選用經過次和次訓練的手勢，總體上手勢的識別率是隨著樣本訓練次數的增加而略有提升，不過達到一定程度之后識別率就基本保持了穩定。

 

四、研究步驟：

 

x年x月-x年x月，收集資料，建立模型

x年x月-x年x月，開發軟件

x年x月-x年x月，教學試驗，評價修改

x年x月-x年x月，擴大試驗，歸納總結

 

五、參考文獻

 

[1]李強，張然，鮑國東，姜海燕。聾人大學生心理健康狀況及相關因素分析[j].中國特殊教育，2004,02:69-72.

[2]陸德陽。殘疾人與近代中國殘疾人事業的發展[j] .齊魯學刊，2012,06:55-58.

[3]王丹蕾，聶桂平。手語翻譯設備的發展現狀及未來趨勢[j].設計，2016,（19）：115-117.

[4]晶茹，劉麗娜。商務溝通中口譯人員的跨文化意識培養[j].學周刊，2017,01:217-219.

[5]賈建鋒，潘夢佳，馬可心。發達國家本科招生制度經驗借鑒與啟示--基于美國、英國和日本的多案例研究[j].重慶理工大學學報（社會科學），2016,11:118-125.

[6]李金，宋陽，梁洪。語言殘障患者醫療輔助系統設計[a].中國儀器儀表學會。第九屆全國信息獲取與處理學術會議論文集ⅱ[c].中國儀器儀表學會，2011:4.

[7]孟繁玲。我國手語翻譯專業教育的現狀、問題及對策[j].中州大學學報，2013,（03）：87-90.

[8]劉卓璇。國內聾人高校課堂手語翻譯問題與對策[j].中州大學學報，2014,（06）：61-63.

[9]賈建鋒，潘夢佳，馬可心。發達國家本科招生制度經驗借鑒與啟示--基于美國，英國和日本的多案例研究[j].重慶理工大學學報（社會科學），2016,11:118-12.

[10]huang g,bai z,kasun l, et al.local receptive fields based extremelearning machine[j].ieee computational intelligence magazine,2015,10（2）：18-29.

[11]王衛民，賀冬春。自然手語翻譯器系統設計和實現[j].無線互聯科技，2015,（15）：41-42