針對傳統海豚輔助療法成本高、且受時間和場地限制等缺陷，本文設計了一種基于虛擬現實技術的三維虛擬海豚輔助治療系統。該系統借助可穿戴三維顯示器 Oculus，并將基于高精度手勢識別設備 Leap Motion 的自然人機交互手段與認知訓練相結合，以達到在沉浸式三維交互游戲中進行兒童康復訓練的目的。實驗數據表明，該系統可有效提高孤獨癥譜系障礙兒童的認知與社交能力，這為游戲化的孤獨癥譜系障礙兒童輔助康復提供了有益探索。
引用本文： 宋文凱, 孫瑜, 禹東川. 面向孤獨癥譜系障礙兒童的三維虛擬海豚治療系統. 生物醫學工程學雜志, 2017, 34(4): 602-605. doi: 10.7507/1001-5515.201608008 復制
引言
孤獨癥，又稱自閉癥，是一種發病率極高的廣泛性發育障礙。其病因極其復雜，科學家至今仍沒有發現治愈孤獨癥的有效方法。目前，針對孤獨癥的治療方法主要有動物輔助療法、藥物療法、神經系統療法、心理療法和行為療法[1]。海豚輔助療法為動物輔助療法的一種[2-3]，可以有效增強兒童肢體語言運用能力，提高注意力水平，培養社會性功能。
傳統的海豚輔助治療受到時間、場地等多種因素的限制，成本高昂，無法進行大面積推廣。近年來隨著虛擬現實技術與可穿戴三維（three dimension，3D）顯示技術的發展，使得 3D 虛擬海豚治療成為了可能。本文基于可穿戴 3D 顯示器 Oculus（Oculus Rift，Oculus VR Inc.）和高精度手勢識別設備 Leap Motion（LM-010，LeapMotion Inc.），在游戲開發工具 Unity3D（Unity Technology Inc.，USA）中進行了孤獨癥譜系障礙兒童輔助治療系統的開發，將自然人機交互手段與認知訓練相結合，達到在沉浸式三維交互游戲中進行兒童康復訓練的目的。該系統克服了傳統海豚輔助治療的缺陷，受試者在接受治療后肢體協調性得到明顯改善，注意力水平和社會交往能力也明顯提高。
1 系統分析與設計
本文提及的輔助治療系統是基于可穿戴 3D 顯示器和手勢識別設備進行設計的，兒童可以身臨其境地通過手勢完成與任務場景的交互。系統通過模仿、抑制訓練等方式對兒童進行干預，同時記錄相關數據，并保存于云端服務器，便于長期的數據跟蹤與分析。系統按照功能劃分為三個層次，分別為表現層、通信層、基礎數據層。每一層次擁有對應的模塊，每個模塊實現相應層次中的對應功能，如圖 1 所示。
圖1
系統層次劃分
Figure1.
Hierarchical division of the system
2 系統實現
2.1 可穿戴 3D 顯示技術
正常人體以左、右眼看同樣的對象，兩眼所見角度不同，在視網膜上的成像并不完全相同，左右眼所接收到的像經過大腦視覺神經中樞加工以后便會形成立體視覺。基于這一生理原理，結合仿真技術與計算機圖形學、人機接口技術、多媒體技術、傳感技術以及網絡技術等多種技術，借助計算機及最新傳感器技術創造出了可穿戴 3D 顯示器。
本文所采用的可穿戴 3D 顯示器 Oculus （Oculus Rift，Oculus VR Inc.）[4]，其基本原理是通過單片式光學透鏡，將兩個顯示器中的內容以 110°的視場角投射到人眼上，其中的色差和畸變則通過算法進行校正。Oculus 屏幕的雙眼分辨率為 2 160×1 200，刷新率為 90 Hz，延時在 20 ms 以下。由于其封閉式的眼罩設計以及高分辨率的屏幕，使得用戶能夠獲得較好的沉浸式體驗。
2.2 3D 場景制作
本文主要針對孤獨癥兒童缺乏與人溝通、手眼協調能力不足、對事物關注持續性不夠等特點，進行針對性的場景設計與實現。訓練場景的設計需要滿足如下條件：① 要符合認知任務的需要；② 要具有一定的趣味性；③ 要無障礙的交互，使兒童的注意力能夠集中于場景任務，實現自然的人機交互，而不是讓無關的操作過程分散兒童的注意力。
本文使用游戲開發工具 Unity3D（Unity Technology Inc.，USA）進行場景及程序設計，并使用三維建模渲染和三維動畫制作軟件 Maya2014 （Autodesk Inc.，USA）進行虛擬海豚的建模。首次進入場景時，在無任何手勢輸入的情況下，海豚將在水下進行隨機循環游動，海豚游動的實現方法是先進行移動向量的計算，再對海豚轉角進行插值，使海豚轉動過程平滑，再逐步移動到指定位置。海豚跳躍的實現方法與移動的實現方法類似，最終實現效果為讓海豚先移動到水面上一固定點，到達該點后再移動到一水下固定點，之后恢復巡游，產生跳躍效果。軟件運行流程圖如圖 2 所示，軟件運行效果如圖 3 所示。
圖2
軟件運行流程圖
Figure2.
Software flow chart
圖3
軟件運行效果圖
Figure3.
Software running result
2.3 訓練任務設計
本文設計的輔助治療訓練任務程序開始運行時，海豚在水下隨機循環游動時，場景中會出現動態提示圖標，引導兒童揮手與海豚打招呼，若兒童正確做出手勢，海豚會跳出水面回應兒童。在接收到返回水底的指令之前，海豚會在水面停留，此時程序會引導兒童抓取小魚喂食海豚，同樣的，喂食成功，海豚會拍打水面并發出聲音進行回應。喂食完畢后，程序會提示兒童向下揮手讓海豚回到水底，此時海豚會像初始狀態一樣在水底循環游動，但是兒童可以通過左右揮手指引海豚游動的方向。在與海豚的基本互動結束后，會進行組合手勢訓練，如果正確做出相應的組合手勢，海豚便會進行跳圈，頂氣球等表演。
2.4 人機交互技術實現
本文所提出的輔助治療系統以自然的手勢作為人機交互輸入，旨在訓練兒童的肢體語言和溝通技巧。Karam 和 Schraefel 為自然的人機交互提出了分類學上的手勢分類方法[5]，他們將手勢分為五類：指示性手勢、示意性手勢、操作性手勢、信號性手勢以及手語性手勢。而本文的研究內容包括靜態手勢識別和動態手勢識別兩方面。其中，靜態手勢識別包括握拳、伸出食指和中指以及五指張開（即石頭、剪刀、布）共 3 種手勢的識別，動態手勢包括向上揮手、向下揮手、向左揮手、向右揮手以及左右重復揮手共 5 種手勢的識別。
2.4.1 靜態手勢識別 高精度手勢識別傳感器 Leap Motion（LM-010，LeapMotion Inc.）可提供手部各個關節的單位方向向量，以手掌中心為坐標原點建立坐標系，將各方向向量統一到此坐標系下的向量后，進行夾角計算。其中，蜷縮度是以單根手指各骨關節的夾角之和來表達，除大拇指外其余 4 根手指有 3 個關節，大拇指有 2 個關節，通過計算骨與骨之間的夾角得到蜷縮度。本文收集了 20 位健康成人受試者的手勢蜷縮度信息，受試者為東南大學學習科學研究中心的研究生，其中男性 12 例，女性 8 例，年齡 23～29 歲，所有受試者均簽署了知情同意書。使用線性判別式分析（linear discriminant analysis，LDA）分類器進行數據分類，從而完成靜態手勢識別工作。
2.4.2 動態手勢識別 動態手勢識別基于一段連續的幀數據，對于每一類動態手勢，大約需要連續 100 幀的數據來表達，由于每個人對動態手勢的理解不一致，同一個動態手勢可能會在絕對坐標系中擁有不一致的數據集合，如動態手勢的起始點不同就可能導致數據集差異很大[6]。為了解決這一問題，需要對數據進行標準化處理，將不同的數據都統一到同一個標準尺度之下。為了消除模仿路徑對模仿輪廓的干擾，使用了基于點云識別（point-cloud recognizer，$P）的模板匹配算法[7]，算法復雜度接近 O（n2）。模板匹配不考慮模仿路徑，只考慮最終手勢的路徑輪廓，而不管手勢路徑是如何得到的。
3 系統應用及評價
3.1 應用對象
本文所選取的研究對象為山東臨沂天使國際特教學校的 12 名高功能孤獨癥兒童，其中男性 12 例，女性 0 例，年齡 6～9 歲，參與本研究的兒童均與其監護人簽署知情同意書。所有兒童均經過醫院確診，診斷依據為美國精神病協會《精神障礙診斷和統計手冊第 4 版》（diagnostic and statistical manual of mental disorders，DSM－IV）和孤獨癥評定量表（childhood autism rating scale，CARS）。訓練過程流失樣本 1 名，剩余 11 名男性孤獨癥兒童。
3.2 干預方法
該干預訓練試驗的持續時間為一個月，分為 4 個周期，每一周（7 d）為一個周期，每個周期的前 6 d 為每天對參與該試驗的兒童進行為時 30 min 的干預訓練，周末 1 d 為休息調整并對受試兒童的老師和家長進行訪談互換信息。干預的執行者為具有相關專業知識的測試人員，干預對象為被確診患有孤獨癥譜系障礙的兒童，干預訓練的過程中有老師或家長陪同。
3.3 評價方法及指標
本文對干預訓練結果的評價方法采用觀察法、訪談法和試驗法。觀察法主要有錄像記錄和筆記記錄兩種形式[8]。錄像記錄是指在試驗現場布置能夠清晰拍攝兒童在游戲訓練過程中的表情、語言、動作等一系列行為的攝像機，以受試者樣本為單位做實況錄影；筆記記錄是指由測試人員在旁仔細觀察，以紙筆的形式記錄下有價值的信息、該信息發生的時間以及每個孤獨癥兒童完成訓練所需的時間。
訪談法的訪談對象主要是特教學校的教師以及受試兒童的家長，在干預訓練期間每周進行。訪談的內容主要包括受試兒童平時在學習生活中表現出的強項和不足、受試兒童在訓練前的基本情況以及從家長或老師的角度來看，受試兒童在接受訓練之后相關能力是否有所提高。依據訪談的信息，形成受試兒童的個人檔案及訓練記錄。
試驗法是指通過比較受試兒童干預訓練前后手勢模仿能力是否有明顯提升，來說明該系統的治療效果。具體方法為分析高精度手勢識別傳感器 Leap Motion 接收到的原始數據，計算出受試兒童模仿某一手勢的準確率（快速匹配準確率），以及匹配反應時等參數，通過配對樣本 t 檢驗，進一步分析并得出結論。
3.4 試驗結果
通過分析參與者的回放錄像和測試人員的筆錄發現，受試兒童的肢體動作變得更加協調，且注意力持續時間明顯增長。通過對特教學校的老師以及受試兒童家長的訪談記錄分析，了解到 11 名受試兒童中有 7 名受試兒童的相關能力有明顯提高，4 名受試兒童提高幅度不明顯。通過試驗法得到的手勢評價結果如表 1 所示。從表 1 中可以看出，匹配平均正確率在進行系統的干預訓練后有明顯提升，匹配正確率均值前測為 54.600 0%，后測為 66.354 5%，上升了 21.6%（t=–4.364，P<0.05）；同時匹配反應時在進行系統的干預訓練后明顯加快，匹配平均反應時前測為 3 384 ms，后測為 2 155 ms，加快了 36.3%（t=2.690，p<0.05）。
表1
手勢識別評價結果（
）
Table1.
Gesture recognition evaluation results (
)
綜合分析以上幾種評價結果，本文所提出的孤獨癥譜系障礙兒童輔助治療系統對提高孤獨癥兒童注意力水平、肢體語言運用能力和社交能力有積極影響。
4 結語
本文基于虛擬現實技術對孤獨癥譜系障礙兒童輔助治療系統的設計與開發進行了探索，將自然人機交互手段與認知訓練相結合，達到在沉浸式三維交互游戲中進行兒童康復訓練的目的。由于時間精力有限以及自身技術的限制，本研究仍存在許多不足之處，例如長時間佩戴 Oculus 可能會產生眩暈感，訓練場景需要進一步優化，手勢識別算法復雜度較高等問題尚待完善。課題組希望能在今后的研究工作中解決這些問題，開發出更適合孤獨癥譜系障礙兒童的游戲化康復方案。
引言
孤獨癥，又稱自閉癥，是一種發病率極高的廣泛性發育障礙。其病因極其復雜，科學家至今仍沒有發現治愈孤獨癥的有效方法。目前，針對孤獨癥的治療方法主要有動物輔助療法、藥物療法、神經系統療法、心理療法和行為療法[1]。海豚輔助療法為動物輔助療法的一種[2-3]，可以有效增強兒童肢體語言運用能力，提高注意力水平，培養社會性功能。
傳統的海豚輔助治療受到時間、場地等多種因素的限制，成本高昂，無法進行大面積推廣。近年來隨著虛擬現實技術與可穿戴三維（three dimension，3D）顯示技術的發展，使得 3D 虛擬海豚治療成為了可能。本文基于可穿戴 3D 顯示器 Oculus（Oculus Rift，Oculus VR Inc.）和高精度手勢識別設備 Leap Motion（LM-010，LeapMotion Inc.），在游戲開發工具 Unity3D（Unity Technology Inc.，USA）中進行了孤獨癥譜系障礙兒童輔助治療系統的開發，將自然人機交互手段與認知訓練相結合，達到在沉浸式三維交互游戲中進行兒童康復訓練的目的。該系統克服了傳統海豚輔助治療的缺陷，受試者在接受治療后肢體協調性得到明顯改善，注意力水平和社會交往能力也明顯提高。
1 系統分析與設計
本文提及的輔助治療系統是基于可穿戴 3D 顯示器和手勢識別設備進行設計的，兒童可以身臨其境地通過手勢完成與任務場景的交互。系統通過模仿、抑制訓練等方式對兒童進行干預，同時記錄相關數據，并保存于云端服務器，便于長期的數據跟蹤與分析。系統按照功能劃分為三個層次，分別為表現層、通信層、基礎數據層。每一層次擁有對應的模塊，每個模塊實現相應層次中的對應功能，如圖 1 所示。
圖1
系統層次劃分
Figure1.
Hierarchical division of the system
2 系統實現
2.1 可穿戴 3D 顯示技術
正常人體以左、右眼看同樣的對象，兩眼所見角度不同，在視網膜上的成像并不完全相同，左右眼所接收到的像經過大腦視覺神經中樞加工以后便會形成立體視覺。基于這一生理原理，結合仿真技術與計算機圖形學、人機接口技術、多媒體技術、傳感技術以及網絡技術等多種技術，借助計算機及最新傳感器技術創造出了可穿戴 3D 顯示器。
本文所采用的可穿戴 3D 顯示器 Oculus （Oculus Rift，Oculus VR Inc.）[4]，其基本原理是通過單片式光學透鏡，將兩個顯示器中的內容以 110°的視場角投射到人眼上，其中的色差和畸變則通過算法進行校正。Oculus 屏幕的雙眼分辨率為 2 160×1 200，刷新率為 90 Hz，延時在 20 ms 以下。由于其封閉式的眼罩設計以及高分辨率的屏幕，使得用戶能夠獲得較好的沉浸式體驗。
2.2 3D 場景制作
本文主要針對孤獨癥兒童缺乏與人溝通、手眼協調能力不足、對事物關注持續性不夠等特點，進行針對性的場景設計與實現。訓練場景的設計需要滿足如下條件：① 要符合認知任務的需要；② 要具有一定的趣味性；③ 要無障礙的交互，使兒童的注意力能夠集中于場景任務，實現自然的人機交互，而不是讓無關的操作過程分散兒童的注意力。
本文使用游戲開發工具 Unity3D（Unity Technology Inc.，USA）進行場景及程序設計，并使用三維建模渲染和三維動畫制作軟件 Maya2014 （Autodesk Inc.，USA）進行虛擬海豚的建模。首次進入場景時，在無任何手勢輸入的情況下，海豚將在水下進行隨機循環游動，海豚游動的實現方法是先進行移動向量的計算，再對海豚轉角進行插值，使海豚轉動過程平滑，再逐步移動到指定位置。海豚跳躍的實現方法與移動的實現方法類似，最終實現效果為讓海豚先移動到水面上一固定點，到達該點后再移動到一水下固定點，之后恢復巡游，產生跳躍效果。軟件運行流程圖如圖 2 所示，軟件運行效果如圖 3 所示。
圖2
軟件運行流程圖
Figure2.
Software flow chart
圖3
軟件運行效果圖
Figure3.
Software running result
2.3 訓練任務設計
本文設計的輔助治療訓練任務程序開始運行時，海豚在水下隨機循環游動時，場景中會出現動態提示圖標，引導兒童揮手與海豚打招呼，若兒童正確做出手勢，海豚會跳出水面回應兒童。在接收到返回水底的指令之前，海豚會在水面停留，此時程序會引導兒童抓取小魚喂食海豚，同樣的，喂食成功，海豚會拍打水面并發出聲音進行回應。喂食完畢后，程序會提示兒童向下揮手讓海豚回到水底，此時海豚會像初始狀態一樣在水底循環游動，但是兒童可以通過左右揮手指引海豚游動的方向。在與海豚的基本互動結束后，會進行組合手勢訓練，如果正確做出相應的組合手勢，海豚便會進行跳圈，頂氣球等表演。
2.4 人機交互技術實現
本文所提出的輔助治療系統以自然的手勢作為人機交互輸入，旨在訓練兒童的肢體語言和溝通技巧。Karam 和 Schraefel 為自然的人機交互提出了分類學上的手勢分類方法[5]，他們將手勢分為五類：指示性手勢、示意性手勢、操作性手勢、信號性手勢以及手語性手勢。而本文的研究內容包括靜態手勢識別和動態手勢識別兩方面。其中，靜態手勢識別包括握拳、伸出食指和中指以及五指張開（即石頭、剪刀、布）共 3 種手勢的識別，動態手勢包括向上揮手、向下揮手、向左揮手、向右揮手以及左右重復揮手共 5 種手勢的識別。
2.4.1 靜態手勢識別 高精度手勢識別傳感器 Leap Motion（LM-010，LeapMotion Inc.）可提供手部各個關節的單位方向向量，以手掌中心為坐標原點建立坐標系，將各方向向量統一到此坐標系下的向量后，進行夾角計算。其中，蜷縮度是以單根手指各骨關節的夾角之和來表達，除大拇指外其余 4 根手指有 3 個關節，大拇指有 2 個關節，通過計算骨與骨之間的夾角得到蜷縮度。本文收集了 20 位健康成人受試者的手勢蜷縮度信息，受試者為東南大學學習科學研究中心的研究生，其中男性 12 例，女性 8 例，年齡 23～29 歲，所有受試者均簽署了知情同意書。使用線性判別式分析（linear discriminant analysis，LDA）分類器進行數據分類，從而完成靜態手勢識別工作。
2.4.2 動態手勢識別 動態手勢識別基于一段連續的幀數據，對于每一類動態手勢，大約需要連續 100 幀的數據來表達，由于每個人對動態手勢的理解不一致，同一個動態手勢可能會在絕對坐標系中擁有不一致的數據集合，如動態手勢的起始點不同就可能導致數據集差異很大[6]。為了解決這一問題，需要對數據進行標準化處理，將不同的數據都統一到同一個標準尺度之下。為了消除模仿路徑對模仿輪廓的干擾，使用了基于點云識別（point-cloud recognizer，$P）的模板匹配算法[7]，算法復雜度接近 O（n2）。模板匹配不考慮模仿路徑，只考慮最終手勢的路徑輪廓，而不管手勢路徑是如何得到的。
3 系統應用及評價
3.1 應用對象
本文所選取的研究對象為山東臨沂天使國際特教學校的 12 名高功能孤獨癥兒童，其中男性 12 例，女性 0 例，年齡 6～9 歲，參與本研究的兒童均與其監護人簽署知情同意書。所有兒童均經過醫院確診，診斷依據為美國精神病協會《精神障礙診斷和統計手冊第 4 版》（diagnostic and statistical manual of mental disorders，DSM－IV）和孤獨癥評定量表（childhood autism rating scale，CARS）。訓練過程流失樣本 1 名，剩余 11 名男性孤獨癥兒童。
3.2 干預方法
該干預訓練試驗的持續時間為一個月，分為 4 個周期，每一周（7 d）為一個周期，每個周期的前 6 d 為每天對參與該試驗的兒童進行為時 30 min 的干預訓練，周末 1 d 為休息調整并對受試兒童的老師和家長進行訪談互換信息。干預的執行者為具有相關專業知識的測試人員，干預對象為被確診患有孤獨癥譜系障礙的兒童，干預訓練的過程中有老師或家長陪同。
3.3 評價方法及指標
本文對干預訓練結果的評價方法采用觀察法、訪談法和試驗法。觀察法主要有錄像記錄和筆記記錄兩種形式[8]。錄像記錄是指在試驗現場布置能夠清晰拍攝兒童在游戲訓練過程中的表情、語言、動作等一系列行為的攝像機，以受試者樣本為單位做實況錄影；筆記記錄是指由測試人員在旁仔細觀察，以紙筆的形式記錄下有價值的信息、該信息發生的時間以及每個孤獨癥兒童完成訓練所需的時間。
訪談法的訪談對象主要是特教學校的教師以及受試兒童的家長，在干預訓練期間每周進行。訪談的內容主要包括受試兒童平時在學習生活中表現出的強項和不足、受試兒童在訓練前的基本情況以及從家長或老師的角度來看，受試兒童在接受訓練之后相關能力是否有所提高。依據訪談的信息，形成受試兒童的個人檔案及訓練記錄。
試驗法是指通過比較受試兒童干預訓練前后手勢模仿能力是否有明顯提升，來說明該系統的治療效果。具體方法為分析高精度手勢識別傳感器 Leap Motion 接收到的原始數據，計算出受試兒童模仿某一手勢的準確率（快速匹配準確率），以及匹配反應時等參數，通過配對樣本 t 檢驗，進一步分析并得出結論。
3.4 試驗結果
通過分析參與者的回放錄像和測試人員的筆錄發現，受試兒童的肢體動作變得更加協調，且注意力持續時間明顯增長。通過對特教學校的老師以及受試兒童家長的訪談記錄分析，了解到 11 名受試兒童中有 7 名受試兒童的相關能力有明顯提高，4 名受試兒童提高幅度不明顯。通過試驗法得到的手勢評價結果如表 1 所示。從表 1 中可以看出，匹配平均正確率在進行系統的干預訓練后有明顯提升，匹配正確率均值前測為 54.600 0%，后測為 66.354 5%，上升了 21.6%（t=–4.364，P<0.05）；同時匹配反應時在進行系統的干預訓練后明顯加快，匹配平均反應時前測為 3 384 ms，后測為 2 155 ms，加快了 36.3%（t=2.690，p<0.05）。
表1
手勢識別評價結果（
）
Table1.
Gesture recognition evaluation results (
)
綜合分析以上幾種評價結果，本文所提出的孤獨癥譜系障礙兒童輔助治療系統對提高孤獨癥兒童注意力水平、肢體語言運用能力和社交能力有積極影響。
4 結語
本文基于虛擬現實技術對孤獨癥譜系障礙兒童輔助治療系統的設計與開發進行了探索，將自然人機交互手段與認知訓練相結合，達到在沉浸式三維交互游戲中進行兒童康復訓練的目的。由于時間精力有限以及自身技術的限制，本研究仍存在許多不足之處，例如長時間佩戴 Oculus 可能會產生眩暈感，訓練場景需要進一步優化，手勢識別算法復雜度較高等問題尚待完善。課題組希望能在今后的研究工作中解決這些問題，開發出更適合孤獨癥譜系障礙兒童的游戲化康復方案。
