腦機接口（BCI）在替代喪失的上肢功能方面具有巨大的潛力。因此，基于腦機接口控制的機械臂的開發備受關注。但是，少有研究嘗試利用基于頭皮腦電的無創腦機接口來實現對機械臂的高級控制。本文設計了一種結合增強現實（AR）腦機接口和計算機視覺的高級控制體系結構，以控制機械臂執行拾取和放置任務。基于穩態視覺誘發電位（SSVEP）的腦機接口范式被用來實現腦機接口系統。微軟的 HoloLens 用于構建增強現實環境，并用作誘發穩態視覺誘發電位的視覺刺激器。所構建的增強現實腦機接口用于選擇需要由機械臂操作的物體。計算機視覺負責提供物體的位置、顏色和形狀信息。根據增強現實和計算機視覺的輸出，機械臂可以自動拾取物體并將其放置到特定位置。11 名健康受試者的在線結果表明，該系統的平均分類準確率為 91.41%。這些結果驗證了結合增強現實、腦機接口和計算機視覺技術來控制機械臂的可行性，并有望為創新機械臂控制方法提供新的思路。
引用本文： 陳小剛, 李坤. 基于增強現實腦機接口和計算機視覺的機械臂控制系統. 生物醫學工程學雜志, 2021, 38(3): 483-491. doi: 10.7507/1001-5515.202011039 復制
引言
肌萎縮側索硬化癥、腦干中風、脊髓損傷等疾病/損傷會使患者的肢體肌肉控制受到限制或喪失自主控制能力[1-3]，在某些情況下，甚至會完全喪失交流溝通能力。而這些患者通常在認知上完好無損，卻需要持續的照料才能完成日常生活活動。開發針對這類人群的智能輔助系統的必要性已經顯現。近年來，輔助機器人（assistive robot）的應用逐步滲透至日常生活中的各個方面，為需要照料的殘疾人和老年人提供了便利[4]。但目前輔助機器人的操控大多采用操作桿、鍵盤或觸覺接口等輸入設備，這些傳統的人機接口通常需要用戶具有殘余的運動能力[5]。而嚴重運動障礙患者可能不得不依賴于其他的人機接口，例如能夠檢測和處理眼電、腦電和肌電信號的人機接口。在上述的人機接口的解決方案中，腦機接口（brain-computer interface，BCI）技術引起了越來越多的關注[6-8]。腦機接口允許患者利用其腦信號與外界環境進行交互[9-10]，為嚴重運動障礙患者提供了一種全新的與外界交互的方式。基于腦機接口控制的輔助機器人有望提高嚴重運動障礙患者的生活自理能力。
現有的研究已成功顯示了利用腦機接口控制輔助機器人的可能性[10-15]。在基于腦機接口的輔助機器人研究中，腦機接口通常采用三種控制策略（直接控制、高級控制和共享控制）作用于輔助機器人[16-17]。在直接控制策略中，腦機接口的輸出命令直接用于控制輔助機器人，如左轉、前進。高級控制策略允許用戶發送高級命令，如選擇被操作的物體，而輔助機器人自動完成抓取操作。采用高級控制策略的系統通常具有機器智能，而無需用戶發送特定的直接控制命令。在共享控制策略中，用戶和機器智能系統共享控制整個系統，允許在用戶自主控制與機器智能系統控制之間進行切換。直接控制策略的易用性以及系統無需配置機器智能使其應用廣泛[12, 15, 18-19]，但需要用戶頻繁發送命令，容易造成用戶疲勞。近年來，高級控制策略和共享控制策略因能夠減少用戶心理負荷而備受關注[14, 20-21]。例如，Zeng 等[20]將混合腦機接口與圖像處理相結合以控制機械臂，混合腦機接口是通過將基于運動想象腦機接口與眼動信號相結合而構建的。圖像處理對潛在目標進行分割，用戶通過眼動信號來選擇分割的目標，腦機接口用于確認所選目標或啟動控制命令。然后，機械臂自動完成到達、遞送和釋放過程，而用戶需要手動控制抓握和提取過程。八名健康受試者的平均腦機接口分類正確率為 85.16%。在 Xu 等[21]的研究中，用戶通過運動想象腦機接口將機械臂移動至目標周圍區域，目標的準確位置是由機器人系統配備的深度攝像頭來估算的，一旦機械臂的末端進入預定的視覺引導區域，機械臂將自動抓取目標。五名健康受試者的在線實驗結果顯示該系統的最高平均成功率為 73.74%。盡管近年來高級控制策略和共享控制策略已經進行了一些成功的嘗試，但是整個系統的實用性仍有很大的改進空間。
本文以高通訊速率的穩態視覺誘發電位腦機接口為研究對象，并將其與計算機視覺相結合，控制機械臂完成抓取任務。為了提高系統的便攜性，選擇微軟增強現實眼鏡 HoloLens 作為視覺刺激器以誘發穩態視覺誘發電位，同時采用 Neuracle 無線便攜式腦電設備來獲取腦電數據。計算機視覺負責提供工作空間內物體的形狀、顏色和位置信息。用戶只需通過腦機接口選擇被抓取的物體，而無需頻繁地發送特定的直接控制命令。根據腦機接口和計算機視覺的輸出，機械臂能夠自動完成對物體的抓取和放置任務。最后，通過離線和在線實驗驗證了所構建系統的可行性。
1 材料和方法
1.1 受試者
共有 15 名健康受試者（12 男 3 女，年齡 18～26 歲）自愿參加本實驗研究，所有受試者的視力或矯正視力正常。離線實驗和在線實驗分別有 11 名受試者參加，有 7 名受試者同時參加離線實驗和在線實驗。本實驗研究已通過清華大學醫學倫理委員會批準，并且所有受試者在實驗前簽署了知情同意書。實驗在安靜的辦公室內進行。
1.2 腦電信號獲取
腦電信號通過 Neuracle 無線便攜式腦電設備來獲取，采樣率為 1 000 Hz。只記錄了頂枕區 9 個電極（Pz、PO5、PO3、POz、PO4、PO6、O1、Oz、O2）。參考電極位于頭頂（Cz）處，接地電極位于 Fz 與 FPz 電極之間。所有電極的阻抗低于 10 kΩ。
1.3 系統描述
整個系統主要由腦機接口、計算機視覺和機械臂三個子系統組成。圖 1 顯示了整個系統的示意圖。腦機接口和計算機視覺兩個子系統工作于同一臺計算機，并通過 TCP/IP 與機械臂相連。機械臂主體是一臺日本 Denso 公司的 VS-060 型 6 軸機械臂，并在其末端裝有德國 FESTO 公司的 DHPS-25-A 平行氣爪。機械臂的工作空間是一個包含 25 個編碼圓圈的區域。該 25 個圓圈分別代表 25 個位置，并且這 25 個位置精確三維坐標的獲取是通過示教器來實現的。九個物體由機械臂分別放置在 25 個位置中的任意 9 處。受試者被要求利用所構建的系統分別將這 9 個物體移至一個特定的區域。腦機接口子系統為 9 目標的穩態視覺誘發電位腦機接口，主要用于用戶選擇需要被機械臂操作的物體。選用微軟增強現實眼鏡 HoloLens 作為視覺刺激器來誘發穩態視覺誘發電位，腦機接口的刺激界面呈現在 HoloLens 中，并通過 Unity 3D 來實現視覺刺激。HoloLens 的刷新率為 60 Hz。為了確保 HoloLens 中閃爍刺激頻率的精準性，實驗過程中 HoloLens 一直保持呈現閃爍視覺刺激。實驗過程中，HoloLens 中刺激界面固定于同一位置。腦機接口的刺激界面包含 9 個命令（見圖 2），分別用于機械臂操控相應的物體。“RC1”“BC2”“YC3”“RR4”“BR5”“YR6”“RT7”“BT8”“YT9”命令分別表示紅色圓形物體、藍色圓形物體、黃色圓形物體、紅色長方形物體、藍色長方形物體、黃色長方形物體、紅色三角形物體、藍色三角形物體、黃色三角形物體。采用頻率編碼的方法對命令進行編碼，“RC1”“BC2”“YC3”“RR4”“BR5”“YR6”“RT7”“BT8”“YT9”命令對應的刺激頻率分別為 8.0、9.5、11.0、8.5、10.0、11.5、9.0、10.5、12.0 Hz。計算機視覺子系統負責識別工作空間內 9 個物體的形狀、顏色和位置。深圳市威鑫視界科技有限公司研發的 U801 工業廣角攝像頭被安裝在機械臂的抓手上，以獲取工作空間圖像。攝像頭通過 USB 與計算機相連。
圖1
整個系統的示意圖
Figure1.
Schematic diagram of the entire system
圖2
腦機接口子系統
a. 腦機接口子系統用戶界面；b. 各目標對應的刺激頻率
Figure2. Brain-computer interface subsystema. user interface of BCI subsystem; b. stimulation frequency corresponding to each target
1.4 離線實驗
離線實驗主要是為在線實驗優化系統參數。腦機接口的離線實驗分為 5 個組塊（block），每個 block 包含 36 個試次（trial）。腦機接口的刺激界面包含 9 個目標。在每個 block 中，每個目標有 4 個試次，受試者注視各目標的順序是隨機的。受試者根據語音提示注視相應的目標。因此，在腦機接口的離線實驗中，對于每名受試者而言，每個目標有 20 個試次。每個試次的持續時間為 9.2 s，其中受試者注視視覺閃爍刺激的時間為 5 s，受試者注意力切換時間為 4.2 s。另外，為了測試計算機視覺系統的性能，獲取了 200 張工作空間圖像，每張圖像中 9 個物體的位置不盡相同。在離線實驗的過程中，機械臂保持不動。
1.5 在線實驗
在線實驗分為 10 個 block，每個 block 包含 9 個試次，分別對應于 9 個目標。因此，每個目標有 10 個試次。通過離線分析，為在線實驗確定了 3.6 s 的閃爍刺激時間。在線實驗時，每個試次的持續時間為 7.8 s，其中受試者注視視覺閃爍刺激的時間為 3.6 s，受試者注意力切換時間為 4.2 s。受試者根據語音提示注視相應的閃爍刺激，機械臂則根據識別的命令執行相應的操作。
1.6 數據處理
計算機視覺子系統利用 U801 工業廣角攝像頭捕獲工作空間的 RGB 圖像。獲取的 RGB 圖像通過同態濾波器來校正圖像的亮度并增強圖像的細節。利用 MATLAB 的 Color Thresholder 工具箱對同態濾波增強圖像進行分析以生成包含三種顏色（即紅色、藍色、黃色）標記功能的 MATLAB 代碼。這些代碼將首先執行從 RGB 顏色空間到 HSV 顏色空間的顏色空間轉換，然后基于每種顏色閾值創建蒙版圖像。通過對離線實驗獲取的 200 張工作空間圖像的分析，定義了三種顏色的色調、飽和度和明度的最小值和最大值。對于紅色，色調的最小值和最大值分別為 0.928 和 0.991，飽和度的最小值和最大值分別為 0.133 和 1.000，明度的最小值和最大值分別為 0.361 和 1.000；對于藍色，色調的最小值和最大值分別為 0.541 和 0.764，飽和度的最小值和最大值分別為 0.092 和 1.000，明度的最小值和最大值分別為 0.118 和 1.000；對于黃色，色調的最小值和最大值分別為 0.541 和 0.764，飽和度的最小值和最大值分別為 0.092 和 1.000，明度的最小值和最大值分別為 0.118 和 1.000。最后對每種顏色的蒙版圖像進行腐蝕和擴張操作，以平滑圖像邊沿。通過上述操作，可以實現對物體顏色的識別。為了確定相同顏色的物體的形狀，分別對上述三種顏色的物體圖像進行中值濾波、二值化，刪除所有小于 3 000 像素的連接區域，均勻分割成 25 子圖。通過檢測各子圖的物體邊界，可以確定 25 子圖中哪些子圖存在物體，并將其與工作空間中 25 個示教位置進行映射可以確定這些物體的位置。對于存在物體的子圖，計算所有邊緣點與質心之間的距離，并通過最大值對這些距離進行歸一化。以歸一化距離數據為特征，可以確定三種形狀物體，即三角形物體的歸一化距離數據中有 3 個峰，而長方形物體則有 4 個峰，圓形物體的所有歸一化距離大于 0.7。
腦機接口子系統采用濾波器組典型相關分析（filter bank canonical correlation analysis，FBCCA）對 9 通道腦電數據進行解碼[22]。在對腦電進行解碼前，需要對腦電進行預處理。首先，根據刺激程序的標記信號對腦電數據進行分段。考慮到視覺系統的延遲[23]，離線實驗和在線實驗的數據分段分別為［0.14 s 5.14 s］和［0.14 s 3.74 s］，其中 0 時刻表示刺激開始的時間。然后，對所有分段數據，進行去除基線漂移、50 Hz 陷波以及降采樣至 250 Hz。
濾波器組典型相關分析主要包括濾波器組分析、典型相關分析、目標識別三個步驟。濾波器組分析主要是通過帶通濾波的方式將腦電分解為多個子帶成分，更為有效地提取嵌入諧波成分中的獨立信息，進而提高穩態視覺誘發電位的檢測精度。根據先前研究[22]，本文中第 
個子帶的下限截止頻率和上限截止頻率分別設置為 
和 90 Hz，子帶數量 
設置為 7。然后，對各個子帶成分進行典型相關分析，正余弦參考信號的諧波數量為 4，進而得到各子帶成分與正余弦參考信號的相關系數（
）。最后，計算與所有子帶成分相對應的組合相關值的加權平方和作為目標識別的特征：
 |
式中，
為各子帶成分的權重系數。基于先前研究[22]，本文的 
設置為 
。因此，目標可被識別為：
 |
2 結果
2.1 離線實驗結果
利用計算機視覺子系統對離線實驗所獲取的 200 張工作空間圖像進行分析與處理，實驗結果顯示所構建的計算機視覺子系統能夠精確地識別出 197 張工作空間圖像中的 9 個物體。通過將 9 個物體在 25 子圖的位置與工作空間中 25 個示教位置相對應，就可獲得 9 個物體的精確三維坐標，以供機械臂操作。為了進一步闡明計算機視覺子系統，將其應用于示例圖像，并顯示了計算機視覺子系統的主要輸出結果，如圖 3 所示。
圖3
計算機視覺子系統的示例實現
a. 原始圖像；b. 同態濾波圖像；c. 平滑蒙版圖像邊沿；d. 中值濾波圖像；e. 二值圖像；f. 刪除小對象圖像；g. 分割圖像；h. 檢測物體邊界；i. 邊緣點與質心之間的歸一化距離
Figure3. An example implementation of the computer vision subsystema. original image; b. homomorphic filtered image; c. smoothing the edges of the mask image; d. median filtered image; e. binary image; f. removing small objects from binary image; g. segmented image; h. detecting object boundaries; i. normalized distances between all edge points and the centroid
圖 4 顯示了受試者 llw 在各刺激頻率下 Oz 電極處穩態視覺誘發電位的幅度譜。從圖可知，所誘發的穩態視覺誘發電位在刺激頻率的基頻和諧波處有明顯的峰值。這些結果驗證了利用微軟增強現實眼鏡 HoloLens 誘發穩態視覺誘發電位的可行性。
圖4
各刺激頻率所誘發的穩態視覺誘發電位的幅度譜
Figure4.
Amplitude spectrum of SSVEPs at each stimulation frequency
圖 5 顯示了不同數據長度下腦機接口的分類正確率和信息傳輸率（information transfer rate，ITR）。信息傳輸率是評估腦機接口性能最常用的指標，在計算信息傳輸率時包含了 4.2 s 的注意力切換時間。從圖可知，隨著數據長度的增加，腦機接口的分類正確率不斷增加直至達到一個穩定狀態。在數據長度為 3.6 s 時，腦機接口的信息傳輸率達到最高水平，即 19.25 bits/min。并且該數據長度下，腦機接口的分類正確率達 90.91%。基于此，為后續的在線實驗確定了 3.6 s 的視覺閃爍刺激時間。
圖5
所構建的腦機接口的分類正確率和信息傳輸率與數據長度的關系
Figure5.
Classification accuracy and ITR for the proposed BCI as a function of data length
2.2 在線實驗結果
本文利用在線實驗測試整個系統的性能。在線實驗時，受試者注視視覺閃爍刺激的時間為 3.6 s，受試者注意力切換時間為 4.2 s，因此系統發送命令的速度為 7.8 s/命令。在線實驗時，計算機視覺子系統能夠精確地識別工作空間中的 9 個物體，識別正確率達 100%。表 1 列出了 11 名受試者的在線腦機接口的性能。從表 1 可知，腦機接口的平均分類正確率和平均信息傳輸率分別為 91.41% 和 19.67 bits/min。有 7 名受試者（即表 1 中加粗的受試者）同時參加了離線實驗和在線實驗。配對 t 檢驗結果顯示這 7 名受試者的離線性能（平均分類正確率：93.49%，平均信息傳輸率：20.34 bits/min）和在線性能（平均分類正確率：92.70%，平均信息傳輸率：20.16 bits/min）未見明顯差異。本組結果表明機械臂能夠根據腦機接口的意圖命令和計算機視覺提供的物體信息順利完成對物體的抓取和放置任務。這些結果驗證了所構建系統的有效性。
表1
在線腦機接口的性能
Table1.
Online BCI performance
3 討論
本文結合增強現實腦機接口和計算機視覺技術設計與實現了一套機械臂控制系統。該系統允許用戶將高級控制命令發送至機械臂，從而控制機械臂完成抓取和放置任務。計算機視覺負責檢測工作空間中物體，以提供物體的顏色、形狀和位置信息。腦機接口則用于用戶選擇需要被機械臂操作的物體。根據腦機接口和計算機視覺的輸出，機械臂能夠自主抓取該物體并將其放置于特定的位置。由于采用了高級控制策略，用戶無需一步一步地控制機械臂的運動，極大地減少了用戶的心理負荷。11 名健康受試者的在線實驗結果顯示所構建的系統能夠獲得 91.41% 的正確率，驗證了所構建的系統的可行性。
目前的穩態視覺誘發電位腦機接口研究大多采用計算機顯示器來誘發穩態視覺誘發電位[24-27]。雖然計算機顯示器便于實現復雜視覺刺激，但是“笨重”的計算機顯示器在一定程度上限制了系統的便攜性。近年來，增強現實技術的日益成熟，為誘發穩態視覺誘發電位提供了新的途徑[28]，但這方面的研究仍較少且較為初步[7, 15, 29-30]。在本文中，采用 HoloLens 來實現增強現實效果，并將所構建的增強現實腦機接口用于機械臂的控制。本文創新地將增強現實、腦機接口、計算機視覺整合在一起從而實現對機械臂的高級控制，創新了控制機械臂的新方式。由于 HoloLens 的增強現實特性，其允許用戶既能看見 HoloLens 中的刺激界面，又能夠看見 HoloLens 之外的機械臂運動，避免了用戶在刺激界面和機械臂之間來回切換注意力。11 名受試者的在線實驗驗證了 HoloLens 能夠作為誘發穩態視覺誘發電位的視覺刺激器，以及基于 HoloLens 的增強現實腦機接口可以用于機械臂的控制。可穿戴式視覺刺激器和無線便攜腦電放大器的采用極大地提高了本文所構建系統的便攜性。另外，相比于現有的基于腦機接口的機械臂研究[12, 14-15, 18-20]，本文所構建的系統具有較高的識別精度。盡管在本文中基于增強現實腦機接口可以實現較高的識別精度，但與我們以前使用傳統計算機顯示器作為視覺刺激器的研究[12]相比，使用 HoloLens 似乎會稍微降低穩態視覺誘發電位腦機接口的性能。在最近的三項基于 HoloLens 的增強現實研究中，也觀察到類似的腦機接口性能下降[15, 29-30]。可能的原因是 HoloLens 和傳統計算機顯示器的固有屬性不同。與計算機顯示器不同，HoloLens 的透視特性允許用戶同時看到視覺刺激和周圍的場景，這可能會分散用戶對視覺刺激的注意力[15, 29]，而且 HoloLens 上視覺刺激的亮度和對比度低于計算機顯示器上顯示的亮度和對比度[29]。但本文的高識別精度表明類似的性能下降不會影響基于 HoloLens 的穩態視覺誘發電位腦機接口的實際應用。
下一步工作將嘗試利用該高級控制策略幫助健康受試者和運動障礙患者完成更為廣泛的日常活動。而且，基于動態窗長的解碼算法[31]將被應用于提高腦機接口的識別精度。為了構建一個用戶友好型腦機接口，僅利用較少電極獲取腦電信號尤為重要。目前的研究大多采用多個電極來檢測穩態視覺誘發電位[24-25]。雖然多個電極的使用能夠提高腦機接口的識別精度，但多個電極需要相對長的準備時間且會降低用戶舒適度。下一步將嘗試在保證較高識別精度的前提下，減少電極的數量，同時將電極布置在耳后以提高腦機接口的移動性[32]。在本文中，針對三種物體顏色（即紅、黃、藍）和三種物體形狀（即長方形、圓形、三角形），有針對性地開發了計算機視覺系統來識別物體的顏色和形狀。未來的研究將進一步開發針對多種物體顏色/形狀的計算機視覺算法。另外，也將嘗試通過更多的傳感器獲取更多的信息以改善機械臂的控制，如抓取不同高度的物體。
4 結論
在本文中，基于增強現實腦機接口和計算機視覺的高級控制策略被應用于控制機械臂完成抓取和放置任務。得益于高級控制策略，受試者僅通過九個命令就可以控制機械臂完成對九個物體的操作。增強現實與腦機接口的結合不僅避免了受試者在刺激界面和機械臂之間來回切換注意力，還提高了系統的便攜性。腦機接口與計算機視覺的結合有助于減輕受試者的心理負荷以及改善對抓取和放置操作的控制。11 名健康受試者的在線實驗結果顯示所構建的系統能夠在 7.8 s 內從 9 個可選的命令集中識別出一個命令且平均識別正確率達 91.41%，驗證了所構建系統的可行性。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
引言
肌萎縮側索硬化癥、腦干中風、脊髓損傷等疾病/損傷會使患者的肢體肌肉控制受到限制或喪失自主控制能力[1-3]，在某些情況下，甚至會完全喪失交流溝通能力。而這些患者通常在認知上完好無損，卻需要持續的照料才能完成日常生活活動。開發針對這類人群的智能輔助系統的必要性已經顯現。近年來，輔助機器人（assistive robot）的應用逐步滲透至日常生活中的各個方面，為需要照料的殘疾人和老年人提供了便利[4]。但目前輔助機器人的操控大多采用操作桿、鍵盤或觸覺接口等輸入設備，這些傳統的人機接口通常需要用戶具有殘余的運動能力[5]。而嚴重運動障礙患者可能不得不依賴于其他的人機接口，例如能夠檢測和處理眼電、腦電和肌電信號的人機接口。在上述的人機接口的解決方案中，腦機接口（brain-computer interface，BCI）技術引起了越來越多的關注[6-8]。腦機接口允許患者利用其腦信號與外界環境進行交互[9-10]，為嚴重運動障礙患者提供了一種全新的與外界交互的方式。基于腦機接口控制的輔助機器人有望提高嚴重運動障礙患者的生活自理能力。
現有的研究已成功顯示了利用腦機接口控制輔助機器人的可能性[10-15]。在基于腦機接口的輔助機器人研究中，腦機接口通常采用三種控制策略（直接控制、高級控制和共享控制）作用于輔助機器人[16-17]。在直接控制策略中，腦機接口的輸出命令直接用于控制輔助機器人，如左轉、前進。高級控制策略允許用戶發送高級命令，如選擇被操作的物體，而輔助機器人自動完成抓取操作。采用高級控制策略的系統通常具有機器智能，而無需用戶發送特定的直接控制命令。在共享控制策略中，用戶和機器智能系統共享控制整個系統，允許在用戶自主控制與機器智能系統控制之間進行切換。直接控制策略的易用性以及系統無需配置機器智能使其應用廣泛[12, 15, 18-19]，但需要用戶頻繁發送命令，容易造成用戶疲勞。近年來，高級控制策略和共享控制策略因能夠減少用戶心理負荷而備受關注[14, 20-21]。例如，Zeng 等[20]將混合腦機接口與圖像處理相結合以控制機械臂，混合腦機接口是通過將基于運動想象腦機接口與眼動信號相結合而構建的。圖像處理對潛在目標進行分割，用戶通過眼動信號來選擇分割的目標，腦機接口用于確認所選目標或啟動控制命令。然后，機械臂自動完成到達、遞送和釋放過程，而用戶需要手動控制抓握和提取過程。八名健康受試者的平均腦機接口分類正確率為 85.16%。在 Xu 等[21]的研究中，用戶通過運動想象腦機接口將機械臂移動至目標周圍區域，目標的準確位置是由機器人系統配備的深度攝像頭來估算的，一旦機械臂的末端進入預定的視覺引導區域，機械臂將自動抓取目標。五名健康受試者的在線實驗結果顯示該系統的最高平均成功率為 73.74%。盡管近年來高級控制策略和共享控制策略已經進行了一些成功的嘗試，但是整個系統的實用性仍有很大的改進空間。
本文以高通訊速率的穩態視覺誘發電位腦機接口為研究對象，并將其與計算機視覺相結合，控制機械臂完成抓取任務。為了提高系統的便攜性，選擇微軟增強現實眼鏡 HoloLens 作為視覺刺激器以誘發穩態視覺誘發電位，同時采用 Neuracle 無線便攜式腦電設備來獲取腦電數據。計算機視覺負責提供工作空間內物體的形狀、顏色和位置信息。用戶只需通過腦機接口選擇被抓取的物體，而無需頻繁地發送特定的直接控制命令。根據腦機接口和計算機視覺的輸出，機械臂能夠自動完成對物體的抓取和放置任務。最后，通過離線和在線實驗驗證了所構建系統的可行性。
1 材料和方法
1.1 受試者
共有 15 名健康受試者（12 男 3 女，年齡 18～26 歲）自愿參加本實驗研究，所有受試者的視力或矯正視力正常。離線實驗和在線實驗分別有 11 名受試者參加，有 7 名受試者同時參加離線實驗和在線實驗。本實驗研究已通過清華大學醫學倫理委員會批準，并且所有受試者在實驗前簽署了知情同意書。實驗在安靜的辦公室內進行。
1.2 腦電信號獲取
腦電信號通過 Neuracle 無線便攜式腦電設備來獲取，采樣率為 1 000 Hz。只記錄了頂枕區 9 個電極（Pz、PO5、PO3、POz、PO4、PO6、O1、Oz、O2）。參考電極位于頭頂（Cz）處，接地電極位于 Fz 與 FPz 電極之間。所有電極的阻抗低于 10 kΩ。
1.3 系統描述
整個系統主要由腦機接口、計算機視覺和機械臂三個子系統組成。圖 1 顯示了整個系統的示意圖。腦機接口和計算機視覺兩個子系統工作于同一臺計算機，并通過 TCP/IP 與機械臂相連。機械臂主體是一臺日本 Denso 公司的 VS-060 型 6 軸機械臂，并在其末端裝有德國 FESTO 公司的 DHPS-25-A 平行氣爪。機械臂的工作空間是一個包含 25 個編碼圓圈的區域。該 25 個圓圈分別代表 25 個位置，并且這 25 個位置精確三維坐標的獲取是通過示教器來實現的。九個物體由機械臂分別放置在 25 個位置中的任意 9 處。受試者被要求利用所構建的系統分別將這 9 個物體移至一個特定的區域。腦機接口子系統為 9 目標的穩態視覺誘發電位腦機接口，主要用于用戶選擇需要被機械臂操作的物體。選用微軟增強現實眼鏡 HoloLens 作為視覺刺激器來誘發穩態視覺誘發電位，腦機接口的刺激界面呈現在 HoloLens 中，并通過 Unity 3D 來實現視覺刺激。HoloLens 的刷新率為 60 Hz。為了確保 HoloLens 中閃爍刺激頻率的精準性，實驗過程中 HoloLens 一直保持呈現閃爍視覺刺激。實驗過程中，HoloLens 中刺激界面固定于同一位置。腦機接口的刺激界面包含 9 個命令（見圖 2），分別用于機械臂操控相應的物體。“RC1”“BC2”“YC3”“RR4”“BR5”“YR6”“RT7”“BT8”“YT9”命令分別表示紅色圓形物體、藍色圓形物體、黃色圓形物體、紅色長方形物體、藍色長方形物體、黃色長方形物體、紅色三角形物體、藍色三角形物體、黃色三角形物體。采用頻率編碼的方法對命令進行編碼，“RC1”“BC2”“YC3”“RR4”“BR5”“YR6”“RT7”“BT8”“YT9”命令對應的刺激頻率分別為 8.0、9.5、11.0、8.5、10.0、11.5、9.0、10.5、12.0 Hz。計算機視覺子系統負責識別工作空間內 9 個物體的形狀、顏色和位置。深圳市威鑫視界科技有限公司研發的 U801 工業廣角攝像頭被安裝在機械臂的抓手上，以獲取工作空間圖像。攝像頭通過 USB 與計算機相連。
圖1
整個系統的示意圖
Figure1.
Schematic diagram of the entire system
圖2
腦機接口子系統
a. 腦機接口子系統用戶界面；b. 各目標對應的刺激頻率
Figure2. Brain-computer interface subsystema. user interface of BCI subsystem; b. stimulation frequency corresponding to each target
1.4 離線實驗
離線實驗主要是為在線實驗優化系統參數。腦機接口的離線實驗分為 5 個組塊（block），每個 block 包含 36 個試次（trial）。腦機接口的刺激界面包含 9 個目標。在每個 block 中，每個目標有 4 個試次，受試者注視各目標的順序是隨機的。受試者根據語音提示注視相應的目標。因此，在腦機接口的離線實驗中，對于每名受試者而言，每個目標有 20 個試次。每個試次的持續時間為 9.2 s，其中受試者注視視覺閃爍刺激的時間為 5 s，受試者注意力切換時間為 4.2 s。另外，為了測試計算機視覺系統的性能，獲取了 200 張工作空間圖像，每張圖像中 9 個物體的位置不盡相同。在離線實驗的過程中，機械臂保持不動。
1.5 在線實驗
在線實驗分為 10 個 block，每個 block 包含 9 個試次，分別對應于 9 個目標。因此，每個目標有 10 個試次。通過離線分析，為在線實驗確定了 3.6 s 的閃爍刺激時間。在線實驗時，每個試次的持續時間為 7.8 s，其中受試者注視視覺閃爍刺激的時間為 3.6 s，受試者注意力切換時間為 4.2 s。受試者根據語音提示注視相應的閃爍刺激，機械臂則根據識別的命令執行相應的操作。
1.6 數據處理
計算機視覺子系統利用 U801 工業廣角攝像頭捕獲工作空間的 RGB 圖像。獲取的 RGB 圖像通過同態濾波器來校正圖像的亮度并增強圖像的細節。利用 MATLAB 的 Color Thresholder 工具箱對同態濾波增強圖像進行分析以生成包含三種顏色（即紅色、藍色、黃色）標記功能的 MATLAB 代碼。這些代碼將首先執行從 RGB 顏色空間到 HSV 顏色空間的顏色空間轉換，然后基于每種顏色閾值創建蒙版圖像。通過對離線實驗獲取的 200 張工作空間圖像的分析，定義了三種顏色的色調、飽和度和明度的最小值和最大值。對于紅色，色調的最小值和最大值分別為 0.928 和 0.991，飽和度的最小值和最大值分別為 0.133 和 1.000，明度的最小值和最大值分別為 0.361 和 1.000；對于藍色，色調的最小值和最大值分別為 0.541 和 0.764，飽和度的最小值和最大值分別為 0.092 和 1.000，明度的最小值和最大值分別為 0.118 和 1.000；對于黃色，色調的最小值和最大值分別為 0.541 和 0.764，飽和度的最小值和最大值分別為 0.092 和 1.000，明度的最小值和最大值分別為 0.118 和 1.000。最后對每種顏色的蒙版圖像進行腐蝕和擴張操作，以平滑圖像邊沿。通過上述操作，可以實現對物體顏色的識別。為了確定相同顏色的物體的形狀，分別對上述三種顏色的物體圖像進行中值濾波、二值化，刪除所有小于 3 000 像素的連接區域，均勻分割成 25 子圖。通過檢測各子圖的物體邊界，可以確定 25 子圖中哪些子圖存在物體，并將其與工作空間中 25 個示教位置進行映射可以確定這些物體的位置。對于存在物體的子圖，計算所有邊緣點與質心之間的距離，并通過最大值對這些距離進行歸一化。以歸一化距離數據為特征，可以確定三種形狀物體，即三角形物體的歸一化距離數據中有 3 個峰，而長方形物體則有 4 個峰，圓形物體的所有歸一化距離大于 0.7。
腦機接口子系統采用濾波器組典型相關分析（filter bank canonical correlation analysis，FBCCA）對 9 通道腦電數據進行解碼[22]。在對腦電進行解碼前，需要對腦電進行預處理。首先，根據刺激程序的標記信號對腦電數據進行分段。考慮到視覺系統的延遲[23]，離線實驗和在線實驗的數據分段分別為［0.14 s 5.14 s］和［0.14 s 3.74 s］，其中 0 時刻表示刺激開始的時間。然后，對所有分段數據，進行去除基線漂移、50 Hz 陷波以及降采樣至 250 Hz。
濾波器組典型相關分析主要包括濾波器組分析、典型相關分析、目標識別三個步驟。濾波器組分析主要是通過帶通濾波的方式將腦電分解為多個子帶成分，更為有效地提取嵌入諧波成分中的獨立信息，進而提高穩態視覺誘發電位的檢測精度。根據先前研究[22]，本文中第 個子帶的下限截止頻率和上限截止頻率分別設置為 和 90 Hz，子帶數量 設置為 7。然后，對各個子帶成分進行典型相關分析，正余弦參考信號的諧波數量為 4，進而得到各子帶成分與正余弦參考信號的相關系數（）。最后，計算與所有子帶成分相對應的組合相關值的加權平方和作為目標識別的特征：
|
式中，為各子帶成分的權重系數。基于先前研究[22]，本文的 設置為 。因此，目標可被識別為：
|
2 結果
2.1 離線實驗結果
利用計算機視覺子系統對離線實驗所獲取的 200 張工作空間圖像進行分析與處理，實驗結果顯示所構建的計算機視覺子系統能夠精確地識別出 197 張工作空間圖像中的 9 個物體。通過將 9 個物體在 25 子圖的位置與工作空間中 25 個示教位置相對應，就可獲得 9 個物體的精確三維坐標，以供機械臂操作。為了進一步闡明計算機視覺子系統，將其應用于示例圖像，并顯示了計算機視覺子系統的主要輸出結果，如圖 3 所示。
圖3
計算機視覺子系統的示例實現
a. 原始圖像；b. 同態濾波圖像；c. 平滑蒙版圖像邊沿；d. 中值濾波圖像；e. 二值圖像；f. 刪除小對象圖像；g. 分割圖像；h. 檢測物體邊界；i. 邊緣點與質心之間的歸一化距離
Figure3. An example implementation of the computer vision subsystema. original image; b. homomorphic filtered image; c. smoothing the edges of the mask image; d. median filtered image; e. binary image; f. removing small objects from binary image; g. segmented image; h. detecting object boundaries; i. normalized distances between all edge points and the centroid
圖 4 顯示了受試者 llw 在各刺激頻率下 Oz 電極處穩態視覺誘發電位的幅度譜。從圖可知，所誘發的穩態視覺誘發電位在刺激頻率的基頻和諧波處有明顯的峰值。這些結果驗證了利用微軟增強現實眼鏡 HoloLens 誘發穩態視覺誘發電位的可行性。
圖4
各刺激頻率所誘發的穩態視覺誘發電位的幅度譜
Figure4.
Amplitude spectrum of SSVEPs at each stimulation frequency
圖 5 顯示了不同數據長度下腦機接口的分類正確率和信息傳輸率（information transfer rate，ITR）。信息傳輸率是評估腦機接口性能最常用的指標，在計算信息傳輸率時包含了 4.2 s 的注意力切換時間。從圖可知，隨著數據長度的增加，腦機接口的分類正確率不斷增加直至達到一個穩定狀態。在數據長度為 3.6 s 時，腦機接口的信息傳輸率達到最高水平，即 19.25 bits/min。并且該數據長度下，腦機接口的分類正確率達 90.91%。基于此，為后續的在線實驗確定了 3.6 s 的視覺閃爍刺激時間。
圖5
所構建的腦機接口的分類正確率和信息傳輸率與數據長度的關系
Figure5.
Classification accuracy and ITR for the proposed BCI as a function of data length
2.2 在線實驗結果
本文利用在線實驗測試整個系統的性能。在線實驗時，受試者注視視覺閃爍刺激的時間為 3.6 s，受試者注意力切換時間為 4.2 s，因此系統發送命令的速度為 7.8 s/命令。在線實驗時，計算機視覺子系統能夠精確地識別工作空間中的 9 個物體，識別正確率達 100%。表 1 列出了 11 名受試者的在線腦機接口的性能。從表 1 可知，腦機接口的平均分類正確率和平均信息傳輸率分別為 91.41% 和 19.67 bits/min。有 7 名受試者（即表 1 中加粗的受試者）同時參加了離線實驗和在線實驗。配對 t 檢驗結果顯示這 7 名受試者的離線性能（平均分類正確率：93.49%，平均信息傳輸率：20.34 bits/min）和在線性能（平均分類正確率：92.70%，平均信息傳輸率：20.16 bits/min）未見明顯差異。本組結果表明機械臂能夠根據腦機接口的意圖命令和計算機視覺提供的物體信息順利完成對物體的抓取和放置任務。這些結果驗證了所構建系統的有效性。
表1
在線腦機接口的性能
Table1.
Online BCI performance
3 討論
本文結合增強現實腦機接口和計算機視覺技術設計與實現了一套機械臂控制系統。該系統允許用戶將高級控制命令發送至機械臂，從而控制機械臂完成抓取和放置任務。計算機視覺負責檢測工作空間中物體，以提供物體的顏色、形狀和位置信息。腦機接口則用于用戶選擇需要被機械臂操作的物體。根據腦機接口和計算機視覺的輸出，機械臂能夠自主抓取該物體并將其放置于特定的位置。由于采用了高級控制策略，用戶無需一步一步地控制機械臂的運動，極大地減少了用戶的心理負荷。11 名健康受試者的在線實驗結果顯示所構建的系統能夠獲得 91.41% 的正確率，驗證了所構建的系統的可行性。
目前的穩態視覺誘發電位腦機接口研究大多采用計算機顯示器來誘發穩態視覺誘發電位[24-27]。雖然計算機顯示器便于實現復雜視覺刺激，但是“笨重”的計算機顯示器在一定程度上限制了系統的便攜性。近年來，增強現實技術的日益成熟，為誘發穩態視覺誘發電位提供了新的途徑[28]，但這方面的研究仍較少且較為初步[7, 15, 29-30]。在本文中，采用 HoloLens 來實現增強現實效果，并將所構建的增強現實腦機接口用于機械臂的控制。本文創新地將增強現實、腦機接口、計算機視覺整合在一起從而實現對機械臂的高級控制，創新了控制機械臂的新方式。由于 HoloLens 的增強現實特性，其允許用戶既能看見 HoloLens 中的刺激界面，又能夠看見 HoloLens 之外的機械臂運動，避免了用戶在刺激界面和機械臂之間來回切換注意力。11 名受試者的在線實驗驗證了 HoloLens 能夠作為誘發穩態視覺誘發電位的視覺刺激器，以及基于 HoloLens 的增強現實腦機接口可以用于機械臂的控制。可穿戴式視覺刺激器和無線便攜腦電放大器的采用極大地提高了本文所構建系統的便攜性。另外，相比于現有的基于腦機接口的機械臂研究[12, 14-15, 18-20]，本文所構建的系統具有較高的識別精度。盡管在本文中基于增強現實腦機接口可以實現較高的識別精度，但與我們以前使用傳統計算機顯示器作為視覺刺激器的研究[12]相比，使用 HoloLens 似乎會稍微降低穩態視覺誘發電位腦機接口的性能。在最近的三項基于 HoloLens 的增強現實研究中，也觀察到類似的腦機接口性能下降[15, 29-30]。可能的原因是 HoloLens 和傳統計算機顯示器的固有屬性不同。與計算機顯示器不同，HoloLens 的透視特性允許用戶同時看到視覺刺激和周圍的場景，這可能會分散用戶對視覺刺激的注意力[15, 29]，而且 HoloLens 上視覺刺激的亮度和對比度低于計算機顯示器上顯示的亮度和對比度[29]。但本文的高識別精度表明類似的性能下降不會影響基于 HoloLens 的穩態視覺誘發電位腦機接口的實際應用。
下一步工作將嘗試利用該高級控制策略幫助健康受試者和運動障礙患者完成更為廣泛的日常活動。而且，基于動態窗長的解碼算法[31]將被應用于提高腦機接口的識別精度。為了構建一個用戶友好型腦機接口，僅利用較少電極獲取腦電信號尤為重要。目前的研究大多采用多個電極來檢測穩態視覺誘發電位[24-25]。雖然多個電極的使用能夠提高腦機接口的識別精度，但多個電極需要相對長的準備時間且會降低用戶舒適度。下一步將嘗試在保證較高識別精度的前提下，減少電極的數量，同時將電極布置在耳后以提高腦機接口的移動性[32]。在本文中，針對三種物體顏色（即紅、黃、藍）和三種物體形狀（即長方形、圓形、三角形），有針對性地開發了計算機視覺系統來識別物體的顏色和形狀。未來的研究將進一步開發針對多種物體顏色/形狀的計算機視覺算法。另外，也將嘗試通過更多的傳感器獲取更多的信息以改善機械臂的控制，如抓取不同高度的物體。
4 結論
在本文中，基于增強現實腦機接口和計算機視覺的高級控制策略被應用于控制機械臂完成抓取和放置任務。得益于高級控制策略，受試者僅通過九個命令就可以控制機械臂完成對九個物體的操作。增強現實與腦機接口的結合不僅避免了受試者在刺激界面和機械臂之間來回切換注意力，還提高了系統的便攜性。腦機接口與計算機視覺的結合有助于減輕受試者的心理負荷以及改善對抓取和放置操作的控制。11 名健康受試者的在線實驗結果顯示所構建的系統能夠在 7.8 s 內從 9 個可選的命令集中識別出一個命令且平均識別正確率達 91.41%，驗證了所構建系統的可行性。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
