肌萎縮性側索硬化癥（ALS）患者往往難以通過語言和行為來表達意圖，無法正常地與外部世界溝通，嚴重影響生活質量。腦機接口（BCI）的方式能夠輔助ALS患者與外部世界進行交流而受到廣泛的關注，但是可移動性差的設備在使用中給患者帶來不便。為了改善BCI系統的便攜性，本文提出了一種基于Hololens2的可穿戴式P300字符拼寫系統（MR-BCI）。本系統使用Hololens2混合現實設備呈現范式，OpenBCI設備采集腦電信號，Jetson Nano嵌入式計算機處理數據。同時，為了優化系統的性能，本文提出一種輕量化的卷積神經網絡方法應用于嵌入式計算機進行實時分類。結果表明，與基于計算機顯示器的拼寫系統（CS-BCI）相比，MR-BCI誘發的P300振幅增加，離線和在線模式的準確率分別提高1.7%和1.4%，在線模式的信息傳輸速率提高了0.7 bit/min。本文提出的MR-BCI在保證系統性能的基礎上，實現了可穿戴式BCI系統，對BCI的臨床應用具有積極的作用。
引用本文： 李奇, 張庭嘉, 宋雨, 劉玉龍, 孫美琪. 基于Hololens2的可穿戴式P300腦機接口系統設計與評估. 生物醫學工程學雜志, 2023, 40(4): 709-717. doi: 10.7507/1001-5515.202207055 復制
0 引言
腦機接口（brain-computer interface，BCI）是一種允許用戶在不需要任何肌肉活動的情況下與環境進行交互的技術[1]。BCI系統常用的方法是通過對所識別特定任務的腦電圖（electroencephalography，EEG）進行特征提取后，將它轉換成驅動指令來控制輸出[2]，并且由于EEG具有較高的時間分辨率、無創性和可移植性而被廣泛使用[3]。當前的研究中，主要任務是準確獲得EEG信號中的P300成分[4]，P300是與認知功能相關的特殊誘發電位，基于P300的字符拼寫系統可以評估和預測個人行為[5]。
傳統的P300字符拼寫系統由計算機顯示器（computer screens，CS）、腦電儀和臺式機組成，分別用來呈現刺激范式以及采集和處理EEG信號[6]。隨著對BCI的深入研究，字符拼寫系統的性能正在不斷提升，但是眾多沉重的配件給系統的攜帶和安裝帶來困難，同時復雜的設備結構并不考慮其系統的集成度[7]，這限制了BCI的便攜性和適用范圍。如何在保證BCI系統性能的基礎上增加其便攜性，成為了BCI技術邁向實際應用亟待解決的關鍵問題。
頭戴式顯示器（head-mounted displays，HMD）提供視覺刺激可以令字符拼寫系統擺脫傳統的CS設備。Kerous等[8]實現了基于增強現實（augment reality，AR）的P300拼寫器用于雙端文本通信。研究表明，AR設備可以同時在屏幕中容納刺激界面和周圍環境，用戶觀看由攝像頭捕捉的實時視頻，然后用虛擬信息通過HMD進行增強。但是受到攝像頭視場的限制，用戶與真實世界的交互不直觀。Ke等[9]利用混合現實（mixed reality，MR）設備呈現穩態視覺誘發電位范式控制機械臂。研究發現，MR設備中用戶對真實世界的第一人稱視圖被半透明屏幕上顯示的虛擬信息增強，真實世界的物體直接通過透鏡傳入人眼，沒有視覺偏差且分辨率極高。目前，基于MR的Hololens2設備呈現P300刺激范式的系統性能仍需探究。
腦電采集設備通常為了信號的采集精度而犧牲體積[10]。Neuroscan腦電系統（Neuroscan，美國）是業界最先進、應用最普遍的腦電采集設備之一[11]，但是它配有沉重的電源和放大器，成為了便攜式BCI系統的阻礙。此外，用于信號處理的計算機也不利于攜帶。因此，腦電采集和信號處理設備的選擇成為了實現系統便攜性的重要問題。
針對以上問題，本文提出了一種基于Hololens2的可穿戴式P300字符拼寫系統（MR-BCI），系統包括Hololens2（Microsoft，美國）、OpenBCI開發板（OpenBCI，美國）和Jetson Nano嵌入式計算機（NVIDIA，美國）等硬件，以及實時識別EEG的分類方法。系統使用體積小、重量輕的OpenBCI對EEG進行采集，Frey[12]使用OpenBCI與高精度放大器設備進行比較發現，兩者采集的信號精度較為接近。Jetson Nano嵌入式計算機可對數據進行記錄和處理，而針對其算力而改進的輕量化EEG實時分類方法可滿足本系統的運算需求，提高了開發系統硬件環境下的局限性。
1 系統設計
1.1 系統范式設計
范式由6×6的矩陣組成，六個綠色正方形圖片為一組，覆蓋在當次強化字符的上面。為了避免鄰接閃爍[13]，實驗設計了真實和虛擬兩個字符矩陣。真實矩陣（見圖1a）按照字符順序進行排列；虛擬矩陣（見圖1b）將字符順序完全打亂，將原本相鄰的兩個字符的位置盡可能放遠，形成一個新的矩陣。虛擬矩陣中行和列的每一次閃爍，都相當于真實矩陣中不相鄰的六個圖片閃爍。
圖1
P300范式
a. 真實矩陣；b. 虛擬矩陣；c. MR-BCI系統中的范式；d. MR-BCI 視場角
Figure1. P300-speller paradigma. actual matrix; b. virtual matrix; c. paradigm in MR-BCI; d. field angle in MR-BCI
為了探究MR-BCI和CS-BCI系統之間的差異，范式分別呈現在微軟Hololens2設備（2 K分辨率，60 Hz刷新率）和計算機顯示器（華碩VA24 DCP，23.8英寸，60 Hz刷新率）上。MR-BCI系統中，范式由Unity3D引擎設計，背景和字符分別設置為透明和白色（見圖1c）；CS-BCI系統的范式由E-prime軟件生成，背景和字符分別為黑色和灰色。矩陣的水平視場角為28°，垂直視場角為24.4°（見圖1d）。
1.2 系統識別算法設計
傳統的卷積神經網絡（convolutional neural networks，CNN）層數較深容易過多地學到數據間的細節特征，同時深層的CNN在數據分析的過程中對計算機的性能要求較高[14]。因此本文基于CNN提出一種參數量少的輕量化P300識別方法，不僅能夠避免深度網絡訓練小數據集時出現過擬合現象，而且能夠使低算力的嵌入式計算機得以實時處理EEG數據。
首先對數據進行預處理，使用四階巴特沃斯帶通濾波器去除信號的噪聲和偽跡，截止頻率為0.1～30 Hz。對當前標簽的–200～800 ms的數據進行截斷，使用前200 ms的數據進行基線校正。為了更好地識別特征間的差異，使用目標和非目標刺激之間差異的參數（通常用r2表示）衡量系統性能。根據r2值的結果，提取刺激開始后100～700 ms的腦電數據作為特征向量的時間窗口，對數據進行降采樣處理，每3個數據選取1個。特征向量的大小為200 × 7，輸入網絡的數據尺寸為57 600 × 200 × 7。
特征提取模塊由兩個部分組成，每個部分都有一個卷積層用于提取信號的抽象特性。卷積層的卷積核大小分別為1 × 70和7 × 1，用以提取EEG信號的時域和空域特征。為了加快模型的收斂速度，在第一個卷積層和整流層中間加入批歸一化層。每個卷積層都有一個ReLU激活函數將小于0的特征變為0，以降低計算復雜度。特征提取后，使用全連接層進行線性展開，Softmax層用于計算P300出現的概率，使用交叉熵來判定實際輸出與期望輸出的接近程度（見圖2）。
圖2
CNN網絡模型
Figure2.
CNN network model
2 系統測試
2.1 受試者
本研究從長春理工大學本科生和研究生中招募16名志愿者，包括11名男性和5名女性，年齡22～26歲。所有受試者的母語都為漢語，都熟悉范式中使用的西方字符，且均無視力或聽力障礙。
2.2 實驗過程
首先搭建MR-BCI系統和CS-BCI系統。MR-BCI系統的設備間通過無線Wifi連接。Hololens2生成的標簽通過UDP從Hololens2的WiFi模塊發送到OpenBCI，使用Wifi模塊將采集到的EEG數據和標簽傳輸到Jetson Nano進行處理，然后將結果反饋到Hololens2設備（見圖3a）。CS-BCI系統的設備間通過有線局域網（local area network，LAN）連接。CS生成的標簽發送到NeuroScan放大器，放大器對信號進行采集后將數據和標簽發送到臺式機，臺式機進行信號處理和分析后將結果反饋給CS設備輸出字符（見圖3b）。
圖3
實驗中系統硬件結構
a. MR-BCI系統；b. CS-BCI系統
Figure3. The system hardware structure in the experimenta. MR-BCI system; b. CS-BCI system
在電極選擇的過程中，Hololens2背部的電池會遮擋頭部較小的受試者的枕葉區域，影響枕葉信號的采集（見圖4a-b）。MR-BCI和CS-BCI實驗分別記錄F3、Fz、F4、C3、Cz、C4和Pz處7個通道的數據，接地電極為AFz，右側乳突放置參考電極。考慮到受試者的舒適度，本研究未使用水平和垂直眼電（見圖4c）。信號的采樣率為1 000 Hz，帶通濾波0.1～100 Hz。CS-BCI實驗中，受試者的眼睛與CS設備保持70 cm的距離；MR-BCI實驗中，需要將Hololens2佩戴于腦電帽的外部。
圖4
電極選擇
a. 設備佩戴背視圖；b. 設備佩戴側視圖；c. 電極位置
Figure4. Electrode selectiona. device wearing back view; b. device wearing side view; c. electrode position
離線實驗過程中，受試者分別對MR-BCI和CS-BCI系統進行實驗，共進行2組實驗。每6個矩形的閃爍被稱為子試驗。其中包含和不包含目標字符的閃爍分別被定義為目標子試驗和非目標子試驗。一組實驗共閃爍10個序列，每個序列有15次試驗，每12次閃爍稱為一次試驗，一次試驗包含2個目標子試驗和10個非目標子試驗。每次閃爍綠色圖片的呈現時間為100 ms，刺激時間間隔為75 ms（見圖5）。
圖5
實驗過程
Figure5.
Experimental process
2.3 系統性能評估指標
為了分析EEG信號中可能包含的P300部分，本文利用r2值對時間窗口進行選擇，見式（1）：
 |
其中N1和N2分別代表目標和非目標刺激的樣本量；x1和x2分別代表目標和非目標刺激的特征向量，特征向量大小用PN × CN表示，PN表示所選時間窗口內的樣本點，CN表示通道數。
受試者的字符識別準確率是評價BCI系統真實性能的重要指標，計算公式（2）如下：
 |
其中TP為預測為正的正樣本，TN為預測為負的負樣本，FP為預測為正的負樣本，FN為預測為負的正樣本。
采用信息傳輸速率（information transfer rate，ITR）評估BCI系統的通信性能[15]，見式（3）：
 |
其中P表示識別字符正確率，T表示識別字符所需的時間，N表示目標刺激的數量（N = 36）。
3 系統性能與結果分析
3.1 ERPs結果與分析
ERP反映了認知過程中大腦神經電生理的變化，分析ERP波形能鎖時性地反映認知的動態過程。圖6顯示了MR-BCI和CS-BCI系統目標刺激誘發的ERP成分。在300～500 ms內出現正峰值，被確定為P300成分。結果顯示，MR-BCI系統誘發的P300振幅高于CS-BCI。我們認為該結果是由于視覺異常刺激的定向反應和與認知相關的附加效應所造成的。MR-BCI增加了認知任務中的“新穎性”，使受試者能夠積極地處理信息從而誘發更明顯的P300成分。
圖6
MR-BCI和CS-BCI中目標（T）和非目標（F）刺激誘發的疊加平均波形
Figure6.
Superimposed grand-averaged waveforms induced by target (T) and non-target (F) stimuli in MR-BCI and CS-BCI
100～200 ms、200～350 ms之間分別觀察到一個具有負峰值和正峰值的ERP波形，我們認為是N1、P2成分，N1、P2受空間注意力的影響進行反應識別加工。Gao等[16]研究了ERP對三維（3 dimensional，3D）物體透視圖的二維（2 dimensional，2D）渲染反應，發現3D對象誘發的N1、P2振幅更大。Cauquil[17]將2D和3D刺激誘發的ERP進行比較，發現3D誘發的N1、P2振幅明顯大于2D。Cattan[18]通過在VR和CS環境中呈現P300范式的比較發現，VR設備能引起更大更寬的P2。因此我們認為，MR-BCI系統中N1、P2成分的產生與Hololens2的3D成像方式有關。Hololens具有空間信息顯示的特性，可能會使受試者對空間信息識別和編碼的效率更高，從而誘發更大振幅的N1、P2成分。對比分析發現，CS-BCI系統能觀察到N1、P2的趨勢，但是并不明顯。
ERP特征差異主要存在于兩個系統間的100～500 ms范圍內，可以觀察到在170～220 ms之間，MR-BCI系統的r2值達到最低，有明顯的負偏轉；在350～500 ms之間，MR-BCI系統的r2值大于CS-BCI（見圖7）。結果表明，MR-BCI的r2值更高，MR-BCI在時間序列上相較于CS-BCI約有50 ms的延遲，證明系統內目標和非目標刺激存在差異。
圖7
CS-BCI與MR-BCI系統的r2值
Figure7.
r2 values of CS-BCI and MR-BCI systems
3.2 系統性能分析
由于EEG信號的信噪比低，若要保證系統的穩定性就要對受試者進行重復刺激，但是增加刺激次數會降低字符的輸出速度。系統的疊加次數應該兼顧其準確性和字符輸出速度，因此本文對所有受試者在兩個系統中的平均準確率進行了分析（見圖8）。數據經過1～15次疊加平均，采用4折交叉驗證的方法驗證每名受試者的準確率。結果顯示，在MR-BCI和CS-BCI系統中，經過3次疊加的平均準確率分別為84.1%和82.8%，經過5次疊加的平均準確率分別為95.3%和93.6%，經過15次疊加的平均準確率分別為98.8%和98.9%。結果表明，準確率隨疊加次數的增加而增大，由于經過5次疊加的準確率均超過90%，所以我們認為5次試驗系統能夠在疊加次數較少的基礎上達到較為穩定的準確率。
圖8
所有受試者在MR-BCI和CS-BCI系統的平均準確率和標準差
Figure8.
Mean accuracy and standard deviation of all subjects in MR-BCI and CS-BCI systems
標準差可以衡量數據與其平均值之間的差異，為了評估系統的穩定性，我們分別計算了兩個系統的標準差（見圖8）。結果顯示，MR-BCI和CS-BCI的準確率經過5次疊加的標準差分別為8.74%和8.11%，經過15次疊加的標準差分別為4.78%和4.49%。結果表明，CS-BCI系統的穩定性高于MR-BCI，同時隨著疊加次數的增加，標準差逐漸減小，系統的穩定性得以提高。
為了對本文提出的CNN模型性能進行測試和分析，圖9比較了CNN、核函數支持向量機（support vector machines，SVM）和Fisher判別分析（functional linear discriminant analysis，FLDA）的平均準確率。結果顯示，MR-BCI和CS-BCI系統經過5次疊加，CNN的平均準確率為95.3%和93.6%，核函數SVM的平均準確率為89.3%和87.3%，FLDA的平均準率為85.9%和82.2%。在同時使用本文提出的CNN方法進行分類的情況下，MR-BCI比CS-BCI的準確率提高了1.7%。本系統提出的CNN方法的準確率要高于兩種傳統的機器學習方法，實驗證明本方法適用于處理小數據集，模型具有更快的擬合速度。
圖9
三種分類方法在不同疊加次數的平均準確率
Figure9.
Average accuracy of three classification methods in different stack folds
為了對系統的可靠性進行評估，對每名受試者每次試驗的前5次疊加平均執行留一法策略。圖10表明，MR-BCI和CS-BCI系統使用CNN方法的平均識別準確率分別為92.03%和90.78%。實驗結果表明盡管交叉驗證集有所不同，但性能是穩定的。實驗結束后對受試者的感受進行統計，兩名受試者在實驗結束后反映同時佩戴視力矯正眼鏡和MR眼鏡有明顯的不適感；兩名受試者反映長時間佩戴MR眼鏡易產生疲勞，導致實驗后期注意力有所下降；一名受試者表示開始佩戴MR眼鏡時會有短暫的眩暈感。實驗結果表明，兩個系統在個體間的差異不大，大部分受試者被MR環境的視覺刺激所吸引，但是長時間的視覺刺激易引起視覺疲勞。
圖10
留一法驗證MR-BCI和CS-BCI的準確率
Figure10.
The accuracy of MR-BCI and CS-BCI was verified by Leave-One-Out Cross Validation
3.3 系統的實時性分析
對系統的測試發現，由于MR-BCI和CS-BCI系統的數據傳輸方式有差異，導致MR-BCI系統存在延時抖動，我們通過獲取時間戳做差值的方法計算出Hololens2與腦電采集設備之間的無線傳輸時間誤差約為50 ms。這使得MR-BCI數據采集的過程不穩定，致使數據質量降低且與CS-BCI系統數據具有相位差異。根據r2值的結果調整特征提取的時間范圍，可以有效地提高無線傳輸延時抖動引發的ERP成分出現晚的問題，同時可以防止模型過多地學習無效特征。離線實驗后又對系統進行了在線測試，在線實驗要求每名受試者拼寫10個字符，每個字符進行5次試驗。結果顯示MR-BCI系統的在線準確率和ITR分別為95.2%和27.3 bit/min，相較CS-BCI分別提高了1.4%和0.7 bit/min，兩個系統在線實驗的性能相似。
表1[18-23]為HMD呈現P300范式的相關研究，大部分文獻僅采用HMD作為范式呈現設備來提高便攜性，但是沒有開發出真正的可穿戴式BCI系統。本研究分別從設備、正確率、輸出速度等方面與文獻比較。受試者數量決定系統的普適性，通道數量決定受試者的舒適度，本研究的受試者數量較多，同時使用的電極數量較少。本文使用輕量化CNN優化了文獻中使用的傳統機器學習分類方法。
表1
HMD呈現P300范式的文獻信息
Table1.
HMD presents literature information on the P300 paradigm
4 結論
本研究以Hololens2作為范式呈現設備、OpenBCI作為腦電采集設備、Jetson Nano嵌入式計算機作為數據處理設備設計了一套可穿戴的P300字符拼寫系統，并與傳統的CS-BCI系統進行比較。與CS-BCI相比，MR-BCI系統的分類準確率和ITR相近并且有所提高。同時本系統提出了一種適用于小數據集的CNN分類方法，該方法可以應用到低算力的嵌入式計算機中。本文設計的可穿戴式MR-BCI與文獻中HMD結合P300的BCI系統相比具有較高的性能。未來，MR-BCI系統將結合更多的外部設備用于輔助殘疾患者與外部世界進行溝通。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：李奇主要負責實驗指導、數據處理和分析指導以及論文審閱修訂；張庭嘉主要負責實驗設計、數據處理和分析以及初稿撰寫；宋雨和劉玉龍主要負責統籌項目推進、數據分析指導、論文審閱修訂以及設備支持；孫美琪主要負責數據采集以及論文審閱修訂。
倫理聲明：本研究通過了長春理工大學倫理委員會的審批。
0 引言
腦機接口（brain-computer interface，BCI）是一種允許用戶在不需要任何肌肉活動的情況下與環境進行交互的技術[1]。BCI系統常用的方法是通過對所識別特定任務的腦電圖（electroencephalography，EEG）進行特征提取后，將它轉換成驅動指令來控制輸出[2]，并且由于EEG具有較高的時間分辨率、無創性和可移植性而被廣泛使用[3]。當前的研究中，主要任務是準確獲得EEG信號中的P300成分[4]，P300是與認知功能相關的特殊誘發電位，基于P300的字符拼寫系統可以評估和預測個人行為[5]。
傳統的P300字符拼寫系統由計算機顯示器（computer screens，CS）、腦電儀和臺式機組成，分別用來呈現刺激范式以及采集和處理EEG信號[6]。隨著對BCI的深入研究，字符拼寫系統的性能正在不斷提升，但是眾多沉重的配件給系統的攜帶和安裝帶來困難，同時復雜的設備結構并不考慮其系統的集成度[7]，這限制了BCI的便攜性和適用范圍。如何在保證BCI系統性能的基礎上增加其便攜性，成為了BCI技術邁向實際應用亟待解決的關鍵問題。
頭戴式顯示器（head-mounted displays，HMD）提供視覺刺激可以令字符拼寫系統擺脫傳統的CS設備。Kerous等[8]實現了基于增強現實（augment reality，AR）的P300拼寫器用于雙端文本通信。研究表明，AR設備可以同時在屏幕中容納刺激界面和周圍環境，用戶觀看由攝像頭捕捉的實時視頻，然后用虛擬信息通過HMD進行增強。但是受到攝像頭視場的限制，用戶與真實世界的交互不直觀。Ke等[9]利用混合現實（mixed reality，MR）設備呈現穩態視覺誘發電位范式控制機械臂。研究發現，MR設備中用戶對真實世界的第一人稱視圖被半透明屏幕上顯示的虛擬信息增強，真實世界的物體直接通過透鏡傳入人眼，沒有視覺偏差且分辨率極高。目前，基于MR的Hololens2設備呈現P300刺激范式的系統性能仍需探究。
腦電采集設備通常為了信號的采集精度而犧牲體積[10]。Neuroscan腦電系統（Neuroscan，美國）是業界最先進、應用最普遍的腦電采集設備之一[11]，但是它配有沉重的電源和放大器，成為了便攜式BCI系統的阻礙。此外，用于信號處理的計算機也不利于攜帶。因此，腦電采集和信號處理設備的選擇成為了實現系統便攜性的重要問題。
針對以上問題，本文提出了一種基于Hololens2的可穿戴式P300字符拼寫系統（MR-BCI），系統包括Hololens2（Microsoft，美國）、OpenBCI開發板（OpenBCI，美國）和Jetson Nano嵌入式計算機（NVIDIA，美國）等硬件，以及實時識別EEG的分類方法。系統使用體積小、重量輕的OpenBCI對EEG進行采集，Frey[12]使用OpenBCI與高精度放大器設備進行比較發現，兩者采集的信號精度較為接近。Jetson Nano嵌入式計算機可對數據進行記錄和處理，而針對其算力而改進的輕量化EEG實時分類方法可滿足本系統的運算需求，提高了開發系統硬件環境下的局限性。
1 系統設計
1.1 系統范式設計
范式由6×6的矩陣組成，六個綠色正方形圖片為一組，覆蓋在當次強化字符的上面。為了避免鄰接閃爍[13]，實驗設計了真實和虛擬兩個字符矩陣。真實矩陣（見圖1a）按照字符順序進行排列；虛擬矩陣（見圖1b）將字符順序完全打亂，將原本相鄰的兩個字符的位置盡可能放遠，形成一個新的矩陣。虛擬矩陣中行和列的每一次閃爍，都相當于真實矩陣中不相鄰的六個圖片閃爍。
圖1
P300范式
a. 真實矩陣；b. 虛擬矩陣；c. MR-BCI系統中的范式；d. MR-BCI 視場角
Figure1. P300-speller paradigma. actual matrix; b. virtual matrix; c. paradigm in MR-BCI; d. field angle in MR-BCI
為了探究MR-BCI和CS-BCI系統之間的差異，范式分別呈現在微軟Hololens2設備（2 K分辨率，60 Hz刷新率）和計算機顯示器（華碩VA24 DCP，23.8英寸，60 Hz刷新率）上。MR-BCI系統中，范式由Unity3D引擎設計，背景和字符分別設置為透明和白色（見圖1c）；CS-BCI系統的范式由E-prime軟件生成，背景和字符分別為黑色和灰色。矩陣的水平視場角為28°，垂直視場角為24.4°（見圖1d）。
1.2 系統識別算法設計
傳統的卷積神經網絡（convolutional neural networks，CNN）層數較深容易過多地學到數據間的細節特征，同時深層的CNN在數據分析的過程中對計算機的性能要求較高[14]。因此本文基于CNN提出一種參數量少的輕量化P300識別方法，不僅能夠避免深度網絡訓練小數據集時出現過擬合現象，而且能夠使低算力的嵌入式計算機得以實時處理EEG數據。
首先對數據進行預處理，使用四階巴特沃斯帶通濾波器去除信號的噪聲和偽跡，截止頻率為0.1～30 Hz。對當前標簽的–200～800 ms的數據進行截斷，使用前200 ms的數據進行基線校正。為了更好地識別特征間的差異，使用目標和非目標刺激之間差異的參數（通常用r2表示）衡量系統性能。根據r2值的結果，提取刺激開始后100～700 ms的腦電數據作為特征向量的時間窗口，對數據進行降采樣處理，每3個數據選取1個。特征向量的大小為200 × 7，輸入網絡的數據尺寸為57 600 × 200 × 7。
特征提取模塊由兩個部分組成，每個部分都有一個卷積層用于提取信號的抽象特性。卷積層的卷積核大小分別為1 × 70和7 × 1，用以提取EEG信號的時域和空域特征。為了加快模型的收斂速度，在第一個卷積層和整流層中間加入批歸一化層。每個卷積層都有一個ReLU激活函數將小于0的特征變為0，以降低計算復雜度。特征提取后，使用全連接層進行線性展開，Softmax層用于計算P300出現的概率，使用交叉熵來判定實際輸出與期望輸出的接近程度（見圖2）。
圖2
CNN網絡模型
Figure2.
CNN network model
2 系統測試
2.1 受試者
本研究從長春理工大學本科生和研究生中招募16名志愿者，包括11名男性和5名女性，年齡22～26歲。所有受試者的母語都為漢語，都熟悉范式中使用的西方字符，且均無視力或聽力障礙。
2.2 實驗過程
首先搭建MR-BCI系統和CS-BCI系統。MR-BCI系統的設備間通過無線Wifi連接。Hololens2生成的標簽通過UDP從Hololens2的WiFi模塊發送到OpenBCI，使用Wifi模塊將采集到的EEG數據和標簽傳輸到Jetson Nano進行處理，然后將結果反饋到Hololens2設備（見圖3a）。CS-BCI系統的設備間通過有線局域網（local area network，LAN）連接。CS生成的標簽發送到NeuroScan放大器，放大器對信號進行采集后將數據和標簽發送到臺式機，臺式機進行信號處理和分析后將結果反饋給CS設備輸出字符（見圖3b）。
圖3
實驗中系統硬件結構
a. MR-BCI系統；b. CS-BCI系統
Figure3. The system hardware structure in the experimenta. MR-BCI system; b. CS-BCI system
在電極選擇的過程中，Hololens2背部的電池會遮擋頭部較小的受試者的枕葉區域，影響枕葉信號的采集（見圖4a-b）。MR-BCI和CS-BCI實驗分別記錄F3、Fz、F4、C3、Cz、C4和Pz處7個通道的數據，接地電極為AFz，右側乳突放置參考電極。考慮到受試者的舒適度，本研究未使用水平和垂直眼電（見圖4c）。信號的采樣率為1 000 Hz，帶通濾波0.1～100 Hz。CS-BCI實驗中，受試者的眼睛與CS設備保持70 cm的距離；MR-BCI實驗中，需要將Hololens2佩戴于腦電帽的外部。
圖4
電極選擇
a. 設備佩戴背視圖；b. 設備佩戴側視圖；c. 電極位置
Figure4. Electrode selectiona. device wearing back view; b. device wearing side view; c. electrode position
離線實驗過程中，受試者分別對MR-BCI和CS-BCI系統進行實驗，共進行2組實驗。每6個矩形的閃爍被稱為子試驗。其中包含和不包含目標字符的閃爍分別被定義為目標子試驗和非目標子試驗。一組實驗共閃爍10個序列，每個序列有15次試驗，每12次閃爍稱為一次試驗，一次試驗包含2個目標子試驗和10個非目標子試驗。每次閃爍綠色圖片的呈現時間為100 ms，刺激時間間隔為75 ms（見圖5）。
圖5
實驗過程
Figure5.
Experimental process
2.3 系統性能評估指標
為了分析EEG信號中可能包含的P300部分，本文利用r2值對時間窗口進行選擇，見式（1）：
|
其中N1和N2分別代表目標和非目標刺激的樣本量；x1和x2分別代表目標和非目標刺激的特征向量，特征向量大小用PN × CN表示，PN表示所選時間窗口內的樣本點，CN表示通道數。
受試者的字符識別準確率是評價BCI系統真實性能的重要指標，計算公式（2）如下：
|
其中TP為預測為正的正樣本，TN為預測為負的負樣本，FP為預測為正的負樣本，FN為預測為負的正樣本。
采用信息傳輸速率（information transfer rate，ITR）評估BCI系統的通信性能[15]，見式（3）：
|
其中P表示識別字符正確率，T表示識別字符所需的時間，N表示目標刺激的數量（N = 36）。
3 系統性能與結果分析
3.1 ERPs結果與分析
ERP反映了認知過程中大腦神經電生理的變化，分析ERP波形能鎖時性地反映認知的動態過程。圖6顯示了MR-BCI和CS-BCI系統目標刺激誘發的ERP成分。在300～500 ms內出現正峰值，被確定為P300成分。結果顯示，MR-BCI系統誘發的P300振幅高于CS-BCI。我們認為該結果是由于視覺異常刺激的定向反應和與認知相關的附加效應所造成的。MR-BCI增加了認知任務中的“新穎性”，使受試者能夠積極地處理信息從而誘發更明顯的P300成分。
圖6
MR-BCI和CS-BCI中目標（T）和非目標（F）刺激誘發的疊加平均波形
Figure6.
Superimposed grand-averaged waveforms induced by target (T) and non-target (F) stimuli in MR-BCI and CS-BCI
100～200 ms、200～350 ms之間分別觀察到一個具有負峰值和正峰值的ERP波形，我們認為是N1、P2成分，N1、P2受空間注意力的影響進行反應識別加工。Gao等[16]研究了ERP對三維（3 dimensional，3D）物體透視圖的二維（2 dimensional，2D）渲染反應，發現3D對象誘發的N1、P2振幅更大。Cauquil[17]將2D和3D刺激誘發的ERP進行比較，發現3D誘發的N1、P2振幅明顯大于2D。Cattan[18]通過在VR和CS環境中呈現P300范式的比較發現，VR設備能引起更大更寬的P2。因此我們認為，MR-BCI系統中N1、P2成分的產生與Hololens2的3D成像方式有關。Hololens具有空間信息顯示的特性，可能會使受試者對空間信息識別和編碼的效率更高，從而誘發更大振幅的N1、P2成分。對比分析發現，CS-BCI系統能觀察到N1、P2的趨勢，但是并不明顯。
ERP特征差異主要存在于兩個系統間的100～500 ms范圍內，可以觀察到在170～220 ms之間，MR-BCI系統的r2值達到最低，有明顯的負偏轉；在350～500 ms之間，MR-BCI系統的r2值大于CS-BCI（見圖7）。結果表明，MR-BCI的r2值更高，MR-BCI在時間序列上相較于CS-BCI約有50 ms的延遲，證明系統內目標和非目標刺激存在差異。
圖7
CS-BCI與MR-BCI系統的r2值
Figure7.
r2 values of CS-BCI and MR-BCI systems
3.2 系統性能分析
由于EEG信號的信噪比低，若要保證系統的穩定性就要對受試者進行重復刺激，但是增加刺激次數會降低字符的輸出速度。系統的疊加次數應該兼顧其準確性和字符輸出速度，因此本文對所有受試者在兩個系統中的平均準確率進行了分析（見圖8）。數據經過1～15次疊加平均，采用4折交叉驗證的方法驗證每名受試者的準確率。結果顯示，在MR-BCI和CS-BCI系統中，經過3次疊加的平均準確率分別為84.1%和82.8%，經過5次疊加的平均準確率分別為95.3%和93.6%，經過15次疊加的平均準確率分別為98.8%和98.9%。結果表明，準確率隨疊加次數的增加而增大，由于經過5次疊加的準確率均超過90%，所以我們認為5次試驗系統能夠在疊加次數較少的基礎上達到較為穩定的準確率。
圖8
所有受試者在MR-BCI和CS-BCI系統的平均準確率和標準差
Figure8.
Mean accuracy and standard deviation of all subjects in MR-BCI and CS-BCI systems
標準差可以衡量數據與其平均值之間的差異，為了評估系統的穩定性，我們分別計算了兩個系統的標準差（見圖8）。結果顯示，MR-BCI和CS-BCI的準確率經過5次疊加的標準差分別為8.74%和8.11%，經過15次疊加的標準差分別為4.78%和4.49%。結果表明，CS-BCI系統的穩定性高于MR-BCI，同時隨著疊加次數的增加，標準差逐漸減小，系統的穩定性得以提高。
為了對本文提出的CNN模型性能進行測試和分析，圖9比較了CNN、核函數支持向量機（support vector machines，SVM）和Fisher判別分析（functional linear discriminant analysis，FLDA）的平均準確率。結果顯示，MR-BCI和CS-BCI系統經過5次疊加，CNN的平均準確率為95.3%和93.6%，核函數SVM的平均準確率為89.3%和87.3%，FLDA的平均準率為85.9%和82.2%。在同時使用本文提出的CNN方法進行分類的情況下，MR-BCI比CS-BCI的準確率提高了1.7%。本系統提出的CNN方法的準確率要高于兩種傳統的機器學習方法，實驗證明本方法適用于處理小數據集，模型具有更快的擬合速度。
圖9
三種分類方法在不同疊加次數的平均準確率
Figure9.
Average accuracy of three classification methods in different stack folds
為了對系統的可靠性進行評估，對每名受試者每次試驗的前5次疊加平均執行留一法策略。圖10表明，MR-BCI和CS-BCI系統使用CNN方法的平均識別準確率分別為92.03%和90.78%。實驗結果表明盡管交叉驗證集有所不同，但性能是穩定的。實驗結束后對受試者的感受進行統計，兩名受試者在實驗結束后反映同時佩戴視力矯正眼鏡和MR眼鏡有明顯的不適感；兩名受試者反映長時間佩戴MR眼鏡易產生疲勞，導致實驗后期注意力有所下降；一名受試者表示開始佩戴MR眼鏡時會有短暫的眩暈感。實驗結果表明，兩個系統在個體間的差異不大，大部分受試者被MR環境的視覺刺激所吸引，但是長時間的視覺刺激易引起視覺疲勞。
圖10
留一法驗證MR-BCI和CS-BCI的準確率
Figure10.
The accuracy of MR-BCI and CS-BCI was verified by Leave-One-Out Cross Validation
3.3 系統的實時性分析
對系統的測試發現，由于MR-BCI和CS-BCI系統的數據傳輸方式有差異，導致MR-BCI系統存在延時抖動，我們通過獲取時間戳做差值的方法計算出Hololens2與腦電采集設備之間的無線傳輸時間誤差約為50 ms。這使得MR-BCI數據采集的過程不穩定，致使數據質量降低且與CS-BCI系統數據具有相位差異。根據r2值的結果調整特征提取的時間范圍，可以有效地提高無線傳輸延時抖動引發的ERP成分出現晚的問題，同時可以防止模型過多地學習無效特征。離線實驗后又對系統進行了在線測試，在線實驗要求每名受試者拼寫10個字符，每個字符進行5次試驗。結果顯示MR-BCI系統的在線準確率和ITR分別為95.2%和27.3 bit/min，相較CS-BCI分別提高了1.4%和0.7 bit/min，兩個系統在線實驗的性能相似。
表1[18-23]為HMD呈現P300范式的相關研究，大部分文獻僅采用HMD作為范式呈現設備來提高便攜性，但是沒有開發出真正的可穿戴式BCI系統。本研究分別從設備、正確率、輸出速度等方面與文獻比較。受試者數量決定系統的普適性，通道數量決定受試者的舒適度，本研究的受試者數量較多，同時使用的電極數量較少。本文使用輕量化CNN優化了文獻中使用的傳統機器學習分類方法。
表1
HMD呈現P300范式的文獻信息
Table1.
HMD presents literature information on the P300 paradigm
4 結論
本研究以Hololens2作為范式呈現設備、OpenBCI作為腦電采集設備、Jetson Nano嵌入式計算機作為數據處理設備設計了一套可穿戴的P300字符拼寫系統，并與傳統的CS-BCI系統進行比較。與CS-BCI相比，MR-BCI系統的分類準確率和ITR相近并且有所提高。同時本系統提出了一種適用于小數據集的CNN分類方法，該方法可以應用到低算力的嵌入式計算機中。本文設計的可穿戴式MR-BCI與文獻中HMD結合P300的BCI系統相比具有較高的性能。未來，MR-BCI系統將結合更多的外部設備用于輔助殘疾患者與外部世界進行溝通。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：李奇主要負責實驗指導、數據處理和分析指導以及論文審閱修訂；張庭嘉主要負責實驗設計、數據處理和分析以及初稿撰寫；宋雨和劉玉龍主要負責統籌項目推進、數據分析指導、論文審閱修訂以及設備支持；孫美琪主要負責數據采集以及論文審閱修訂。
倫理聲明：本研究通過了長春理工大學倫理委員會的審批。
