多任務運動想象腦電信號有效分類有助于實現精準的多維人機交互,充分利用受試者的高度頻域特異性可提升分類準確率和魯棒性。為此,本文提出基于自適應時頻共空間模式結合卷積神經網絡的多任務腦電信號分類方法。通過自適應頻譜感知提取受試者個性化節律特性,再采用一對多共空間模式計算空域特性,進而表征復合時域特性構建時空頻多層次融合特征,最后利用卷積神經網絡進行高精度高魯棒性四分類。本文采用包含10位受試者[(33 ± 3)歲]實測數據的自測數據集以及第四屆2018腦機接口競賽數據集2a(BCI competition Ⅳ-2a)對本文算法進行驗證,所提算法四分類平均準確率分別達到了93.96%和84.04%,且在公開數據集中本文算法相較于其它先進算法平均分類準確率明顯提高,受試者間準確率范圍誤差則大幅降低。結果表明,本文所提算法在多任務分類中表現出良好性能,能有效提高分類精度和魯棒性。
引用本文: 胡瑩, 劉燕, 程晨晨, 耿辰, 戴斌, 彭博, 朱建兵, 戴亞康. 基于自適應時頻共空間模式結合卷積神經網絡的多任務運動想象腦電分類. 生物醫學工程學雜志, 2022, 39(6): 1065-1073, 1081. doi: 10.7507/1001-5515.202206052 復制
引言
腦機接口(brain-computer interface,BCI)在游戲娛樂、工業流程、航空航天以及康復醫學工程等領域有著廣泛的應用前景[1-2]。目前,基于無創腦電圖(electroencephalogram,EEG)的運動想象(motor imagery,MI)范式以其無需長期視覺聚焦和無損害風險的優點逐漸得到了越來越多的關注[3]。為了有效擴展MI-BCI系統的輸出指令集,聚焦于左右手MI的傳統模式逐漸發展為復雜度更高的三、四任務的分類識別。其中,精準特性表征和有效分類器構建是多任務MI-EEG信號高精度解碼的關鍵。
MI-EEG信號的特征提取方法可以歸納為從時域、頻域、空域角度尋找多任務之間有區分度的信息表征[4]。其中,共空間模式(common spatial pattern,CSP)是BCI領域特征提取方法中公認效果優勢明顯并且已廣泛應用的算法之一[5]。它通過融合多通道EEG信號求取最優空間濾波器矩陣,經投影后使不同類別信號的方差最大化,從而得到空域上最具區分度的特征[6]。Lotte等[7]針對該算法對噪聲敏感且極易出現過擬合的問題提出了正則化CSP。在此基礎上,Song等[8]提出在學習過程中不斷更新兩類空間濾波器的自適應CSP,從而降低因EEG信號不平穩導致試次間差異性的不利影響。Jin等[9]提出結合EEG信號相關性的多導聯選擇算法消除在傳統CSP中可能存在的通道信息冗余。
雖然以上算法從不同角度對傳統CSP進行了改進,但是其目的仍然停留在提取更優的空域特征,沒有突破單一維度空域分析表征信息的局限性。考慮到在執行MI任務時感覺運動皮質特定頻段EEG信號振幅發生變化的現象,研究者們認為將頻域特性納入考慮是一種有效手段[10]。Ang等[11]提出濾波器組CSP(filter bank CSP,FBCSP)通過若干個帶通濾波把EEG信號劃分為窄頻帶并分別提取CSP特征,再利用互信息篩選關鍵特征納入分類器,相較于經典CSP分類精度提升了7.8%。Das等[12]通過5個自選濾波器組采用一對一(one versus one,OVO)和一對多(one versus rest,OVR)FBCSP算法結合自適應增強分類器開發了高魯棒性分類模型。Zhang等[13]采用一種基于非凸對數正則化的特征選擇方法優化FBCSP算法,在有效提高分類精度的同時提升特征提取效率。Blanco-Diaz等[14]探索了更高效的頻帶劃分方式,僅利用3個固定的最優濾波器組和最優時間段的選擇提升BCI系統的分類性能和信息傳輸率。
雖然上述算法在頻、空域有效融合方面存在一定的先進性,但是其固定的頻帶劃分方式忽略了不同受試者執行MI任務時感覺運動皮質激活頻帶響應之間的特異性。另外,子頻帶包含信息量有限,特征選擇進一步導致了相鄰頻帶相關性信息的丟失[15]。最后,從特征描述豐富性的角度考慮,包括FBCSP算法在內的改進方法都忽略了通過MI-EEG信號中豐富的時域信息可以對內在神經活動進行更直觀的表征解讀[16]。因此如果將受試者頻域特異性納入考慮,結合時、頻、空域信息對MI-EEG信號進行多層次特征提取,或可有助于為后續分類器提供有區分度的特性表征,實現分類性能的進一步提升。
另外,關于分類器的構建,支持向量機(support vector machine,SVM)和線性判別分析(linear discriminant analysis,LDA)等傳統機器學習方法被廣泛應用于MI-EEG信號的分類[17-18]。Hou等[19]融合多含義特征高階譜、熵、CSP描述大腦信號的復雜信息,結合高效特征選擇和SVM構建高精度分類模型。隨著深度學習的發展,長短期記憶網絡、門控循環單元、自動編碼器等深度網絡在BCI領域的應用也逐漸受到重視[20-21]。有研究證明,淺層卷積神經網絡(convolutional neural network,CNN)能夠充分挖掘MI-EEG信號的深層次隱含信息,其分類性能優于傳統機器學習算法以及其它深度網絡[22]。Amin等[23]提出利用多個不同深度CNN捕獲時空信息輸入多層感知機和自動編碼器進行融合分類。Lun等[24]提出采用兼具時間和空間濾波器的CNN結構,混合不同受試者運動皮層區域上電極對的原始EEG信號作為輸入實現四分類。以上端到端的深度網絡雖然取得了一定的效果,但是有效特征提取可以引入針對性更強、可靠性更高的先驗知識,幫助深度模型更好地學習輸入的內在模式。例如,Xu等[25]采用搜索樹確定最優窄帶加以CSP算法描述MI-EEG信號的動態特征,結合CNN對多任務MI-EEG信號進行頻段特征融合和高精度分類。
為解決上述問題,本研究提出基于自適應時頻CSP(adaptive time-frequency CSP,ATFCSP)結合CNN的多任務MI-EEG信號分類方法。在考慮受試者頻域差異性的同時引入空域濾波以及時域特征刻畫實現MI-EEG信號的個性化時空頻多域融合特征提取。基于CNN挖掘特征矩陣深層次隱含信息構建高效分類模型,為實現高精度高魯棒性的多任務大腦MI意圖解碼提供新方法。最后,利用自測數據集和公開數據集對本研究提出的算法性能進行評估。
1 試驗與數據
1.1 自測數據集
本研究共招募10名身體健康的志愿者,其中男性6名,女性4名,平均年齡33歲,均為右利手且無BCI經驗。所有自愿進行本試驗的受試者均已簽署書面知情同意書,本研究已通過南京大學醫學院附屬蘇州醫院倫理審查(IRB202207004RI)。EEG信號由EEG采集儀BioSemi(Active Two,Biosemi Inc.,荷蘭)記錄,64個主動電極通過電極帽固定到頭皮上,其位置排布遵循國際標準10-20系統,試驗時保證接觸阻抗在50 kΩ 以內。采樣頻率為512 Hz,用獨立的共模感應(common mode sense,CMS)電極和右腿驅動(driven right leg,DRL)電極代替接地電極,采用平均參考。
單次試驗持續時長為10 s。每次試驗開始時有1 s的準備時間,準備結束后在黑色屏幕上出現白色十字,同時響起持續500 ms的提示音提醒受試者集中注意力。白色十字持續顯示1 s消失,屏幕中央隨機出現一個上/下/左/右的箭頭,分別提示受試者進行舌頭/雙腳/左手/右手的MI任務。箭頭持續顯示2 s,消失后受試者同步開始進行時長為4 s的MI,當屏幕中重新出現白色十字時想象結束,受試者進入放松狀態等待下一次任務開始。為保證大腦得到充分休息,每個受試者的試驗分為3組進行,組間間隔1~2 d。為防止在試驗過程中出現過度視覺疲勞,每組試驗分成4個小節進行,并設置3 min閉眼休息時間。每個小節包含60次試驗,四種任務出現概率相同且順序隨機。每位受試者共計進行了60 × 4 × 3 = 720次MI試驗。
1.2 公開競賽數據集
為進一步評估算法優越性,本文采用由格拉茨工業大學知識發現研究院(Institute for Knowledge Discovery,Graz University of Technology)BCI實驗室提供的第四屆BCI競賽2a(BCI competition Ⅳ-2a)(網址為:http://www.bbci.de/competition/iv/)公開數據集進行驗證。該數據集中包含9位受試者來自22個EEG通道的四種(左手/右手/舌頭/雙腳)MI-EEG信號記錄,采樣頻率為250 Hz。每位受試者數據都分為兩組記錄,每組288次數據,分別為訓練集和測試集;每位受試者共計包含288 × 2 = 576次MI數據。
2 基于ATFCSP-CNN的MI-EEG多任務分類
基于ATFCSP-CNN的MI-EEG信號多任務分類算法主要包括預處理、特征提取和分類器構建3個模塊,具體流程圖如圖1所示。每個受試者的數據分別處理,采用五折交叉驗證策略對自測數據集進行劃分,保留訓練集的空域濾波器以及分類模型用于測試集分類。

2.1 預處理
預處理操作包括兩部分:數據準備,用于去除偽跡的不利影響;數據擴增,用于為模型訓練提供充足樣本。首先,對MI-EEG信號依次執行50 Hz陷波、帶通濾波、獨立成分分析以及基線校正操作。為提取信號有效成分同時匹配后續時頻分析二進制細分頻帶的特性,本文將帶通濾波范圍設置為0.1~32 Hz。其次,研究證明通過裁剪策略進行數據擴增可以直接影響深度學習分類模型的表現[21]。因此本文選取開始想象后的0~2 s時間段采用滑窗裁剪方式進行數據擴增,期望從早期高質量MI-EEG信號中實現運動意圖的高效解碼,為今后BCI實時系統應用提供理論基礎。本研究設置窗口寬度為1 s,以50個采樣點為滑窗步長將2 s的時間序列分割成若干段[26]。由于采樣頻率不同,自測數據集和公開數據集經滑窗裁剪后,數據分別擴增了11倍和6倍。
2.2 ATFCSP特征提取
ATFCSP特征提取包括三個步驟。首先基于小波包分解(wavelet packet decomposition,WPD)子帶信號能量分布,提取活躍頻段實現自適應頻譜感知,其次通過OVR策略擴展得到多類CSP空間濾波器,最后計算8種復合時域特征完成融合時空頻多層次信息特征表達。
2.2.1 自適應頻譜感知
本節通過WPD對經過預處理的MI-EEG信號進行時頻分析,結合基于種子生長的自適應選頻,篩選出個性化活躍狀態頻段范圍,用于捕獲MI控制相關節律信息,對篩選后的感興趣信號重建,完成自適應頻譜感知。該算法原理共包含3個步驟,如圖2所示。

步驟一:基于4層WPD的時頻分析。WPD可以對信號高頻以及低頻部分進行細致的頻帶劃分,從而提取EEG信號的近似系數和細節系數,適用于與MI任務相關頻域信息的表征[26]。WPD提供了若干類小波基,其中多貝西(Daubechies,Db)小波基常用于MI-EEG離散型信號分析[27]。本文設置濾波器長度為4,選取Db5小波對經預處理的MI-EEG信號進行4層分解,cj代表第4層第j(j = 1, 2, , 16)個節點的小波包系數。
步驟二:基于種子生長的自適應選頻。種子生長可以基于給定的生長準則形成具有特定性質的信號集合。本文利用該原理選取最大能量種子點,目標是按照既定規則對相鄰頻段子帶進行生長,提取感興趣集合 ,V中包含q個元素,其中下標
。首先定義能量系數向量
,其中節點j的能量系數Ej計算公式如式(1)所示:
![]() |
以E最大值所在節點定義種子點m,其對應的能量系數記為Em,如式(2)所示:
![]() |
以m為起始點向高頻(+)和低頻(?)方向交替進行生長,生長位移向量 ,di對應D中第i個元素,且始終滿足約束條件
,任一方向的位移超出以上范圍則停止該方向的生長。當子帶能量系數累加和達到能量閾值δ時停止所有生長。此時對應的最大位移即為邊界,其索引imax計算公式如式(3)所示:
![]() |
構建感興趣集合,V中元素為生長區域內包含的小波包系數,代表了自適應選頻篩選結果,即受試者數據中最活躍的個性化頻率成分。
步驟三:感興趣信號重建。重建V內所有小波包系數生成自適應頻譜感知信號。
通過種子生長得到感興趣頻段范圍并信號重建的過程相當于一個自適應感知輸入信號頻譜特性的濾波器,相比于固定濾波器組來說擁有更強的適應性和更優的濾波性能。生理學基礎和實驗觀察表明,活躍頻帶能量分布存在一定集中趨勢,與其它冗余子帶相比區別較大,因此本文認為將δ設置為0.90即可實現較為精準的頻段范圍篩選。δ參數尋優將在3.2節中給出實驗證明。
2.2.2 OVR-CSP空域濾波
現有研究常采取OVR策略對CSP空域濾波進行擴展實現MI-EEG信號多任務特征提取[28-29]。類比傳統算法構建兩類信號,將四分類問題轉化為4個二分類問題。定義四類自適應頻譜感知信號為 ,當
時,
。構建類別k區別于其它三類的最佳空間濾波器計算步驟如下所示。
將第k類自適應頻譜感知信號表示為X,求歸一化后的協方差矩陣Rk,如式(4)所示:
![]() |
式中,(·)T表示對矩陣轉置,trace(·)表示對矩陣求跡。計算混合空間協方差矩陣R,并對其進行特征值分解,如式(5)所示:
![]() |
式中, 分別表示四類任務的平均協方差矩陣,U為特征向量矩陣,λ為特征值矩陣。通過構造白化矩陣和主分量分解尋求最大化類別k與其它類差異的空間濾波器W,取W中包含有效特征信息的前n行和后n行對信號X投影,生成空間濾波信號Z2n × T,如式(6)所示:
![]() |
式中,n代表空間濾波器對數,本文中取值為5,N為MI-EEG信號通道數,T為總采樣點數。
2.2.3 時域特性表征
時域特征可以捕獲并整合MI-EEG信號不同時間點的非線性非平穩性信息,進一步對頻域和空域特性進行直觀信息的補充。傳統CSP計算Z2n × T每一行的方差作為最后的特征,但是將信號的時間序列濃縮為一個值,存在特征表達不夠充分的缺陷。因此,本文考慮統計Z2n × T包含方差在內的8個時域特征,豐富CSP的信息表達,包括最大值、峰值、峰峰值、均值、絕對平均值、方根幅值、方差和標準差。以方差為例求取特征向量fp,如式(7)所示:
![]() |
式中,varp代表第p行的方差,log(·)為對數運算符。將所有時域特征經上式計算并按列整合后得到類別k的特征矩陣。按照此規則依次構建其余類別的特征矩陣并拼接,即可完成融合時空頻域多重信息的ATFCSP特征矩陣構建,記為F40 × 8。
2.3 CNN信號分類
本文構建CNN分類器對融合ATFCSP特征矩陣進行四分類。CNN作為一種高效精準的分類器已經被證明可以有效改善BCI系統的性能,在多分類任務中已廣泛應用[30],CNN結構如圖3所示。結合特征矩陣F40 × 8兩個維度分別代表空域和時域信息的特點,本文采取時空可分離卷積策略對卷積核進行拆分。首先進行三層空間卷積:采用[5 × 1]、[10 × 1]、[15 × 1]三個卷積核對空間維度信息進行學習,遵循由低復雜度到高復雜度的學習規則,三個卷積核的個數分別設置為8、16、32。其次進行兩層時間卷積:設置[1 × 2]、[1 × 4]卷積核學習時間維度提供的特征,卷積核個數設置為32。連接兩個全連接層用于整合前述特征,將學習到的特征表示映射到樣本標記空間,節點數分別為100和32。最終,以歸一化指數(softmax)函數作為網絡最后一層將四個神經元的輸出映射到(0, 1)區間內進行多分類。

采用批歸一化處理防止網絡訓練過程中出現過擬合以及梯度消失問題,批處理大小為16。本文選取線性整流(rectified linear unit,ReLu)激活函數增加信號之間的稀疏性,自適應矩估計優化算法作為優化器,以初始值為的網絡學習率最小化交叉熵損失函數。訓練迭代64次,經過參數尋優設置學習率以0.9倍速率進行衰減保證前期加速收斂和后期性能穩定。網絡結構中不設置池化層降維,最大程度地保留輸入特征的原始信息。
3 實驗結果與分析
為確定算法最優參數并驗證本文所提方法的有效性,設計如下3個對比實驗:
(1) 探討δ參數對分類性能的影響,并確定最優參數。
(2) 為驗證ATFCSP特征提取算法中融合時空頻信息策略的有效性,分別對自適應頻譜感知模塊以及時域特性表征模塊進行消融開展對比實驗,并對特征進行可視化。
(3) 為進一步評估本文算法的優越性,同時保證公平公正原則消除數據質量影響,將相關實驗結果與基于相同公開數據集的先進研究結果進行對比。
3.1 評估指標
本文采用自測數據集以及BCI competition IV-2a數據集對所提方法進行驗證。四分類的準確率(accuracy,ACC)和卡帕(Kappa)系數用于分類結果評價。ACC定義為正確分類樣本數占總樣本個數的比例,可以體現預測正確的概率。Kappa系數用于評估模型預測結果與真實分布的一致性,取值在-1~1之間,越接近1表示分類模型效果越好。計算公式如式(8)~式(9)所示:
![]() |
![]() |
式中,Pa為分類ACC,也稱為觀測一致率;Pe機遇一致率;a1、a2、a3、a4分別為四類MI真實樣本的個數,b1、b2、b3、b4分別為相對應預測得到的四類樣本個數,Q為樣本總數。
3.2 δ參數對分類性能的影響
不同δ參數對種子生長自適應選頻起著不同的約束作用,從而得到不同帶寬的重建信號,它對能否獲得MI-EEG信號準確的頻域信息起著至關重要的作用。因此為討論δ參數對本算法整體分類性能的影響并確定最佳參數,本文根據先驗知識設置參數范圍為0.5~1.0,間隔為0.05,并基于兩個基準數據集中所有受試者數據開展尋優實驗,結果如圖4所示。

由圖4可知,δ為0.9的情況下,自測數據集中所有受試者的分類ACC均高于其它情況,公開數據集中6位受試者分類ACC達到了最佳,并且其它3位受試者(2、3、9)在取值0.9的條件下分類精度接近于最佳水平。因此本文確定最優參數δ取值為0.9,后續實驗都在此基礎上完成。
3.3 ATFCSP時空頻融合特征有效性分析
為驗證ATFCSP算法中自適應頻譜感知模塊以及時域特性表征模塊的有效性,說明融合時空頻多域特征表達的優勢,本文對以上兩個模塊進行消融,開展以下對比實驗:ATFCSP代表本文所提算法用于提取時空頻融合特征;自適應頻CSP(adaptive frequency-CSP,AF-CSP)代表僅加入自適應頻譜感知模塊提取頻-空域特征;時域CSP(time-CSP,T-CSP)代表僅加入時域特性表征模塊提取時-空域特征;CSP代表僅提取空域特征。以上四種特征提取方法結合CNN分類在五折交叉驗證條件下的平均ACC和標準差如圖5所示。

如圖5所示,自測數據集中受試者1、2、3、4、5、9、10數據基于本文融合特征提取方法所得分類ACC均優于其它方法。公開數據集中在本文所提方法條件下所有受試者數據的分類ACC均達到了最優。以數據集為單位,統計自測數據集中CSP、T-CSP、AF-CSP以及本文所提ATFCSP特征提取方法平均分類精度分別為88.82%、92.25%、90.05%和93.96%;公開數據集中所有受試者的平均ACC分別為79.39%、81.06%、80.21%和84.47%;t檢驗證明,P<0.05,差異具有統計學意義。這表明本文所提自適應頻譜感知模塊與時域特性表征模塊都能不同程度地提升CSP算法的分類精度,同時融合時空頻域信息的ATFCSP特征構建方法可以表現出最佳性能,充分說明了兩個模塊的有效性和必要性。
為進一步直觀展示ATFCSP特征矩陣對多任務MI-EEG信號表征信息的有效性,本文通過非線性降維模式在二維空間中可視化不同類別數據的高維特征。選取自測數據集中分類ACC最高(受試者3)和最低(受試者10)的訓練集與測試集樣本進行CSP特征以及ATFCSP特征可視化展示,如圖6所示。四種顏色的散點分別代表四類MI-EEG信號所構建的特征,若同類點集間呈團簇態,則說明該特征具有區分度。可視化結果與上文結論相符,兩名受試者的ATFCSP特征圖統一呈現聚集趨勢,相較于CSP特征類內間距減小而類間距離加大,分類ACC較高的受試者3在特征圖中四種散點區分度更加明顯。以上不同數據質量的受試者特征圖可視化可以證明本文所提算法顯著增加了MI-EEG信號四種類別數據之間的可分性。

3.4 算法性能對比
為驗證本文所提算法與現有方法相比的先進性,同時保證公平公正原則,避免因設備性能或參數設置問題導致無法在自測數據集中對現有先進研究成果進行完全復現,本研究將基于公開數據集的分類結果與競賽優勝算法以及相關先進工作進行對比。Ang等[31]在競賽獲勝算法的基礎上采用OVR策略對FBCSP進行擴展,并結合樸素貝葉斯分類器(naive Bayes classifier,NB)進行分類。Luo等[32]應用FBCSP提取空間頻率特征后,用滑動裁剪技術生成空間頻率序列輸入深度循環神經網絡(recurrent neural network,RNN)進行四分類。Liu等[33]提出基于卷積濾波器學習不同時間窗CSP特征并進行稀疏表示,通過混合神經網絡(hybrid neural network,HNN)進行分類。Altuwaijri等[16]提出多分支CNN結構,充分利用不同尺寸卷積核對原始EEG信號進行多層次時空信息挖掘。基于公開數據測試集的算法分類結果如表1所示,加粗字體表示最優指標。

由表1得知,對于受試者1、受試者2、受試者6、受試者8、受試者9,本文所提算法所有評價指標均達到了最優。9位受試者的四分類平均ACC和Kappa值分別為84.04%和0.79。其中,平均精度與文獻[32]、[33]、[16]相比均有提升,平均Kappa值與競賽優勝算法相比也有提升。受試者間ACC范圍誤差定義為最大ACC與最小ACC的差值,可衡量不同受試者之間分類性能的差異。本文算法所得ACC范圍誤差為17.92%,與文獻[32]、[33]、[16]相比均有下降。值得注意的是,以往被公認為數據質量較差的受試者2和受試者6的分類精度分別提升到了78.09%和84.25%,接近于平均水平。因此本文合理推測,特征工程中自適應頻譜感知模塊最大限度地發揮了潛在特異性頻域信息的影響,可以提升BCI能力較差的受試者數據的分類效果。綜上所述,基于ATFCSP特征提取的CNN分類方法不僅能整體提升BCI系統的分類性能,還能有效降低受試者特異性對分類效果帶來的不利影響,增強算法魯棒性。
4 結論
本文提出一種融合時空頻域信息的ATFCSP特征提取算法,時域上提取最直觀的信號幅值能量相關表征,頻域上自適應篩選受試者個性化激活頻帶范圍,空域上基于最優空間濾波器實現類間距離最大化,從多角度實現MI過程中大腦皮質神經活動信息的精細解釋和刻畫;進一步設計淺層時空分離CNN對四種MI任務進行分類,自測數據集平均分類精度達到93.96%,公開數據集平均分類精度達84.04%,相較于現有最先進水平有所提升,不同受試者分類性能之間的差異也顯著降低。
本文提出基于ATFCSP特征提取和CNN的方法在MI四分類任務中表現出良好性能,相較于現有方法表現出更高的ACC和更強的魯棒性,對實現多維光標和外部設備的精準控制有重要意義。本文所提算法仍需進一步積累數據庫進行充分驗證。另外,基于遷移學習構建多任務MI-EEG信號分類模型為克服小數據集的障礙和解決受試者特異性問題提供了一種有效途徑,這將指導本研究下一步的技術方向[34]。
重要聲明
利益沖突聲明:本文全體作者均聲明不存在利益沖突。
作者貢獻聲明:胡瑩、劉燕主要負責數據記錄與分析、算法程序與設計以及論文編寫;程晨晨、耿辰、戴斌、彭博主要負責實驗流程、協調溝通以及計劃安排;朱建兵、戴亞康主要負責項目主持、平臺搭建、提供實驗指導以及論文審閱修訂。
倫理聲明:本研究通過了南京大學醫學院附屬蘇州醫院倫理審查機構審批(批文編號:IRB202207004RI)。
引言
腦機接口(brain-computer interface,BCI)在游戲娛樂、工業流程、航空航天以及康復醫學工程等領域有著廣泛的應用前景[1-2]。目前,基于無創腦電圖(electroencephalogram,EEG)的運動想象(motor imagery,MI)范式以其無需長期視覺聚焦和無損害風險的優點逐漸得到了越來越多的關注[3]。為了有效擴展MI-BCI系統的輸出指令集,聚焦于左右手MI的傳統模式逐漸發展為復雜度更高的三、四任務的分類識別。其中,精準特性表征和有效分類器構建是多任務MI-EEG信號高精度解碼的關鍵。
MI-EEG信號的特征提取方法可以歸納為從時域、頻域、空域角度尋找多任務之間有區分度的信息表征[4]。其中,共空間模式(common spatial pattern,CSP)是BCI領域特征提取方法中公認效果優勢明顯并且已廣泛應用的算法之一[5]。它通過融合多通道EEG信號求取最優空間濾波器矩陣,經投影后使不同類別信號的方差最大化,從而得到空域上最具區分度的特征[6]。Lotte等[7]針對該算法對噪聲敏感且極易出現過擬合的問題提出了正則化CSP。在此基礎上,Song等[8]提出在學習過程中不斷更新兩類空間濾波器的自適應CSP,從而降低因EEG信號不平穩導致試次間差異性的不利影響。Jin等[9]提出結合EEG信號相關性的多導聯選擇算法消除在傳統CSP中可能存在的通道信息冗余。
雖然以上算法從不同角度對傳統CSP進行了改進,但是其目的仍然停留在提取更優的空域特征,沒有突破單一維度空域分析表征信息的局限性。考慮到在執行MI任務時感覺運動皮質特定頻段EEG信號振幅發生變化的現象,研究者們認為將頻域特性納入考慮是一種有效手段[10]。Ang等[11]提出濾波器組CSP(filter bank CSP,FBCSP)通過若干個帶通濾波把EEG信號劃分為窄頻帶并分別提取CSP特征,再利用互信息篩選關鍵特征納入分類器,相較于經典CSP分類精度提升了7.8%。Das等[12]通過5個自選濾波器組采用一對一(one versus one,OVO)和一對多(one versus rest,OVR)FBCSP算法結合自適應增強分類器開發了高魯棒性分類模型。Zhang等[13]采用一種基于非凸對數正則化的特征選擇方法優化FBCSP算法,在有效提高分類精度的同時提升特征提取效率。Blanco-Diaz等[14]探索了更高效的頻帶劃分方式,僅利用3個固定的最優濾波器組和最優時間段的選擇提升BCI系統的分類性能和信息傳輸率。
雖然上述算法在頻、空域有效融合方面存在一定的先進性,但是其固定的頻帶劃分方式忽略了不同受試者執行MI任務時感覺運動皮質激活頻帶響應之間的特異性。另外,子頻帶包含信息量有限,特征選擇進一步導致了相鄰頻帶相關性信息的丟失[15]。最后,從特征描述豐富性的角度考慮,包括FBCSP算法在內的改進方法都忽略了通過MI-EEG信號中豐富的時域信息可以對內在神經活動進行更直觀的表征解讀[16]。因此如果將受試者頻域特異性納入考慮,結合時、頻、空域信息對MI-EEG信號進行多層次特征提取,或可有助于為后續分類器提供有區分度的特性表征,實現分類性能的進一步提升。
另外,關于分類器的構建,支持向量機(support vector machine,SVM)和線性判別分析(linear discriminant analysis,LDA)等傳統機器學習方法被廣泛應用于MI-EEG信號的分類[17-18]。Hou等[19]融合多含義特征高階譜、熵、CSP描述大腦信號的復雜信息,結合高效特征選擇和SVM構建高精度分類模型。隨著深度學習的發展,長短期記憶網絡、門控循環單元、自動編碼器等深度網絡在BCI領域的應用也逐漸受到重視[20-21]。有研究證明,淺層卷積神經網絡(convolutional neural network,CNN)能夠充分挖掘MI-EEG信號的深層次隱含信息,其分類性能優于傳統機器學習算法以及其它深度網絡[22]。Amin等[23]提出利用多個不同深度CNN捕獲時空信息輸入多層感知機和自動編碼器進行融合分類。Lun等[24]提出采用兼具時間和空間濾波器的CNN結構,混合不同受試者運動皮層區域上電極對的原始EEG信號作為輸入實現四分類。以上端到端的深度網絡雖然取得了一定的效果,但是有效特征提取可以引入針對性更強、可靠性更高的先驗知識,幫助深度模型更好地學習輸入的內在模式。例如,Xu等[25]采用搜索樹確定最優窄帶加以CSP算法描述MI-EEG信號的動態特征,結合CNN對多任務MI-EEG信號進行頻段特征融合和高精度分類。
為解決上述問題,本研究提出基于自適應時頻CSP(adaptive time-frequency CSP,ATFCSP)結合CNN的多任務MI-EEG信號分類方法。在考慮受試者頻域差異性的同時引入空域濾波以及時域特征刻畫實現MI-EEG信號的個性化時空頻多域融合特征提取。基于CNN挖掘特征矩陣深層次隱含信息構建高效分類模型,為實現高精度高魯棒性的多任務大腦MI意圖解碼提供新方法。最后,利用自測數據集和公開數據集對本研究提出的算法性能進行評估。
1 試驗與數據
1.1 自測數據集
本研究共招募10名身體健康的志愿者,其中男性6名,女性4名,平均年齡33歲,均為右利手且無BCI經驗。所有自愿進行本試驗的受試者均已簽署書面知情同意書,本研究已通過南京大學醫學院附屬蘇州醫院倫理審查(IRB202207004RI)。EEG信號由EEG采集儀BioSemi(Active Two,Biosemi Inc.,荷蘭)記錄,64個主動電極通過電極帽固定到頭皮上,其位置排布遵循國際標準10-20系統,試驗時保證接觸阻抗在50 kΩ 以內。采樣頻率為512 Hz,用獨立的共模感應(common mode sense,CMS)電極和右腿驅動(driven right leg,DRL)電極代替接地電極,采用平均參考。
單次試驗持續時長為10 s。每次試驗開始時有1 s的準備時間,準備結束后在黑色屏幕上出現白色十字,同時響起持續500 ms的提示音提醒受試者集中注意力。白色十字持續顯示1 s消失,屏幕中央隨機出現一個上/下/左/右的箭頭,分別提示受試者進行舌頭/雙腳/左手/右手的MI任務。箭頭持續顯示2 s,消失后受試者同步開始進行時長為4 s的MI,當屏幕中重新出現白色十字時想象結束,受試者進入放松狀態等待下一次任務開始。為保證大腦得到充分休息,每個受試者的試驗分為3組進行,組間間隔1~2 d。為防止在試驗過程中出現過度視覺疲勞,每組試驗分成4個小節進行,并設置3 min閉眼休息時間。每個小節包含60次試驗,四種任務出現概率相同且順序隨機。每位受試者共計進行了60 × 4 × 3 = 720次MI試驗。
1.2 公開競賽數據集
為進一步評估算法優越性,本文采用由格拉茨工業大學知識發現研究院(Institute for Knowledge Discovery,Graz University of Technology)BCI實驗室提供的第四屆BCI競賽2a(BCI competition Ⅳ-2a)(網址為:http://www.bbci.de/competition/iv/)公開數據集進行驗證。該數據集中包含9位受試者來自22個EEG通道的四種(左手/右手/舌頭/雙腳)MI-EEG信號記錄,采樣頻率為250 Hz。每位受試者數據都分為兩組記錄,每組288次數據,分別為訓練集和測試集;每位受試者共計包含288 × 2 = 576次MI數據。
2 基于ATFCSP-CNN的MI-EEG多任務分類
基于ATFCSP-CNN的MI-EEG信號多任務分類算法主要包括預處理、特征提取和分類器構建3個模塊,具體流程圖如圖1所示。每個受試者的數據分別處理,采用五折交叉驗證策略對自測數據集進行劃分,保留訓練集的空域濾波器以及分類模型用于測試集分類。

2.1 預處理
預處理操作包括兩部分:數據準備,用于去除偽跡的不利影響;數據擴增,用于為模型訓練提供充足樣本。首先,對MI-EEG信號依次執行50 Hz陷波、帶通濾波、獨立成分分析以及基線校正操作。為提取信號有效成分同時匹配后續時頻分析二進制細分頻帶的特性,本文將帶通濾波范圍設置為0.1~32 Hz。其次,研究證明通過裁剪策略進行數據擴增可以直接影響深度學習分類模型的表現[21]。因此本文選取開始想象后的0~2 s時間段采用滑窗裁剪方式進行數據擴增,期望從早期高質量MI-EEG信號中實現運動意圖的高效解碼,為今后BCI實時系統應用提供理論基礎。本研究設置窗口寬度為1 s,以50個采樣點為滑窗步長將2 s的時間序列分割成若干段[26]。由于采樣頻率不同,自測數據集和公開數據集經滑窗裁剪后,數據分別擴增了11倍和6倍。
2.2 ATFCSP特征提取
ATFCSP特征提取包括三個步驟。首先基于小波包分解(wavelet packet decomposition,WPD)子帶信號能量分布,提取活躍頻段實現自適應頻譜感知,其次通過OVR策略擴展得到多類CSP空間濾波器,最后計算8種復合時域特征完成融合時空頻多層次信息特征表達。
2.2.1 自適應頻譜感知
本節通過WPD對經過預處理的MI-EEG信號進行時頻分析,結合基于種子生長的自適應選頻,篩選出個性化活躍狀態頻段范圍,用于捕獲MI控制相關節律信息,對篩選后的感興趣信號重建,完成自適應頻譜感知。該算法原理共包含3個步驟,如圖2所示。

步驟一:基于4層WPD的時頻分析。WPD可以對信號高頻以及低頻部分進行細致的頻帶劃分,從而提取EEG信號的近似系數和細節系數,適用于與MI任務相關頻域信息的表征[26]。WPD提供了若干類小波基,其中多貝西(Daubechies,Db)小波基常用于MI-EEG離散型信號分析[27]。本文設置濾波器長度為4,選取Db5小波對經預處理的MI-EEG信號進行4層分解,cj代表第4層第j(j = 1, 2, , 16)個節點的小波包系數。
步驟二:基于種子生長的自適應選頻。種子生長可以基于給定的生長準則形成具有特定性質的信號集合。本文利用該原理選取最大能量種子點,目標是按照既定規則對相鄰頻段子帶進行生長,提取感興趣集合 ,V中包含q個元素,其中下標
。首先定義能量系數向量
,其中節點j的能量系數Ej計算公式如式(1)所示:
![]() |
以E最大值所在節點定義種子點m,其對應的能量系數記為Em,如式(2)所示:
![]() |
以m為起始點向高頻(+)和低頻(?)方向交替進行生長,生長位移向量 ,di對應D中第i個元素,且始終滿足約束條件
,任一方向的位移超出以上范圍則停止該方向的生長。當子帶能量系數累加和達到能量閾值δ時停止所有生長。此時對應的最大位移即為邊界,其索引imax計算公式如式(3)所示:
![]() |
構建感興趣集合,V中元素為生長區域內包含的小波包系數,代表了自適應選頻篩選結果,即受試者數據中最活躍的個性化頻率成分。
步驟三:感興趣信號重建。重建V內所有小波包系數生成自適應頻譜感知信號。
通過種子生長得到感興趣頻段范圍并信號重建的過程相當于一個自適應感知輸入信號頻譜特性的濾波器,相比于固定濾波器組來說擁有更強的適應性和更優的濾波性能。生理學基礎和實驗觀察表明,活躍頻帶能量分布存在一定集中趨勢,與其它冗余子帶相比區別較大,因此本文認為將δ設置為0.90即可實現較為精準的頻段范圍篩選。δ參數尋優將在3.2節中給出實驗證明。
2.2.2 OVR-CSP空域濾波
現有研究常采取OVR策略對CSP空域濾波進行擴展實現MI-EEG信號多任務特征提取[28-29]。類比傳統算法構建兩類信號,將四分類問題轉化為4個二分類問題。定義四類自適應頻譜感知信號為 ,當
時,
。構建類別k區別于其它三類的最佳空間濾波器計算步驟如下所示。
將第k類自適應頻譜感知信號表示為X,求歸一化后的協方差矩陣Rk,如式(4)所示:
![]() |
式中,(·)T表示對矩陣轉置,trace(·)表示對矩陣求跡。計算混合空間協方差矩陣R,并對其進行特征值分解,如式(5)所示:
![]() |
式中, 分別表示四類任務的平均協方差矩陣,U為特征向量矩陣,λ為特征值矩陣。通過構造白化矩陣和主分量分解尋求最大化類別k與其它類差異的空間濾波器W,取W中包含有效特征信息的前n行和后n行對信號X投影,生成空間濾波信號Z2n × T,如式(6)所示:
![]() |
式中,n代表空間濾波器對數,本文中取值為5,N為MI-EEG信號通道數,T為總采樣點數。
2.2.3 時域特性表征
時域特征可以捕獲并整合MI-EEG信號不同時間點的非線性非平穩性信息,進一步對頻域和空域特性進行直觀信息的補充。傳統CSP計算Z2n × T每一行的方差作為最后的特征,但是將信號的時間序列濃縮為一個值,存在特征表達不夠充分的缺陷。因此,本文考慮統計Z2n × T包含方差在內的8個時域特征,豐富CSP的信息表達,包括最大值、峰值、峰峰值、均值、絕對平均值、方根幅值、方差和標準差。以方差為例求取特征向量fp,如式(7)所示:
![]() |
式中,varp代表第p行的方差,log(·)為對數運算符。將所有時域特征經上式計算并按列整合后得到類別k的特征矩陣。按照此規則依次構建其余類別的特征矩陣并拼接,即可完成融合時空頻域多重信息的ATFCSP特征矩陣構建,記為F40 × 8。
2.3 CNN信號分類
本文構建CNN分類器對融合ATFCSP特征矩陣進行四分類。CNN作為一種高效精準的分類器已經被證明可以有效改善BCI系統的性能,在多分類任務中已廣泛應用[30],CNN結構如圖3所示。結合特征矩陣F40 × 8兩個維度分別代表空域和時域信息的特點,本文采取時空可分離卷積策略對卷積核進行拆分。首先進行三層空間卷積:采用[5 × 1]、[10 × 1]、[15 × 1]三個卷積核對空間維度信息進行學習,遵循由低復雜度到高復雜度的學習規則,三個卷積核的個數分別設置為8、16、32。其次進行兩層時間卷積:設置[1 × 2]、[1 × 4]卷積核學習時間維度提供的特征,卷積核個數設置為32。連接兩個全連接層用于整合前述特征,將學習到的特征表示映射到樣本標記空間,節點數分別為100和32。最終,以歸一化指數(softmax)函數作為網絡最后一層將四個神經元的輸出映射到(0, 1)區間內進行多分類。

采用批歸一化處理防止網絡訓練過程中出現過擬合以及梯度消失問題,批處理大小為16。本文選取線性整流(rectified linear unit,ReLu)激活函數增加信號之間的稀疏性,自適應矩估計優化算法作為優化器,以初始值為的網絡學習率最小化交叉熵損失函數。訓練迭代64次,經過參數尋優設置學習率以0.9倍速率進行衰減保證前期加速收斂和后期性能穩定。網絡結構中不設置池化層降維,最大程度地保留輸入特征的原始信息。
3 實驗結果與分析
為確定算法最優參數并驗證本文所提方法的有效性,設計如下3個對比實驗:
(1) 探討δ參數對分類性能的影響,并確定最優參數。
(2) 為驗證ATFCSP特征提取算法中融合時空頻信息策略的有效性,分別對自適應頻譜感知模塊以及時域特性表征模塊進行消融開展對比實驗,并對特征進行可視化。
(3) 為進一步評估本文算法的優越性,同時保證公平公正原則消除數據質量影響,將相關實驗結果與基于相同公開數據集的先進研究結果進行對比。
3.1 評估指標
本文采用自測數據集以及BCI competition IV-2a數據集對所提方法進行驗證。四分類的準確率(accuracy,ACC)和卡帕(Kappa)系數用于分類結果評價。ACC定義為正確分類樣本數占總樣本個數的比例,可以體現預測正確的概率。Kappa系數用于評估模型預測結果與真實分布的一致性,取值在-1~1之間,越接近1表示分類模型效果越好。計算公式如式(8)~式(9)所示:
![]() |
![]() |
式中,Pa為分類ACC,也稱為觀測一致率;Pe機遇一致率;a1、a2、a3、a4分別為四類MI真實樣本的個數,b1、b2、b3、b4分別為相對應預測得到的四類樣本個數,Q為樣本總數。
3.2 δ參數對分類性能的影響
不同δ參數對種子生長自適應選頻起著不同的約束作用,從而得到不同帶寬的重建信號,它對能否獲得MI-EEG信號準確的頻域信息起著至關重要的作用。因此為討論δ參數對本算法整體分類性能的影響并確定最佳參數,本文根據先驗知識設置參數范圍為0.5~1.0,間隔為0.05,并基于兩個基準數據集中所有受試者數據開展尋優實驗,結果如圖4所示。

由圖4可知,δ為0.9的情況下,自測數據集中所有受試者的分類ACC均高于其它情況,公開數據集中6位受試者分類ACC達到了最佳,并且其它3位受試者(2、3、9)在取值0.9的條件下分類精度接近于最佳水平。因此本文確定最優參數δ取值為0.9,后續實驗都在此基礎上完成。
3.3 ATFCSP時空頻融合特征有效性分析
為驗證ATFCSP算法中自適應頻譜感知模塊以及時域特性表征模塊的有效性,說明融合時空頻多域特征表達的優勢,本文對以上兩個模塊進行消融,開展以下對比實驗:ATFCSP代表本文所提算法用于提取時空頻融合特征;自適應頻CSP(adaptive frequency-CSP,AF-CSP)代表僅加入自適應頻譜感知模塊提取頻-空域特征;時域CSP(time-CSP,T-CSP)代表僅加入時域特性表征模塊提取時-空域特征;CSP代表僅提取空域特征。以上四種特征提取方法結合CNN分類在五折交叉驗證條件下的平均ACC和標準差如圖5所示。

如圖5所示,自測數據集中受試者1、2、3、4、5、9、10數據基于本文融合特征提取方法所得分類ACC均優于其它方法。公開數據集中在本文所提方法條件下所有受試者數據的分類ACC均達到了最優。以數據集為單位,統計自測數據集中CSP、T-CSP、AF-CSP以及本文所提ATFCSP特征提取方法平均分類精度分別為88.82%、92.25%、90.05%和93.96%;公開數據集中所有受試者的平均ACC分別為79.39%、81.06%、80.21%和84.47%;t檢驗證明,P<0.05,差異具有統計學意義。這表明本文所提自適應頻譜感知模塊與時域特性表征模塊都能不同程度地提升CSP算法的分類精度,同時融合時空頻域信息的ATFCSP特征構建方法可以表現出最佳性能,充分說明了兩個模塊的有效性和必要性。
為進一步直觀展示ATFCSP特征矩陣對多任務MI-EEG信號表征信息的有效性,本文通過非線性降維模式在二維空間中可視化不同類別數據的高維特征。選取自測數據集中分類ACC最高(受試者3)和最低(受試者10)的訓練集與測試集樣本進行CSP特征以及ATFCSP特征可視化展示,如圖6所示。四種顏色的散點分別代表四類MI-EEG信號所構建的特征,若同類點集間呈團簇態,則說明該特征具有區分度。可視化結果與上文結論相符,兩名受試者的ATFCSP特征圖統一呈現聚集趨勢,相較于CSP特征類內間距減小而類間距離加大,分類ACC較高的受試者3在特征圖中四種散點區分度更加明顯。以上不同數據質量的受試者特征圖可視化可以證明本文所提算法顯著增加了MI-EEG信號四種類別數據之間的可分性。

3.4 算法性能對比
為驗證本文所提算法與現有方法相比的先進性,同時保證公平公正原則,避免因設備性能或參數設置問題導致無法在自測數據集中對現有先進研究成果進行完全復現,本研究將基于公開數據集的分類結果與競賽優勝算法以及相關先進工作進行對比。Ang等[31]在競賽獲勝算法的基礎上采用OVR策略對FBCSP進行擴展,并結合樸素貝葉斯分類器(naive Bayes classifier,NB)進行分類。Luo等[32]應用FBCSP提取空間頻率特征后,用滑動裁剪技術生成空間頻率序列輸入深度循環神經網絡(recurrent neural network,RNN)進行四分類。Liu等[33]提出基于卷積濾波器學習不同時間窗CSP特征并進行稀疏表示,通過混合神經網絡(hybrid neural network,HNN)進行分類。Altuwaijri等[16]提出多分支CNN結構,充分利用不同尺寸卷積核對原始EEG信號進行多層次時空信息挖掘。基于公開數據測試集的算法分類結果如表1所示,加粗字體表示最優指標。

由表1得知,對于受試者1、受試者2、受試者6、受試者8、受試者9,本文所提算法所有評價指標均達到了最優。9位受試者的四分類平均ACC和Kappa值分別為84.04%和0.79。其中,平均精度與文獻[32]、[33]、[16]相比均有提升,平均Kappa值與競賽優勝算法相比也有提升。受試者間ACC范圍誤差定義為最大ACC與最小ACC的差值,可衡量不同受試者之間分類性能的差異。本文算法所得ACC范圍誤差為17.92%,與文獻[32]、[33]、[16]相比均有下降。值得注意的是,以往被公認為數據質量較差的受試者2和受試者6的分類精度分別提升到了78.09%和84.25%,接近于平均水平。因此本文合理推測,特征工程中自適應頻譜感知模塊最大限度地發揮了潛在特異性頻域信息的影響,可以提升BCI能力較差的受試者數據的分類效果。綜上所述,基于ATFCSP特征提取的CNN分類方法不僅能整體提升BCI系統的分類性能,還能有效降低受試者特異性對分類效果帶來的不利影響,增強算法魯棒性。
4 結論
本文提出一種融合時空頻域信息的ATFCSP特征提取算法,時域上提取最直觀的信號幅值能量相關表征,頻域上自適應篩選受試者個性化激活頻帶范圍,空域上基于最優空間濾波器實現類間距離最大化,從多角度實現MI過程中大腦皮質神經活動信息的精細解釋和刻畫;進一步設計淺層時空分離CNN對四種MI任務進行分類,自測數據集平均分類精度達到93.96%,公開數據集平均分類精度達84.04%,相較于現有最先進水平有所提升,不同受試者分類性能之間的差異也顯著降低。
本文提出基于ATFCSP特征提取和CNN的方法在MI四分類任務中表現出良好性能,相較于現有方法表現出更高的ACC和更強的魯棒性,對實現多維光標和外部設備的精準控制有重要意義。本文所提算法仍需進一步積累數據庫進行充分驗證。另外,基于遷移學習構建多任務MI-EEG信號分類模型為克服小數據集的障礙和解決受試者特異性問題提供了一種有效途徑,這將指導本研究下一步的技術方向[34]。
重要聲明
利益沖突聲明:本文全體作者均聲明不存在利益沖突。
作者貢獻聲明:胡瑩、劉燕主要負責數據記錄與分析、算法程序與設計以及論文編寫;程晨晨、耿辰、戴斌、彭博主要負責實驗流程、協調溝通以及計劃安排;朱建兵、戴亞康主要負責項目主持、平臺搭建、提供實驗指導以及論文審閱修訂。
倫理聲明:本研究通過了南京大學醫學院附屬蘇州醫院倫理審查機構審批(批文編號:IRB202207004RI)。