運動想象指想象特定動作但實際上并不執行該動作的行為,已經在神經科學等領域得到廣泛關注。運動想象腦電信號分類算法主要根據腦電信號所包含的生理信息,尤其是從生理信息中提取出的特征,對各類運動想象任務進行區分。近年來,運動想象腦電信號分類算法在分類器與機器學習策略兩方面出現了一些新的研究進展。分類器方面,一些研究對傳統機器學習分類器進行了改進,深度學習與黎曼幾何分類器也已在該領域得到廣泛應用。機器學習策略方面,出于提高分類準確率等目的,集成學習、自適應學習與遷移學習等機器學習策略被引入到運動想象腦電信號的分類中。本文綜述討論了運動想象腦電信號分類算法的研究進展,希望能夠對各分類器與機器學習策略進行總結評價,為開發更高性能的分類算法提供思路。
引用本文: 劉拓, 葉陽陽, 王坤, 徐立超, 奕偉波, 許敏鵬, 明東. 運動想象腦電信號分類算法的研究進展. 生物醫學工程學雜志, 2021, 38(5): 995-1002. doi: 10.7507/1001-5515.202101089 復制
引言
運動想象(motor imagery,MI)指想象特定動作但實際上并不執行該動作的行為,在神經科學等領域得到廣泛關注[1]。大腦進行 MI 活動時會產生各種形式的信號,可通過不同手段測量。其中,腦電(electroencephalogram,EEG)測量的是大腦產生的頭皮電活動,具有無創、高時間分辨率、低成本等特點[2]。而基于運動想象腦電(motor imagery EEG,MI-EEG)信號的腦-機接口(brain-computer interface,BCI)可以幫助用戶在大腦與外部設備間建立直接通道,完成操縱雙臂機器人、控制無人機、駕駛虛擬汽車等任務[3-5]。
不同 MI 任務的 EEG 信號通常伴隨著不同的感覺運動節律(sensory motor rhythm,SMR),即各腦區特定頻段功率的升高或降低[6-7]。可以通過共空間模式(common spatial pattern,CSP)等算法從 SMR 中提取特征向量,并送入線性判別分析(linear discriminant analysis,LDA)、支持向量機(support vector machines,SVM)、K 值最近鄰(k-nearest neighbor,KNN)、樸素貝葉斯分類器(naive Bayesian classifier,NBC)等傳統機器學習分類器,完成訓練與預測過程[8]。分類算法是區分不同肢體 MI 的關鍵,直接關系著分類結果準確與否,在 MI 的各類應用中有極為重要的意義。然而,MI-EEG 信號存在著一些不利于分類的固有特性(如非平穩性),為其分類算法帶來一定的挑戰[9]。
近年來,機器學習領域不斷發展,MI-EEG 信號的分類算法也出現了一些新的進展。一方面,在分類器上,部分研究對傳統機器學習分類器進行了一定改進,而一些新型分類器也展現出巨大的潛力。另一方面,在機器學習策略上,一些通用的機器學習策略與各種分類器緊密結合,嘗試從不同角度提升分類器的性能。
基于此,本文的后續部分將依次從分類器與機器學習策略兩個方面對 MI-EEG 信號分類算法的研究進展進行綜述。其中,分類器部分主要包含改進后的機器學習分類器、深度學習與黎曼幾何分類器,機器學習策略部分主要包含集成學習、自適應學習與遷移學習。最后,本文也將給出 MI-EEG 信號分類算法的總結與展望。
1 分類器研究進展
1.1 改進后的機器學習分類器
傳統機器學習分類器原理簡單,技術成熟,在 MI-EEG 信號的分類中經久不衰。然而,其通用于不同的研究領域,未必與 MI-EEG 信號的特點相吻合。因此,部分研究對傳統機器學習分類器進行了一些改進。
機器學習分類器可以分為線性與非線性分類器。其中,線性分類器易于建模與解釋,其表達形式一般可以寫作:
![]() |
式(1)中的 w 與 b 被學得后,該線性分類器的模型就可以確定[10]。LDA 與 SVM 均為較典型的線性分類器。其中,LDA 的目標為尋找超平面區分不同類別的數據,使不同類別的數據投影后類內協方差最小而類間協方差最大,而 SVM 的目標則為利用核函數尋找超平面,使不同類別的數據邊界之間的距離最大[8]。
部分研究對 LDA 與 SVM 進行了改進。收縮線性判別分析(shrinkage LDA,sLDA)使用收縮率對類間協方差矩陣進行正則化,具有更強的魯棒性,適用于訓練樣本較少的情形,有助于實現少校準的在線 MI-EEG 信號分類[11]。支持矩陣機(support matrix machines,SMM)利用矩陣的跡,將式(1)中的向量 w 替換為矩陣 W,保留原始矩陣的結構信息,以適應 MI-EEG 信號的高維度特性。而正則化支持矩陣機(regularized SMM,RSMM)則可以進一步提高 SMM 的分類準確率,其與 SVM、SMM 在 BCI 競賽 III 數據集 IVa 的分類準確率如圖 1[12]所示。
亦有研究對 KNN 與 NBC 等非線性分類器進行了改進。KNN 的目標為依據各特征向量間的度量距離將未知特征向量歸為其 K 個最近鄰向量中的優勢類[8]。與之相比,模糊 K 值最近鄰(fuzzified KNN,FKNN)不僅計算特征向量之間的距離,也判斷特征向量對類別的隸屬程度,在指定數據集上將分類準確率提高了 7.9%~13.2%[13]。NBC 的目標為利用最大后驗概率規則,將未知特征向量歸為所屬概率最高的類別[10]。加權樸素貝葉斯分類器(weighted NBC,WNBC)則在 NBC 的基礎上為多個時頻段提取到的特征進行加權,在 BCI 競賽 III 數據集 IVa 上取得了 86.38% 的平均分類準確率,高于 LDA 等其他分類器[14]。
綜上所述,傳統機器學習分類器本身性能良好,因此,部分研究僅圍繞 MI-EEG 信號的高維度等固有特性,對傳統機器學習分類器進行了針對性的修改。改進后的機器學習分類器一般體量輕捷,容易實現。但這些方法通常只能小幅度地提升分類準確率等指標,也難以進一步優化。
1.2 深度學習
傳統機器學習分類器與改進后的機器學習分類器均需在分類操作前進行特征提取。與之相比,深度學習方法不僅可以對提取到的特征進行分類,也可以從原始信號中自行學習特征并完成分類。目前為止,已有多種深度學習方法被用于 MI-EEG 信號的分類中,如卷積神經網絡(convolutional neural network,CNN)與循環神經網絡(recurrent neural network,RNN),再如深度信念網絡(deep belief network,DBN)。這些深度學習方法的應用可以緩解 MI-EEG 信號高維與低信噪比特性帶來的問題[15]。
卷積操作在信號處理中應用廣泛,以之為基礎的 CNN 通常能夠獲得高于淺層算法的分類準確率[16]。CNN 能夠接受輸入的特征并進行分類,如利用 MI-EEG 信號的時間包絡相應地設計與優化 CNN,可在 BCI 競賽 IV 數據集 IIa 中取得比競賽最優方法高出 7% 的分類準確率[17]。再如,以小波變換(wavelet transform,WT)為基礎,將不同導聯的時頻信號結合后提取特征,設計低復雜度的 CNN,可在 BCI 競賽 II 數據集 IIIa 上取得 90% 的分類準確率[18]。
如前所述,CNN 亦可直接從數據中學習特征并進行分類。這一端到端的模型有助于簡化 BCI 系統的設計,促進 BCI 系統的應用。在沒有預處理或特征提取操作的情況下,使用 CNN 結構完成特征提取與分類等步驟,可以在 100 名被試上取得 94.6% 的分類準確率[19]。
與 CNN 相比,RNN 具有記憶能力,可以總結前期輸入的狀態作為后期輸入的輔助信息,更易于從時間序列中提取特征[20]。典型的 RNN 結構有長短時記憶網絡(long short term memory,LSTM)與門控循環單元(gated recurrent unit,GRU)。前者通過輸入門、輸出門、遺忘門等單元防止無關的輸入和輸出進入存儲器,方便保存長序列數據的特征;后者具有更新門與重置門結構,支持每個循環單元獲取不同時間范圍內的依賴關系。在 BCI 競賽 IV 數據集 IIa 上將兩種 RNN 結構、CNN 結構、線性核 SVM 分別與對應特征結合后進行比較,其分類準確率如圖 2[21]所示。
DBN 是由受限玻爾茲曼機(restricted Boltzmann machine,RBM)堆疊而成的。RBM 包含一個可見層和一個隱藏層,可見層接收輸入,而隱藏層則盡可能地重建輸入[22]。可以通過快速傅里葉變換(fast Fourier transform,FFT)和小波包分解(wavelet package decomposition,WPD)獲得 EEG 信號的頻域表示,訓練少數 RBM,并構成高魯棒的頻率深度信任網絡(frequential DBN,FDBN)[23]。
亦有研究嘗試將不同的深度學習模型進行結合。例如,LSTM 與 CNN 相結合后,在特定數據集上的分類準確率可以達到 86.7%,高于單獨使用 LSTM 或 CNN[24]。此外,一些新近出現的深度學習策略也被引入 MI-EEG 信號的分類中,如克服數據失真與扭曲的膠囊網絡(capsule networks,CapsNet)[25]。
深度學習在各個機器學習領域都掀起一股新的浪潮,MI-EEG 信號的分類領域也不例外。然而,深度學習在 MI-EEG 信號的分類中尚面臨一些問題。首先是數據集問題。大型數據集較為稀少,不利于深度學習方法的訓練,需要更多的研究機構提供高質量的 MI-EEG 信號數據集。再次是訓練成本問題。MI-EEG 信號的分類往往要面向在線 BCI 系統,而深度學習方法訓練普遍耗時,通常只能離線使用,需要淺層網絡進一步發展。最后是可解釋性問題。大多數深度學習方法中間過程的可解釋性不佳,需要將功率等信息與網絡的輸出進行對照,以進一步優化網絡結構。目前為止,深度學習在 MI-EEG 信號的分類領域尚未體現出顯著優勢[26]。
1.3 黎曼幾何分類器
MI-EEG 信號的低平穩與低可靠性可能會為分類帶來一系列問題。黎曼幾何是數學的一個分支,研究局部表現為歐式的平滑彎曲空間,有希望成為解決這些問題的突破口[27]。
黎曼幾何中,由 MI-EEG 信號的樣本協方差矩陣構成的空間被稱為黎曼流形,而黎曼距離可以對黎曼流形中協方差矩陣間的關系進行度量:
![]() |
![]() |
式(2)中,diag(·)表示對角矩陣,λ1,λ2,λN 為矩陣的 N 個特征值。式(3)中的 δR(C1,C2)即為協方差矩陣 C1 與 C2 之間的黎曼距離。此外,對于 S 個試次的樣本協方差矩陣而言,可以通過求取它們的黎曼均值進行切線空間映射:
![]() |
![]() |
式(4)中,Cavg 為黎曼流形上 S 個試次樣本協方差矩陣的黎曼均值。式(5)中 upper(·)函數表示提取矩陣的上三角元素并將其加權平鋪為一維向量,vs 表示第 s 個試次樣本協方差矩陣映射到切線空間后得到的特征向量。
黎曼流形及其切線空間示意如圖 3[28]所示。其中,Cavg 為樣本協方差矩陣 C1 與 C2 的黎曼均值,v1 與 v2 為 C1 與 C2 以 Cavg 為切點映射后的向量。基于此,可以將黎曼幾何分類器分為兩類:黎曼流形上的分類器與切線空間上的分類器。前者以黎曼均值最小距離法(minimum distance to Riemannian mean,MDRM)為代表,后者以切線空間線性判別分析(tangent space LDA,TSLDA)為代表。MDRM 通過計算樣本協方差矩陣與不同類別黎曼均值的距離進行歸類,在 BCI 競賽 IV 數據集 IIa 中的四分類平均準確率為 63.2%,與其他傳統分類器結果相似。TSLDA 將各樣本協方差矩陣映射到切線空間后再使用 LDA 進行訓練與預測,在 BCI 競賽 IV 數據集 IIa 中的平均分類準確率達到 70.2%,遠高于其他分類算法[29]。
黎曼幾何分類器依然存在著一定的改進空間。針對 MDRM 算法中的維度詛咒,正則化黎曼均值最小距離法(regularized MDRM,RMDRM)基于正則化技術解決了協方差矩陣維度數大于試次數時性能不佳的問題,在 BCI 競賽 III 數據集 IIIa 上獲得比 MDRM 算法高出 9.27% 的平均分類準確率[30]。廣義學習黎曼空間量化(generalized learning Riemannian space quantization,GLRSQ)將應用于歐式空間的學習矢量量化(learning vector quantization,LVQ)推廣到黎曼流形,以有監督的方式訓練數據并更新模型,為每個類別學習多個代表。在指定數據集上的平均 Kappa 值高于 MDRM 與 TSLDA 算法[31]。
除 LDA 外,切線空間上也存在其他分類器,如以極限學習機(extreme learning machine,ELM)為基礎的正則化嵌入切線空間極限學習機(ELM on tangent space of regularized embedding,ELM-TS-RE)。ELM-TS-RE 包含基于黎曼圖的降維、切線空間映射與極限學習機,在 BCI 競賽 IV 數據集 IIa 上的平均 Kappa 值為 0.584,高于競賽最優算法的 0.570[32]。
黎曼幾何分類器有許多獨到之處,如等價于 EEG 源空間的操作,如對異常值的高魯棒性,再如較強的泛化能力[28]。然而,其依然存在著一些問題,如計算通常較復雜,再如特征維度在導聯數量較多時會迅速膨脹,導致分類準確率的下降。這些問題尚待后續研究予以解決。
2 機器學習策略研究進展
2.1 集成學習
集成學習策略通過組合多個簡單且性能良好的弱分類器對 MI-EEG 信號的類別進行區分。套袋法(bagging)與提升法(boosting)是兩種常見的集成學習策略,前者將原始數據集進行劃分,并行訓練弱分類器,以投票等方式輸出分類結果;后者關注被弱分類器錯誤分類的數據,對數據的權重進行調整,串行訓練各弱分類器[33]。
隨機森林(random forest,RF)即為一種基于 bagging 的分類器。RF 包含多個決策樹,并以投票的方式得到最終結果,具有分類精度高、計算速度快、易于發現鑒別性特征等優點[34]。此外,集成學習也可以用于其他分類器,如集成支持向量學習(ensemble support vector learning,ESVL)以 SVM 為基礎,將各 SVM 分類器的輸出映射為概率進行合并,在 BCI 競賽 IV 數據集 IIa 與 IIb 上的平均分類準確率達到 82.5%[35]。再如,將集成學習應用于 ELM,可以在 BCI 競賽 IV 數據集 IIa 上取得 86.14% 的平均分類準確率,高于相同特征下非集成 ELM 的 84.38%[36]。
在分類器選擇合理的前提下,集成學習可以有效地提升分類性能,減少 MI-EEG 信號分類中的方差與偏差。但引入集成學習的分類器訓練成本也相對更高,且集成學習對弱分類器的準確性與多樣性都有著一定的要求,常常不能達到預定效果。在 MI-EEG 信號的分類中,選擇何種分類器進行集成,選擇何種方式對分類器進行集成,依然存在著一定的探索空間。
2.2 自適應學習
被試的認知狀態會隨著實驗進行而改變,導致其 MI-EEG 信號產生波動[37]。自適應學習是解決這一問題的有力工具。引入自適應學習后,分類器的參數將隨著新數據出現被增量更新,有助于分類器跟蹤變化的特征[38]。
不少分類器均可與自適應學習結合。如可以利用 LDA 的分類結果等參數判斷是否應該選擇樣本加入訓練數據,適應長期 MI 實驗中被試可能產生的疲勞現象[39]。再如,可以基于概率加權 K 值最近鄰(probabilistic weighted KNN,PWKNN)算法豐富訓練數據集,并以無監督自適應的方式執行分類器的集成。該方法在 BCI 競賽 IV 數據集 IIb 上取得 74.65% 的平均分類準確率,遠高于其他非自適應的集成方法。
自適應學習策略還常常與模糊系統相關聯。模糊系統的基礎是模糊邏輯(fuzzy logic,FL),其使用一組 IF-THEN 規則表示從給定輸入到輸出的映射。在定義輸入和輸出空間后,通過隸屬度函數定義相應的模糊集,可以將模糊規則應用到系統中[40]。自適應神經模糊推理系統(adaptive neuro-fuzzy interface system,ANFIS)在利用模糊系統優勢的同時,可以自行對模糊規則進行調整。一種典型的 ANFIS 結構如圖 4[41]所示。在輸入 x1 與 x2 被模糊化后,分別計算其模糊規則的激勵強度并進行歸一化。此后,計算各條規則的結果,通過去模糊化得到輸出結果 y。而基于 ANFIS 的遞歸結構使每個 ANFIS 針對一類 MI-EEG 信號進行訓練,以區分多類 MI-EEG 信號,可在在線實驗中取得 85.52% 的分類準確率[41]。
BCI 通常需要面向在線甚至實時應用,這也需要分類算法適應 EEG 信號在 MI 過程的變化。相較于光明的前景,自適應學習方法(尤其是無監督的自適應學習方法)研究內容反而略顯不充分。這一方向值得更深入的探索與討論,其在 MI-EEG 信號的分類中可能會發揮更重要的作用。
2.3 遷移學習
被試的性別、年齡、情緒等因素,都會影響被試 MI 任務的表現,導致被試內與被試間數據分布的變異性。遷移學習被引入 MI-EEG 信號的分類,以緩解這些變異性帶來的問題[42]。在給出遷移學習的定義前,需要先給出域 及任務
的定義:
![]() |
![]() |
式(6)中, 表示特征空間,X 表示特定的學習樣本,P(X)表示 X 的邊際概率分布。式(7)中,
表示標注空間,f(·)表示預測函數。對于源域
與目標域
及其對應的源任務
與目標任務
,遷移學習的定義為:在
≠
或
≠
的前提下,利用
與
的知識,改善目標預測函數 fT(·)。即在源域與目標域不同或源任務與目標任務不同的情況下,通過源域及目標域中的知識,改善目標任務[43]。
遷移學習在 MI-EEG 信號的分類領域有著廣泛的應用。例如,基于有監督加權邏輯回歸的遷移學習方法(supervised weighted logistic regression-based transfer learning,S-wLTL)將正則化參數添加到分類器的目標函數中,以使分類參數盡可能接近其他相似被試的分類參數,在 BCI 競賽 IV 數據集 IIa 上取得 75.6% 的平均分類準確率,高于 CSP 與 SVM 結合的 70.4%[44]。再如,使用其他被試的 MI-EEG 信號對 CNN 模型進行預訓練,并通過微調策略進一步訓練個體模型,在跨被試分類中可以取得 75.9% 的準確率[45]。
遷移學習也存在著一些問題,如遷移不足和負遷移。遷移不足意味著遷移學習的效果不明顯或達不到預期,通常是因為遷移的知識與目標域不匹配,需要調整訓練方式,學習適合于目標域的表示方法。而負遷移指遷移學習對目標域中的任務產生負面影響,通常是因為目標域和源域之間差異過大,需要添加正則化等約束條件解決[46]。盡管存在著上述不足,遷移學習在跨時間、跨被試,乃至跨數據集的 MI-EEG 信號分類中起著重要的作用,不失為邁向無校準 BCI 系統的關鍵步驟[47]。
3 結論
如前所述,MI-EEG 信號的分類領域在近年來出現了一些新的進展。在分類器方面,不少研究對傳統分類器進行了適當的改進,而深度學習與黎曼幾何分類器也被引入這一領域。在機器學習策略方面,為提升 MI-EEG 信號分類中的各項性能,集成學習、自適應學習與遷移學習等機器學習策略也與各類分類器緊密結合,從不同的角度提升了分類器的性能。
分類準確率與魯棒性是 MI-EEG 信號分類算法的關鍵指標。為提高分類準確率,深度學習嘗試自行學習具有鑒別性的特征,集成學習嘗試結合各分類器的長處,遷移學習則嘗試降低被試內與被試間的數據分布變異性。而為了增強 MI-EEG 信號分類算法的魯棒性,黎曼幾何分類器使用幾何平均值對 EEG 信號進行處理,集成學習使用投票等方式降低方差,自適應學習則嘗試適應 MI-EEG 信號的分類過程中信號的波動。
MI-EEG 信號分類算法的計算復雜度與校準時間也較為重要,直接關系到其能否應用于在線環境。為了減小算法的計算復雜度,一些淺層網絡被提出,亦有降維方法被應用到黎曼幾何分類器中。而自適應學習與遷移學習則為無校準 BCI 系統奠定了基石,在提高算法性能的同時,也改善了用戶的使用體驗。
MI-EEG 信號分類算法依然存在著一些待改進的內容。首先是在保持分類準確率的同時,如何快速得到分類結果的問題,這有助于實現高準確率的在線 MI-EEG 信號分類,促進 BCI 系統的真正落地。其次是如何改進 MI-EEG 信號的分類算法,以面向復合肢體或復雜運動的 MI 任務分類,而這需要類間模糊性更低的分類算法。最后是尋找更適宜同自適應學習與遷移學習相結合的分類器,實現徹底的無校準 MI-BCI 系統。總之,MI-EEG 信號分類算法的進一步發展,依然是挑戰與機遇并存。
利益沖突聲明:本文全體作者均聲明不存在利益沖突。
引言
運動想象(motor imagery,MI)指想象特定動作但實際上并不執行該動作的行為,在神經科學等領域得到廣泛關注[1]。大腦進行 MI 活動時會產生各種形式的信號,可通過不同手段測量。其中,腦電(electroencephalogram,EEG)測量的是大腦產生的頭皮電活動,具有無創、高時間分辨率、低成本等特點[2]。而基于運動想象腦電(motor imagery EEG,MI-EEG)信號的腦-機接口(brain-computer interface,BCI)可以幫助用戶在大腦與外部設備間建立直接通道,完成操縱雙臂機器人、控制無人機、駕駛虛擬汽車等任務[3-5]。
不同 MI 任務的 EEG 信號通常伴隨著不同的感覺運動節律(sensory motor rhythm,SMR),即各腦區特定頻段功率的升高或降低[6-7]。可以通過共空間模式(common spatial pattern,CSP)等算法從 SMR 中提取特征向量,并送入線性判別分析(linear discriminant analysis,LDA)、支持向量機(support vector machines,SVM)、K 值最近鄰(k-nearest neighbor,KNN)、樸素貝葉斯分類器(naive Bayesian classifier,NBC)等傳統機器學習分類器,完成訓練與預測過程[8]。分類算法是區分不同肢體 MI 的關鍵,直接關系著分類結果準確與否,在 MI 的各類應用中有極為重要的意義。然而,MI-EEG 信號存在著一些不利于分類的固有特性(如非平穩性),為其分類算法帶來一定的挑戰[9]。
近年來,機器學習領域不斷發展,MI-EEG 信號的分類算法也出現了一些新的進展。一方面,在分類器上,部分研究對傳統機器學習分類器進行了一定改進,而一些新型分類器也展現出巨大的潛力。另一方面,在機器學習策略上,一些通用的機器學習策略與各種分類器緊密結合,嘗試從不同角度提升分類器的性能。
基于此,本文的后續部分將依次從分類器與機器學習策略兩個方面對 MI-EEG 信號分類算法的研究進展進行綜述。其中,分類器部分主要包含改進后的機器學習分類器、深度學習與黎曼幾何分類器,機器學習策略部分主要包含集成學習、自適應學習與遷移學習。最后,本文也將給出 MI-EEG 信號分類算法的總結與展望。
1 分類器研究進展
1.1 改進后的機器學習分類器
傳統機器學習分類器原理簡單,技術成熟,在 MI-EEG 信號的分類中經久不衰。然而,其通用于不同的研究領域,未必與 MI-EEG 信號的特點相吻合。因此,部分研究對傳統機器學習分類器進行了一些改進。
機器學習分類器可以分為線性與非線性分類器。其中,線性分類器易于建模與解釋,其表達形式一般可以寫作:
![]() |
式(1)中的 w 與 b 被學得后,該線性分類器的模型就可以確定[10]。LDA 與 SVM 均為較典型的線性分類器。其中,LDA 的目標為尋找超平面區分不同類別的數據,使不同類別的數據投影后類內協方差最小而類間協方差最大,而 SVM 的目標則為利用核函數尋找超平面,使不同類別的數據邊界之間的距離最大[8]。
部分研究對 LDA 與 SVM 進行了改進。收縮線性判別分析(shrinkage LDA,sLDA)使用收縮率對類間協方差矩陣進行正則化,具有更強的魯棒性,適用于訓練樣本較少的情形,有助于實現少校準的在線 MI-EEG 信號分類[11]。支持矩陣機(support matrix machines,SMM)利用矩陣的跡,將式(1)中的向量 w 替換為矩陣 W,保留原始矩陣的結構信息,以適應 MI-EEG 信號的高維度特性。而正則化支持矩陣機(regularized SMM,RSMM)則可以進一步提高 SMM 的分類準確率,其與 SVM、SMM 在 BCI 競賽 III 數據集 IVa 的分類準確率如圖 1[12]所示。
亦有研究對 KNN 與 NBC 等非線性分類器進行了改進。KNN 的目標為依據各特征向量間的度量距離將未知特征向量歸為其 K 個最近鄰向量中的優勢類[8]。與之相比,模糊 K 值最近鄰(fuzzified KNN,FKNN)不僅計算特征向量之間的距離,也判斷特征向量對類別的隸屬程度,在指定數據集上將分類準確率提高了 7.9%~13.2%[13]。NBC 的目標為利用最大后驗概率規則,將未知特征向量歸為所屬概率最高的類別[10]。加權樸素貝葉斯分類器(weighted NBC,WNBC)則在 NBC 的基礎上為多個時頻段提取到的特征進行加權,在 BCI 競賽 III 數據集 IVa 上取得了 86.38% 的平均分類準確率,高于 LDA 等其他分類器[14]。
綜上所述,傳統機器學習分類器本身性能良好,因此,部分研究僅圍繞 MI-EEG 信號的高維度等固有特性,對傳統機器學習分類器進行了針對性的修改。改進后的機器學習分類器一般體量輕捷,容易實現。但這些方法通常只能小幅度地提升分類準確率等指標,也難以進一步優化。
1.2 深度學習
傳統機器學習分類器與改進后的機器學習分類器均需在分類操作前進行特征提取。與之相比,深度學習方法不僅可以對提取到的特征進行分類,也可以從原始信號中自行學習特征并完成分類。目前為止,已有多種深度學習方法被用于 MI-EEG 信號的分類中,如卷積神經網絡(convolutional neural network,CNN)與循環神經網絡(recurrent neural network,RNN),再如深度信念網絡(deep belief network,DBN)。這些深度學習方法的應用可以緩解 MI-EEG 信號高維與低信噪比特性帶來的問題[15]。
卷積操作在信號處理中應用廣泛,以之為基礎的 CNN 通常能夠獲得高于淺層算法的分類準確率[16]。CNN 能夠接受輸入的特征并進行分類,如利用 MI-EEG 信號的時間包絡相應地設計與優化 CNN,可在 BCI 競賽 IV 數據集 IIa 中取得比競賽最優方法高出 7% 的分類準確率[17]。再如,以小波變換(wavelet transform,WT)為基礎,將不同導聯的時頻信號結合后提取特征,設計低復雜度的 CNN,可在 BCI 競賽 II 數據集 IIIa 上取得 90% 的分類準確率[18]。
如前所述,CNN 亦可直接從數據中學習特征并進行分類。這一端到端的模型有助于簡化 BCI 系統的設計,促進 BCI 系統的應用。在沒有預處理或特征提取操作的情況下,使用 CNN 結構完成特征提取與分類等步驟,可以在 100 名被試上取得 94.6% 的分類準確率[19]。
與 CNN 相比,RNN 具有記憶能力,可以總結前期輸入的狀態作為后期輸入的輔助信息,更易于從時間序列中提取特征[20]。典型的 RNN 結構有長短時記憶網絡(long short term memory,LSTM)與門控循環單元(gated recurrent unit,GRU)。前者通過輸入門、輸出門、遺忘門等單元防止無關的輸入和輸出進入存儲器,方便保存長序列數據的特征;后者具有更新門與重置門結構,支持每個循環單元獲取不同時間范圍內的依賴關系。在 BCI 競賽 IV 數據集 IIa 上將兩種 RNN 結構、CNN 結構、線性核 SVM 分別與對應特征結合后進行比較,其分類準確率如圖 2[21]所示。
DBN 是由受限玻爾茲曼機(restricted Boltzmann machine,RBM)堆疊而成的。RBM 包含一個可見層和一個隱藏層,可見層接收輸入,而隱藏層則盡可能地重建輸入[22]。可以通過快速傅里葉變換(fast Fourier transform,FFT)和小波包分解(wavelet package decomposition,WPD)獲得 EEG 信號的頻域表示,訓練少數 RBM,并構成高魯棒的頻率深度信任網絡(frequential DBN,FDBN)[23]。
亦有研究嘗試將不同的深度學習模型進行結合。例如,LSTM 與 CNN 相結合后,在特定數據集上的分類準確率可以達到 86.7%,高于單獨使用 LSTM 或 CNN[24]。此外,一些新近出現的深度學習策略也被引入 MI-EEG 信號的分類中,如克服數據失真與扭曲的膠囊網絡(capsule networks,CapsNet)[25]。
深度學習在各個機器學習領域都掀起一股新的浪潮,MI-EEG 信號的分類領域也不例外。然而,深度學習在 MI-EEG 信號的分類中尚面臨一些問題。首先是數據集問題。大型數據集較為稀少,不利于深度學習方法的訓練,需要更多的研究機構提供高質量的 MI-EEG 信號數據集。再次是訓練成本問題。MI-EEG 信號的分類往往要面向在線 BCI 系統,而深度學習方法訓練普遍耗時,通常只能離線使用,需要淺層網絡進一步發展。最后是可解釋性問題。大多數深度學習方法中間過程的可解釋性不佳,需要將功率等信息與網絡的輸出進行對照,以進一步優化網絡結構。目前為止,深度學習在 MI-EEG 信號的分類領域尚未體現出顯著優勢[26]。
1.3 黎曼幾何分類器
MI-EEG 信號的低平穩與低可靠性可能會為分類帶來一系列問題。黎曼幾何是數學的一個分支,研究局部表現為歐式的平滑彎曲空間,有希望成為解決這些問題的突破口[27]。
黎曼幾何中,由 MI-EEG 信號的樣本協方差矩陣構成的空間被稱為黎曼流形,而黎曼距離可以對黎曼流形中協方差矩陣間的關系進行度量:
![]() |
![]() |
式(2)中,diag(·)表示對角矩陣,λ1,λ2,λN 為矩陣的 N 個特征值。式(3)中的 δR(C1,C2)即為協方差矩陣 C1 與 C2 之間的黎曼距離。此外,對于 S 個試次的樣本協方差矩陣而言,可以通過求取它們的黎曼均值進行切線空間映射:
![]() |
![]() |
式(4)中,Cavg 為黎曼流形上 S 個試次樣本協方差矩陣的黎曼均值。式(5)中 upper(·)函數表示提取矩陣的上三角元素并將其加權平鋪為一維向量,vs 表示第 s 個試次樣本協方差矩陣映射到切線空間后得到的特征向量。
黎曼流形及其切線空間示意如圖 3[28]所示。其中,Cavg 為樣本協方差矩陣 C1 與 C2 的黎曼均值,v1 與 v2 為 C1 與 C2 以 Cavg 為切點映射后的向量。基于此,可以將黎曼幾何分類器分為兩類:黎曼流形上的分類器與切線空間上的分類器。前者以黎曼均值最小距離法(minimum distance to Riemannian mean,MDRM)為代表,后者以切線空間線性判別分析(tangent space LDA,TSLDA)為代表。MDRM 通過計算樣本協方差矩陣與不同類別黎曼均值的距離進行歸類,在 BCI 競賽 IV 數據集 IIa 中的四分類平均準確率為 63.2%,與其他傳統分類器結果相似。TSLDA 將各樣本協方差矩陣映射到切線空間后再使用 LDA 進行訓練與預測,在 BCI 競賽 IV 數據集 IIa 中的平均分類準確率達到 70.2%,遠高于其他分類算法[29]。
黎曼幾何分類器依然存在著一定的改進空間。針對 MDRM 算法中的維度詛咒,正則化黎曼均值最小距離法(regularized MDRM,RMDRM)基于正則化技術解決了協方差矩陣維度數大于試次數時性能不佳的問題,在 BCI 競賽 III 數據集 IIIa 上獲得比 MDRM 算法高出 9.27% 的平均分類準確率[30]。廣義學習黎曼空間量化(generalized learning Riemannian space quantization,GLRSQ)將應用于歐式空間的學習矢量量化(learning vector quantization,LVQ)推廣到黎曼流形,以有監督的方式訓練數據并更新模型,為每個類別學習多個代表。在指定數據集上的平均 Kappa 值高于 MDRM 與 TSLDA 算法[31]。
除 LDA 外,切線空間上也存在其他分類器,如以極限學習機(extreme learning machine,ELM)為基礎的正則化嵌入切線空間極限學習機(ELM on tangent space of regularized embedding,ELM-TS-RE)。ELM-TS-RE 包含基于黎曼圖的降維、切線空間映射與極限學習機,在 BCI 競賽 IV 數據集 IIa 上的平均 Kappa 值為 0.584,高于競賽最優算法的 0.570[32]。
黎曼幾何分類器有許多獨到之處,如等價于 EEG 源空間的操作,如對異常值的高魯棒性,再如較強的泛化能力[28]。然而,其依然存在著一些問題,如計算通常較復雜,再如特征維度在導聯數量較多時會迅速膨脹,導致分類準確率的下降。這些問題尚待后續研究予以解決。
2 機器學習策略研究進展
2.1 集成學習
集成學習策略通過組合多個簡單且性能良好的弱分類器對 MI-EEG 信號的類別進行區分。套袋法(bagging)與提升法(boosting)是兩種常見的集成學習策略,前者將原始數據集進行劃分,并行訓練弱分類器,以投票等方式輸出分類結果;后者關注被弱分類器錯誤分類的數據,對數據的權重進行調整,串行訓練各弱分類器[33]。
隨機森林(random forest,RF)即為一種基于 bagging 的分類器。RF 包含多個決策樹,并以投票的方式得到最終結果,具有分類精度高、計算速度快、易于發現鑒別性特征等優點[34]。此外,集成學習也可以用于其他分類器,如集成支持向量學習(ensemble support vector learning,ESVL)以 SVM 為基礎,將各 SVM 分類器的輸出映射為概率進行合并,在 BCI 競賽 IV 數據集 IIa 與 IIb 上的平均分類準確率達到 82.5%[35]。再如,將集成學習應用于 ELM,可以在 BCI 競賽 IV 數據集 IIa 上取得 86.14% 的平均分類準確率,高于相同特征下非集成 ELM 的 84.38%[36]。
在分類器選擇合理的前提下,集成學習可以有效地提升分類性能,減少 MI-EEG 信號分類中的方差與偏差。但引入集成學習的分類器訓練成本也相對更高,且集成學習對弱分類器的準確性與多樣性都有著一定的要求,常常不能達到預定效果。在 MI-EEG 信號的分類中,選擇何種分類器進行集成,選擇何種方式對分類器進行集成,依然存在著一定的探索空間。
2.2 自適應學習
被試的認知狀態會隨著實驗進行而改變,導致其 MI-EEG 信號產生波動[37]。自適應學習是解決這一問題的有力工具。引入自適應學習后,分類器的參數將隨著新數據出現被增量更新,有助于分類器跟蹤變化的特征[38]。
不少分類器均可與自適應學習結合。如可以利用 LDA 的分類結果等參數判斷是否應該選擇樣本加入訓練數據,適應長期 MI 實驗中被試可能產生的疲勞現象[39]。再如,可以基于概率加權 K 值最近鄰(probabilistic weighted KNN,PWKNN)算法豐富訓練數據集,并以無監督自適應的方式執行分類器的集成。該方法在 BCI 競賽 IV 數據集 IIb 上取得 74.65% 的平均分類準確率,遠高于其他非自適應的集成方法。
自適應學習策略還常常與模糊系統相關聯。模糊系統的基礎是模糊邏輯(fuzzy logic,FL),其使用一組 IF-THEN 規則表示從給定輸入到輸出的映射。在定義輸入和輸出空間后,通過隸屬度函數定義相應的模糊集,可以將模糊規則應用到系統中[40]。自適應神經模糊推理系統(adaptive neuro-fuzzy interface system,ANFIS)在利用模糊系統優勢的同時,可以自行對模糊規則進行調整。一種典型的 ANFIS 結構如圖 4[41]所示。在輸入 x1 與 x2 被模糊化后,分別計算其模糊規則的激勵強度并進行歸一化。此后,計算各條規則的結果,通過去模糊化得到輸出結果 y。而基于 ANFIS 的遞歸結構使每個 ANFIS 針對一類 MI-EEG 信號進行訓練,以區分多類 MI-EEG 信號,可在在線實驗中取得 85.52% 的分類準確率[41]。
BCI 通常需要面向在線甚至實時應用,這也需要分類算法適應 EEG 信號在 MI 過程的變化。相較于光明的前景,自適應學習方法(尤其是無監督的自適應學習方法)研究內容反而略顯不充分。這一方向值得更深入的探索與討論,其在 MI-EEG 信號的分類中可能會發揮更重要的作用。
2.3 遷移學習
被試的性別、年齡、情緒等因素,都會影響被試 MI 任務的表現,導致被試內與被試間數據分布的變異性。遷移學習被引入 MI-EEG 信號的分類,以緩解這些變異性帶來的問題[42]。在給出遷移學習的定義前,需要先給出域 及任務
的定義:
![]() |
![]() |
式(6)中, 表示特征空間,X 表示特定的學習樣本,P(X)表示 X 的邊際概率分布。式(7)中,
表示標注空間,f(·)表示預測函數。對于源域
與目標域
及其對應的源任務
與目標任務
,遷移學習的定義為:在
≠
或
≠
的前提下,利用
與
的知識,改善目標預測函數 fT(·)。即在源域與目標域不同或源任務與目標任務不同的情況下,通過源域及目標域中的知識,改善目標任務[43]。
遷移學習在 MI-EEG 信號的分類領域有著廣泛的應用。例如,基于有監督加權邏輯回歸的遷移學習方法(supervised weighted logistic regression-based transfer learning,S-wLTL)將正則化參數添加到分類器的目標函數中,以使分類參數盡可能接近其他相似被試的分類參數,在 BCI 競賽 IV 數據集 IIa 上取得 75.6% 的平均分類準確率,高于 CSP 與 SVM 結合的 70.4%[44]。再如,使用其他被試的 MI-EEG 信號對 CNN 模型進行預訓練,并通過微調策略進一步訓練個體模型,在跨被試分類中可以取得 75.9% 的準確率[45]。
遷移學習也存在著一些問題,如遷移不足和負遷移。遷移不足意味著遷移學習的效果不明顯或達不到預期,通常是因為遷移的知識與目標域不匹配,需要調整訓練方式,學習適合于目標域的表示方法。而負遷移指遷移學習對目標域中的任務產生負面影響,通常是因為目標域和源域之間差異過大,需要添加正則化等約束條件解決[46]。盡管存在著上述不足,遷移學習在跨時間、跨被試,乃至跨數據集的 MI-EEG 信號分類中起著重要的作用,不失為邁向無校準 BCI 系統的關鍵步驟[47]。
3 結論
如前所述,MI-EEG 信號的分類領域在近年來出現了一些新的進展。在分類器方面,不少研究對傳統分類器進行了適當的改進,而深度學習與黎曼幾何分類器也被引入這一領域。在機器學習策略方面,為提升 MI-EEG 信號分類中的各項性能,集成學習、自適應學習與遷移學習等機器學習策略也與各類分類器緊密結合,從不同的角度提升了分類器的性能。
分類準確率與魯棒性是 MI-EEG 信號分類算法的關鍵指標。為提高分類準確率,深度學習嘗試自行學習具有鑒別性的特征,集成學習嘗試結合各分類器的長處,遷移學習則嘗試降低被試內與被試間的數據分布變異性。而為了增強 MI-EEG 信號分類算法的魯棒性,黎曼幾何分類器使用幾何平均值對 EEG 信號進行處理,集成學習使用投票等方式降低方差,自適應學習則嘗試適應 MI-EEG 信號的分類過程中信號的波動。
MI-EEG 信號分類算法的計算復雜度與校準時間也較為重要,直接關系到其能否應用于在線環境。為了減小算法的計算復雜度,一些淺層網絡被提出,亦有降維方法被應用到黎曼幾何分類器中。而自適應學習與遷移學習則為無校準 BCI 系統奠定了基石,在提高算法性能的同時,也改善了用戶的使用體驗。
MI-EEG 信號分類算法依然存在著一些待改進的內容。首先是在保持分類準確率的同時,如何快速得到分類結果的問題,這有助于實現高準確率的在線 MI-EEG 信號分類,促進 BCI 系統的真正落地。其次是如何改進 MI-EEG 信號的分類算法,以面向復合肢體或復雜運動的 MI 任務分類,而這需要類間模糊性更低的分類算法。最后是尋找更適宜同自適應學習與遷移學習相結合的分類器,實現徹底的無校準 MI-BCI 系統。總之,MI-EEG 信號分類算法的進一步發展,依然是挑戰與機遇并存。
利益沖突聲明:本文全體作者均聲明不存在利益沖突。