穩態視覺誘發電位是腦-機接口系統中常用的控制信號之一。基于穩態視覺誘發電位的腦-機接口具有高信息傳輸率、訓練時間短等優點,已成為腦-機接口研究領域的一個重要分支。本文從無監督學習算法、有監督學習算法和深度學習算法三個方面,歸納了近五年穩態視覺誘發電位頻率識別算法研究的主要進展,并展望了值得關注的若干前沿問題和研究方向。
引用本文: 張楊松, 夏敏, 陳科, 徐鵬, 堯德中. 穩態視覺誘發電位頻率識別算法研究進展. 生物醫學工程學雜志, 2022, 39(1): 192-197. doi: 10.7507/1001-5515.202102031 復制
引言
腦-機接口(brain-computer interface,BCI) 是神經工程領域研究中的熱點方向之一,它提供了生物腦與外周設備之間直接交流和控制的一種新通道[1]。近幾十年來,腦-機接口經歷了一個快速發展時期,在腦認知、腦疾病、智能控制、康復醫學等眾多領域得到了廣泛應用,已經成為人-機混合智能發展的核心技術。隨著腦-機接口技術的發展,一個新興交叉學科?腦器交互學(Bacomics)被學者提出[2]。
腦-機接口中常見的實驗范式主要包括:事件相關電位(event-related potential,ERP)、運動想象(motor imagery,MI)、穩態視覺誘發電位(steady-state visual evoked potential,SSVEP)等。其中,基于SSVEP的腦-機接口具有高信息傳輸率、訓練時間短等優點,已成為一個重要的研究分支。SSVEP是周期性(大于4 Hz)視覺刺激在大腦中誘發的一種響應,它具有與視覺刺激編碼頻率相同的基頻及其諧波頻率成分。至今,基于SSVEP的腦-機接口在實驗范式、頻率識別算法、應用等方面得到快速發展,信息傳輸率已超過300 bits/min,控制命令數量達到了160個[3-4]。
SSVEP頻率識別的主要任務是通過對腦電信號的分析處理確定受試者所注視的目標視覺刺激的編碼頻率,進而實現對應字符的選擇或指令執行。早期的SSVEP頻率識別算法,已有相關的綜述性文章進行了總結[5]。近些年來,隨著科技發展,一些新的方法,尤其是深度學習算法,越來越多地引入到SSVEP腦電信號的分析處理中。為此,本文根據近五年發表文獻的研究工作,從無監督學習算法、有監督學習算法以及深度學習算法三個方面來介紹SSVEP頻率識別相關算法研究進展,總結當前研究所面臨的挑戰,以及展望未來重點研究方向,相關內容將為推動SSVEP的研究和應用提供研究思路和方法參考。
在本文中,統一將非深度學習相關算法稱為傳統算法,將不需要受試者自身訓練數據的SSVEP頻率識別算法歸類為無監督學習算法,而將需要受試者自身的訓練數據的算法歸類為有監督學習算法。
1 基于無監督學習的傳統算法
早期的基于無監督學習的SSVEP頻率識別算法采用快速傅里葉變換(fast Fourier transform,FFT)提取頻譜特征,從而進行頻率識別。這類方法需要優化選擇電極,且需要較大的時間窗長才能得到較高的識別準確率,之后逐漸被其他方法所替代。
自2007年開始,基于多導腦電信號的頻率識別算法開展的研究和應用越來越普遍。其中,有一類算法是利用統計學習方法來獲得腦電信號的空間濾波器(spatial filters,SF),進而優化組合多導腦電信號,提高頻率識別準確率。最具有代表性的是基于典型相關分析(canonical correlation analysis,CCA)的方法[6]。該方法采用正弦函數構造各個頻率下的參考信號,然后利用多變量統計方法CCA來計算腦電信號與各參考信號之間的相關系數,將相關系數最大的參考信號的頻率作為算法輸出[6]。由于CCA算法的良好性能,后續很多研究人員從不同角度對其進一步改進。其中,最值得一提的是基于濾波器組的CCA(filter bank CCA,FBCCA)算法[7]。該算法通過引入多頻帶濾波器組技術和特征融合方法,有效地利用了SSVEP腦電信號的諧波特征,顯著提升了原始CCA的性能。當前,濾波器組技術已經成為各種頻率識別算法提升性能的重要策略[8]。
另一類算法則通過信號處理和統計方法直接提取分類特征,無需計算空間濾波器。例如,基于多變量同步指數(multivariate synchronization index,MSI)的頻率識別算法[9]。該算法利用S-估計算子計算腦電信號與各參考信號之間的同步指數作為頻率識別特征。后續其他相關研究表明,將局部時間信息約束和延時嵌入約束融入MSI算法設計,可進一步提升性能[10-11]。
對于不同的SSVEP頻率識別算法,通常具有不同的理論基礎和實現方法,沒有統一的算法框架。 直到2020年,Wong等[12]對常見的算法進行了深入的理論分析與探討,提出了一種統一的算法框架。在該算法框架下,現有的一些算法,如CCA和MSI等,都可以從時間濾波、正交投影和空間濾波等方面建模為廣義特征值求解問題。基于該算法框架,作者進一步對現有的一些算法提出了改進方案。該算法框架同時適用于一些常用的有監督學習算法,可為后續算法研究提供理論指導。
以往的無監督頻率識別算法都采用固定時間窗長策略,即用于單次頻率識別的腦電信號時間長度是固定的。由于腦電信號的復雜性、非平穩性以及受試者的差異性,采用這種固定時間窗長的腦-機接口系統性能往往達不到最優。近幾年,研究人員開始采用自適應動態時間窗(dynamic window,DW)的方式來設計和優化頻率識別算法,改進腦-機接口系統性能[13]。
基于以上的內容可以看出,無監督的頻率識別算法的研究一方面集中在發掘新理論設計新算法,另一方面則是通過采用一些策略來進一步提升已有算法的性能,例如濾波器組、局部時間信息約束、動態時間窗等。
2 基于有監督學習的傳統算法
基于無監督學習的這類算法,在小指令集腦-機接口系統中取得了不錯的性能,但是在大指令集系統中性能會差很多,因此無法滿足實際應用需求[14]。在大指令集的系統中,算法主要采用有監督學習算法。在現有的有監督學習算法中,一部分是研究如何借助于受試者的腦電信號來設計算法優化參考信號,另一部分是研究如何設計性能更優的頻率識別算法,例如各種以空間濾波器為基礎的算法。
2.1 參考信號優化算法
基于正弦函數構造的參考信號在早期的研究中取得了很好的效果,尤其是系統中的編碼頻率數量較少時。但是,這類參考信號缺乏真實腦電信號的生理特性,且不能體現出個體差異性。
早期,一種簡單的方法是將受試者在各個編碼頻率下的訓練數據進行跨試次平均,進而得到各個編碼頻率下的參考信號[15]。相比于這種簡單的操作,一些復雜的基于機器學習和信號處理的參考信號優化方法也逐漸被提出,例如多層相關最大化模型(multilayer correlation maximization model)等[16]。
2.2 基于空間濾波器的頻率識別算法
近幾年,研究人員開始考慮采用受試者自身的數據來開展算法設計,其中基于空間濾波器的頻率識別算法受到了廣泛關注。這類算法通過利用受試者自身的訓練數據,得到腦電信號的空間濾波器。其中,一種具有代表性的算法是基于任務相關成分分析(task-related component analysis,TRCA)的頻率識別算法[3]。TRCA算法最早用于近紅外光譜數據分析,其核心思想是通過最大化不同試次腦電信號之間的協方差(inter-trial covariance)來得到空間濾波器,進而提取任務相關成分(task-related components)。2018年,Nakanishi等[3]將TRCA方法引入到SSVEP頻率識別中,在具有40個指令集的腦電數據集上獲得了325 bits/min 的信息傳輸率。此外,還出現了一些其他高性能的方法,例如基于相關成分分析(correlated component analysis,CORRCA)的頻率識別方法[17],最大化信號分數分析(maximum signal fraction analysis,MSFA)方法[18]等,這些算法近兩年得到廣泛關注和應用。
在原始的TRCA、CORRCA 、MSFA等方法中,利用訓練數據可以得到各編碼頻率上的多個空間濾波器。但是,這些算法僅采用最大特征值所對應的空間濾波器,忽略了其他的空間濾波器。針對這一問題,Zhang等[19]提出了一種融合空間和頻帶特征的層級框架,通過非線性加權的方式組合了基于各編碼頻率的所有空間濾波器產生的特征,提升了CORRCA算法性能。隨后,該框架也被用于改進MSFA算法[20]。此外,原始TRCA算法中,在學習某個頻率下的空間濾波器時,僅僅使用了該頻率所對應的SSVEP腦電信號,而忽略了其他頻率的SSVEP腦電信號。為此,Wong等[21]提出了一種跨多個視覺刺激的學習機制。在構造某種編碼頻率下的空間濾波器時,同時考慮與它相鄰的其他編碼頻率所對應的SSVEP腦電信號。實際上,Wong等[21]提出的方法也同樣適用于CORRCA 、MSFA等其他方法。
與無監督學習算法類似,在以往的有監督學習算法中,用于分類的單個試次的腦電信號時間窗長也是固定的。針對這一問題,Jiang等[22]提出了基于貝葉斯估計(Bayesian estimation,BE)和判別分析(discriminant analysis,DA)兩種方案的動態終止策略(dynamic stopping strategies,DSS),動態確定單次頻率識別所需的時間窗長,從而進一步提升了TRCA和CCA算法的性能。
此外,對不同頻率識別算法進行融合也是改善SSVEP腦電信號頻率識別準確率的可行方案之一。例如,Zhao等[23]提出了一種決策選擇器(decision-making selector,DMS)的方案來融合兩種算法的輸出,從而提升頻率識別準確率。
3 基于深度學習的算法
深度學習已在圖像、語音、文本等領域的研究取得了顯著的進展,越來越受到研究人員的關注。在腦-機接口領域,研究人員也逐步開展基于深度學習的算法研究[24]。近些年,深度學習方法被應用到SSVEP腦電信號的分析處理中[25]。例如,2017年,Kwak等[26]提了一種簡單的三層卷積神經網絡模型,用于分析五種視覺刺激編碼頻率的腦電數據。2020年,Ravi等[27]提出了一種四層卷積神經網絡模型,對比分析了采用受試者自身的數據(模式1)和跨受試者(其他受試者)的數據(模式2)訓練模型得到的結果。在相同的深度學習模型上,基于模式1與模式2所得到的分類結果差異具有統計學意義,結果表明基于跨受試者數據訓練的深度學習模型還有待更深入的研究。另外,Ravi等[27]還研究了腦電信號的不同輸入形式對分類結果的影響,發現復數頻譜特征(complex spectrum features)作為模型輸入可得到更好的結果。
在構建深度學習模型方面,部分研究工作開始嘗試將傳統頻率識別算法中的一些技術融入進來。Dang等[28]提出了一種多分支結構的深度學習模型,首先采用FFT將SSVEP腦電信號分成不同諧波頻段信號,分別輸入并行卷積網絡模塊學習腦電信號的不同諧波頻帶特征,最后將這些特征進行融合并完成分類。Li等[29]提出一種卷積相關分析(convolutional correlation analysis)深度學習模型。該模型首先用兩個并行的卷積網絡分支分別提取腦電信號和三維參考信號的特征,然后用一個相關層(correlation layer)計算兩種特征的相關系數大小,最后再接一個全連接層用于分類。此外,Guney等[30]提出一種具有四個卷積層和一個全連接層的深度神經網絡模型。該模型借鑒了傳統的多頻帶濾波器組技術思想,將腦電信號分解為多個頻帶的信號作為模型的輸入。從這幾項研究可以看出,今后可以進一步借鑒傳統算法的一些技術思想來設計深度學習模型,以更好地分析處理腦電信號。
雖然現有的基于深度學習的頻率識別算法已取得較大的成功,但仍然存在亟待解決的問題。例如,系統中視覺刺激數量很少,用于單次分類的數據時間窗長較大,需要用受試者自身的數據開展模型訓練等。除了利用深度學習模型來實現頻率識別,還有研究利用深度神經網絡模型來設計參考信號[31],利用生成對抗網絡(generative adversarial networks,GAN)來生成SSVEP腦電信號[32]。這些研究也進一步證實了深度學習算法在SSVEP腦電信號分析處理中的有效性和可行性,值得今后進一步深入研究。
4 總結與展望
綜上所述, SSVEP頻率識別算法研究已取得了一系列重要進展,相應的腦-機接口系統的性能得到了很大的提升。無監督學習算法在小指令集腦-機接口系統中可以取得比較好的效果,而在大指令集腦-機接口系統中效果往往較差。因此,在大指令集系統中,類似于TRCA的有監督學習算法使用較多。然而,有監督學習算法需要有足夠多的來自于受試者的有標簽訓練數據,但采集訓練數據的過程不僅增加了受試者的疲勞程度,也降低了受試者的體驗感。對一些特殊人群(如側索硬化癥患者)來說,要獲得足夠多的訓練數據并不可行。因此,如何減少或消除用戶在使用系統前采集訓練數據的過程、改善用戶體驗,實現即插即用的(plug-and-play)系統,不僅是基于SSVEP的腦-機接口系統從實驗室走向實際應用亟待解決的難題,也是其他模態的腦-機接口系統所面臨的共性問題。發展高效的頻率識別算法將是解決這一難題的重要途徑,未來可借助于新的理論和技術,例如遷移學習、深度學習等,發展無訓練數據的頻率識別算法。
4.1 遷移學習
為了減少甚至消除訓練過程,可以借助遷移學習理論和技術,從多個角度入手研究如何利用跨域(across domains)腦電數據,即跨受試者、跨設備、跨實驗組(session),來設計高性能算法[33-35]。例如,利用已有數據獲得目標受試者的有效參考信號、腦電信號空間濾波器等,從而減少目標受試者的訓練過程,改善腦-機接口的用戶體驗。
當前,研究人員已經開展了一些相應的研究工作。例如,Wong等[34]利用CCA和多變量線性回歸(multivariate linear regression,MLR)等技術,采用受試者自身和跨受試者的數據來學習目標受試者的SSVEP參考信號和空間濾波器。Chiang等[35]提出了一種廣義的SSVEP腦-機接口遷移學習框架,該框架基于最小二乘變換(least-squares transformation,LST),利用不同實驗組、受試者和腦電信號采集設備等條件下的訓練數據,來得到SSVEP參考信號,進而改進傳統算法性能。
以上提到的兩項研究有效地利用了跨域數據,但仍然需要目標受試者的部分訓練數據。
從已有文獻報道的結果來看,由于腦電信號的非線性、非平穩性以及個體化差異,直接利用跨域腦電數據來訓練算法,仍然存在較大的改進空間。因此,要實現無目標受試者訓練數據條件下的高性能遷移學習算法,還有待進一步研究與探索。
4.2 深度學習
不同于傳統機器學習算法,深度學習算法可以同步實現特征自動學習和分類器優化。從近些年國內外的研究成果來看,深度學習在腦科學中的應用方興未艾,具有極大潛力[24]。在大樣本的數據資源支持下,深度學習為人們解決腦電信號分析中的實際問題提供了新的方案和技術[36],也為腦-機接口算法設計提供了新的方法和工具,將是今后重要的研究方向。
當前的研究表明,深度學習在SSVEP腦電信號上的應用是可行的。但是,絕大多數深度學習算法主要應用在小指令集腦-機接口系統上,單次頻率識別時間窗較長,基于跨受試者訓練數據的算法性能還遠低于基于受試者自身訓練數據的算法性能。為了推進腦-機接口的實際應用,發展面向大指令集腦-機接口系統的高性能深度學習算法是亟待研究的課題。最近,一項研究采用了基于多任務學習(multi-task learning,MTL)的深度學習模型,在40個指令集上識別準確率達到92%,這為今后大指令集頻率識別算法研究提供了新的思路[37]。
一方面,腦電數據有別于圖像、文本等類型的數據。在腦電數據的研究中,可以借鑒其他領域最新的深度學習理論和技術,但不能簡單地照搬,需要根據腦電信號自身的時間、空間、頻率等特性,針對性地設計相應的深度學習模型結構。另一方面,在腦-機接口領域,要獲取充足的訓練數據往往需要花費大量的人力、財力和物力成本。一種可行的解決方案是,采用生成式深度學習算法實現腦電數據的自動生成,從而擴展數據集。利用已有的腦電數據集和模型生成的數據集,深度學習算法有望實現腦-機接口受試者零訓練的分類推理模式。近年公開的SSVEP大數據集,為深度學習在該方向上的應用研究提供了很好的數據源[14]。
隨著信號處理、人工智能等技術的飛速發展,腦-機接口研究也正在向“大樣本、大數據、大平臺、大合作”模式轉變。為此,應協同國內高校和科研院所的優勢力量,激活多學科交叉潛力,開展長期和系統的聯合攻關研究,促進SSVEP頻率識別算法研究取得更大的突破,也進一步推進基于SSVEP的腦-機接口在各領域的應用。
重要聲明
利益沖突聲明:本文全體作者均聲明不存在利益沖突。
作者貢獻聲明:張楊松為綜述主要撰寫人,完成文獻資料的整理收集與分析,論文初稿的撰寫;夏敏、陳科、徐鵬參與文獻資料分析,論文修改;堯德中參與論文修改和審校,為論文的負責人。
引言
腦-機接口(brain-computer interface,BCI) 是神經工程領域研究中的熱點方向之一,它提供了生物腦與外周設備之間直接交流和控制的一種新通道[1]。近幾十年來,腦-機接口經歷了一個快速發展時期,在腦認知、腦疾病、智能控制、康復醫學等眾多領域得到了廣泛應用,已經成為人-機混合智能發展的核心技術。隨著腦-機接口技術的發展,一個新興交叉學科?腦器交互學(Bacomics)被學者提出[2]。
腦-機接口中常見的實驗范式主要包括:事件相關電位(event-related potential,ERP)、運動想象(motor imagery,MI)、穩態視覺誘發電位(steady-state visual evoked potential,SSVEP)等。其中,基于SSVEP的腦-機接口具有高信息傳輸率、訓練時間短等優點,已成為一個重要的研究分支。SSVEP是周期性(大于4 Hz)視覺刺激在大腦中誘發的一種響應,它具有與視覺刺激編碼頻率相同的基頻及其諧波頻率成分。至今,基于SSVEP的腦-機接口在實驗范式、頻率識別算法、應用等方面得到快速發展,信息傳輸率已超過300 bits/min,控制命令數量達到了160個[3-4]。
SSVEP頻率識別的主要任務是通過對腦電信號的分析處理確定受試者所注視的目標視覺刺激的編碼頻率,進而實現對應字符的選擇或指令執行。早期的SSVEP頻率識別算法,已有相關的綜述性文章進行了總結[5]。近些年來,隨著科技發展,一些新的方法,尤其是深度學習算法,越來越多地引入到SSVEP腦電信號的分析處理中。為此,本文根據近五年發表文獻的研究工作,從無監督學習算法、有監督學習算法以及深度學習算法三個方面來介紹SSVEP頻率識別相關算法研究進展,總結當前研究所面臨的挑戰,以及展望未來重點研究方向,相關內容將為推動SSVEP的研究和應用提供研究思路和方法參考。
在本文中,統一將非深度學習相關算法稱為傳統算法,將不需要受試者自身訓練數據的SSVEP頻率識別算法歸類為無監督學習算法,而將需要受試者自身的訓練數據的算法歸類為有監督學習算法。
1 基于無監督學習的傳統算法
早期的基于無監督學習的SSVEP頻率識別算法采用快速傅里葉變換(fast Fourier transform,FFT)提取頻譜特征,從而進行頻率識別。這類方法需要優化選擇電極,且需要較大的時間窗長才能得到較高的識別準確率,之后逐漸被其他方法所替代。
自2007年開始,基于多導腦電信號的頻率識別算法開展的研究和應用越來越普遍。其中,有一類算法是利用統計學習方法來獲得腦電信號的空間濾波器(spatial filters,SF),進而優化組合多導腦電信號,提高頻率識別準確率。最具有代表性的是基于典型相關分析(canonical correlation analysis,CCA)的方法[6]。該方法采用正弦函數構造各個頻率下的參考信號,然后利用多變量統計方法CCA來計算腦電信號與各參考信號之間的相關系數,將相關系數最大的參考信號的頻率作為算法輸出[6]。由于CCA算法的良好性能,后續很多研究人員從不同角度對其進一步改進。其中,最值得一提的是基于濾波器組的CCA(filter bank CCA,FBCCA)算法[7]。該算法通過引入多頻帶濾波器組技術和特征融合方法,有效地利用了SSVEP腦電信號的諧波特征,顯著提升了原始CCA的性能。當前,濾波器組技術已經成為各種頻率識別算法提升性能的重要策略[8]。
另一類算法則通過信號處理和統計方法直接提取分類特征,無需計算空間濾波器。例如,基于多變量同步指數(multivariate synchronization index,MSI)的頻率識別算法[9]。該算法利用S-估計算子計算腦電信號與各參考信號之間的同步指數作為頻率識別特征。后續其他相關研究表明,將局部時間信息約束和延時嵌入約束融入MSI算法設計,可進一步提升性能[10-11]。
對于不同的SSVEP頻率識別算法,通常具有不同的理論基礎和實現方法,沒有統一的算法框架。 直到2020年,Wong等[12]對常見的算法進行了深入的理論分析與探討,提出了一種統一的算法框架。在該算法框架下,現有的一些算法,如CCA和MSI等,都可以從時間濾波、正交投影和空間濾波等方面建模為廣義特征值求解問題。基于該算法框架,作者進一步對現有的一些算法提出了改進方案。該算法框架同時適用于一些常用的有監督學習算法,可為后續算法研究提供理論指導。
以往的無監督頻率識別算法都采用固定時間窗長策略,即用于單次頻率識別的腦電信號時間長度是固定的。由于腦電信號的復雜性、非平穩性以及受試者的差異性,采用這種固定時間窗長的腦-機接口系統性能往往達不到最優。近幾年,研究人員開始采用自適應動態時間窗(dynamic window,DW)的方式來設計和優化頻率識別算法,改進腦-機接口系統性能[13]。
基于以上的內容可以看出,無監督的頻率識別算法的研究一方面集中在發掘新理論設計新算法,另一方面則是通過采用一些策略來進一步提升已有算法的性能,例如濾波器組、局部時間信息約束、動態時間窗等。
2 基于有監督學習的傳統算法
基于無監督學習的這類算法,在小指令集腦-機接口系統中取得了不錯的性能,但是在大指令集系統中性能會差很多,因此無法滿足實際應用需求[14]。在大指令集的系統中,算法主要采用有監督學習算法。在現有的有監督學習算法中,一部分是研究如何借助于受試者的腦電信號來設計算法優化參考信號,另一部分是研究如何設計性能更優的頻率識別算法,例如各種以空間濾波器為基礎的算法。
2.1 參考信號優化算法
基于正弦函數構造的參考信號在早期的研究中取得了很好的效果,尤其是系統中的編碼頻率數量較少時。但是,這類參考信號缺乏真實腦電信號的生理特性,且不能體現出個體差異性。
早期,一種簡單的方法是將受試者在各個編碼頻率下的訓練數據進行跨試次平均,進而得到各個編碼頻率下的參考信號[15]。相比于這種簡單的操作,一些復雜的基于機器學習和信號處理的參考信號優化方法也逐漸被提出,例如多層相關最大化模型(multilayer correlation maximization model)等[16]。
2.2 基于空間濾波器的頻率識別算法
近幾年,研究人員開始考慮采用受試者自身的數據來開展算法設計,其中基于空間濾波器的頻率識別算法受到了廣泛關注。這類算法通過利用受試者自身的訓練數據,得到腦電信號的空間濾波器。其中,一種具有代表性的算法是基于任務相關成分分析(task-related component analysis,TRCA)的頻率識別算法[3]。TRCA算法最早用于近紅外光譜數據分析,其核心思想是通過最大化不同試次腦電信號之間的協方差(inter-trial covariance)來得到空間濾波器,進而提取任務相關成分(task-related components)。2018年,Nakanishi等[3]將TRCA方法引入到SSVEP頻率識別中,在具有40個指令集的腦電數據集上獲得了325 bits/min 的信息傳輸率。此外,還出現了一些其他高性能的方法,例如基于相關成分分析(correlated component analysis,CORRCA)的頻率識別方法[17],最大化信號分數分析(maximum signal fraction analysis,MSFA)方法[18]等,這些算法近兩年得到廣泛關注和應用。
在原始的TRCA、CORRCA 、MSFA等方法中,利用訓練數據可以得到各編碼頻率上的多個空間濾波器。但是,這些算法僅采用最大特征值所對應的空間濾波器,忽略了其他的空間濾波器。針對這一問題,Zhang等[19]提出了一種融合空間和頻帶特征的層級框架,通過非線性加權的方式組合了基于各編碼頻率的所有空間濾波器產生的特征,提升了CORRCA算法性能。隨后,該框架也被用于改進MSFA算法[20]。此外,原始TRCA算法中,在學習某個頻率下的空間濾波器時,僅僅使用了該頻率所對應的SSVEP腦電信號,而忽略了其他頻率的SSVEP腦電信號。為此,Wong等[21]提出了一種跨多個視覺刺激的學習機制。在構造某種編碼頻率下的空間濾波器時,同時考慮與它相鄰的其他編碼頻率所對應的SSVEP腦電信號。實際上,Wong等[21]提出的方法也同樣適用于CORRCA 、MSFA等其他方法。
與無監督學習算法類似,在以往的有監督學習算法中,用于分類的單個試次的腦電信號時間窗長也是固定的。針對這一問題,Jiang等[22]提出了基于貝葉斯估計(Bayesian estimation,BE)和判別分析(discriminant analysis,DA)兩種方案的動態終止策略(dynamic stopping strategies,DSS),動態確定單次頻率識別所需的時間窗長,從而進一步提升了TRCA和CCA算法的性能。
此外,對不同頻率識別算法進行融合也是改善SSVEP腦電信號頻率識別準確率的可行方案之一。例如,Zhao等[23]提出了一種決策選擇器(decision-making selector,DMS)的方案來融合兩種算法的輸出,從而提升頻率識別準確率。
3 基于深度學習的算法
深度學習已在圖像、語音、文本等領域的研究取得了顯著的進展,越來越受到研究人員的關注。在腦-機接口領域,研究人員也逐步開展基于深度學習的算法研究[24]。近些年,深度學習方法被應用到SSVEP腦電信號的分析處理中[25]。例如,2017年,Kwak等[26]提了一種簡單的三層卷積神經網絡模型,用于分析五種視覺刺激編碼頻率的腦電數據。2020年,Ravi等[27]提出了一種四層卷積神經網絡模型,對比分析了采用受試者自身的數據(模式1)和跨受試者(其他受試者)的數據(模式2)訓練模型得到的結果。在相同的深度學習模型上,基于模式1與模式2所得到的分類結果差異具有統計學意義,結果表明基于跨受試者數據訓練的深度學習模型還有待更深入的研究。另外,Ravi等[27]還研究了腦電信號的不同輸入形式對分類結果的影響,發現復數頻譜特征(complex spectrum features)作為模型輸入可得到更好的結果。
在構建深度學習模型方面,部分研究工作開始嘗試將傳統頻率識別算法中的一些技術融入進來。Dang等[28]提出了一種多分支結構的深度學習模型,首先采用FFT將SSVEP腦電信號分成不同諧波頻段信號,分別輸入并行卷積網絡模塊學習腦電信號的不同諧波頻帶特征,最后將這些特征進行融合并完成分類。Li等[29]提出一種卷積相關分析(convolutional correlation analysis)深度學習模型。該模型首先用兩個并行的卷積網絡分支分別提取腦電信號和三維參考信號的特征,然后用一個相關層(correlation layer)計算兩種特征的相關系數大小,最后再接一個全連接層用于分類。此外,Guney等[30]提出一種具有四個卷積層和一個全連接層的深度神經網絡模型。該模型借鑒了傳統的多頻帶濾波器組技術思想,將腦電信號分解為多個頻帶的信號作為模型的輸入。從這幾項研究可以看出,今后可以進一步借鑒傳統算法的一些技術思想來設計深度學習模型,以更好地分析處理腦電信號。
雖然現有的基于深度學習的頻率識別算法已取得較大的成功,但仍然存在亟待解決的問題。例如,系統中視覺刺激數量很少,用于單次分類的數據時間窗長較大,需要用受試者自身的數據開展模型訓練等。除了利用深度學習模型來實現頻率識別,還有研究利用深度神經網絡模型來設計參考信號[31],利用生成對抗網絡(generative adversarial networks,GAN)來生成SSVEP腦電信號[32]。這些研究也進一步證實了深度學習算法在SSVEP腦電信號分析處理中的有效性和可行性,值得今后進一步深入研究。
4 總結與展望
綜上所述, SSVEP頻率識別算法研究已取得了一系列重要進展,相應的腦-機接口系統的性能得到了很大的提升。無監督學習算法在小指令集腦-機接口系統中可以取得比較好的效果,而在大指令集腦-機接口系統中效果往往較差。因此,在大指令集系統中,類似于TRCA的有監督學習算法使用較多。然而,有監督學習算法需要有足夠多的來自于受試者的有標簽訓練數據,但采集訓練數據的過程不僅增加了受試者的疲勞程度,也降低了受試者的體驗感。對一些特殊人群(如側索硬化癥患者)來說,要獲得足夠多的訓練數據并不可行。因此,如何減少或消除用戶在使用系統前采集訓練數據的過程、改善用戶體驗,實現即插即用的(plug-and-play)系統,不僅是基于SSVEP的腦-機接口系統從實驗室走向實際應用亟待解決的難題,也是其他模態的腦-機接口系統所面臨的共性問題。發展高效的頻率識別算法將是解決這一難題的重要途徑,未來可借助于新的理論和技術,例如遷移學習、深度學習等,發展無訓練數據的頻率識別算法。
4.1 遷移學習
為了減少甚至消除訓練過程,可以借助遷移學習理論和技術,從多個角度入手研究如何利用跨域(across domains)腦電數據,即跨受試者、跨設備、跨實驗組(session),來設計高性能算法[33-35]。例如,利用已有數據獲得目標受試者的有效參考信號、腦電信號空間濾波器等,從而減少目標受試者的訓練過程,改善腦-機接口的用戶體驗。
當前,研究人員已經開展了一些相應的研究工作。例如,Wong等[34]利用CCA和多變量線性回歸(multivariate linear regression,MLR)等技術,采用受試者自身和跨受試者的數據來學習目標受試者的SSVEP參考信號和空間濾波器。Chiang等[35]提出了一種廣義的SSVEP腦-機接口遷移學習框架,該框架基于最小二乘變換(least-squares transformation,LST),利用不同實驗組、受試者和腦電信號采集設備等條件下的訓練數據,來得到SSVEP參考信號,進而改進傳統算法性能。
以上提到的兩項研究有效地利用了跨域數據,但仍然需要目標受試者的部分訓練數據。
從已有文獻報道的結果來看,由于腦電信號的非線性、非平穩性以及個體化差異,直接利用跨域腦電數據來訓練算法,仍然存在較大的改進空間。因此,要實現無目標受試者訓練數據條件下的高性能遷移學習算法,還有待進一步研究與探索。
4.2 深度學習
不同于傳統機器學習算法,深度學習算法可以同步實現特征自動學習和分類器優化。從近些年國內外的研究成果來看,深度學習在腦科學中的應用方興未艾,具有極大潛力[24]。在大樣本的數據資源支持下,深度學習為人們解決腦電信號分析中的實際問題提供了新的方案和技術[36],也為腦-機接口算法設計提供了新的方法和工具,將是今后重要的研究方向。
當前的研究表明,深度學習在SSVEP腦電信號上的應用是可行的。但是,絕大多數深度學習算法主要應用在小指令集腦-機接口系統上,單次頻率識別時間窗較長,基于跨受試者訓練數據的算法性能還遠低于基于受試者自身訓練數據的算法性能。為了推進腦-機接口的實際應用,發展面向大指令集腦-機接口系統的高性能深度學習算法是亟待研究的課題。最近,一項研究采用了基于多任務學習(multi-task learning,MTL)的深度學習模型,在40個指令集上識別準確率達到92%,這為今后大指令集頻率識別算法研究提供了新的思路[37]。
一方面,腦電數據有別于圖像、文本等類型的數據。在腦電數據的研究中,可以借鑒其他領域最新的深度學習理論和技術,但不能簡單地照搬,需要根據腦電信號自身的時間、空間、頻率等特性,針對性地設計相應的深度學習模型結構。另一方面,在腦-機接口領域,要獲取充足的訓練數據往往需要花費大量的人力、財力和物力成本。一種可行的解決方案是,采用生成式深度學習算法實現腦電數據的自動生成,從而擴展數據集。利用已有的腦電數據集和模型生成的數據集,深度學習算法有望實現腦-機接口受試者零訓練的分類推理模式。近年公開的SSVEP大數據集,為深度學習在該方向上的應用研究提供了很好的數據源[14]。
隨著信號處理、人工智能等技術的飛速發展,腦-機接口研究也正在向“大樣本、大數據、大平臺、大合作”模式轉變。為此,應協同國內高校和科研院所的優勢力量,激活多學科交叉潛力,開展長期和系統的聯合攻關研究,促進SSVEP頻率識別算法研究取得更大的突破,也進一步推進基于SSVEP的腦-機接口在各領域的應用。
重要聲明
利益沖突聲明:本文全體作者均聲明不存在利益沖突。
作者貢獻聲明:張楊松為綜述主要撰寫人,完成文獻資料的整理收集與分析,論文初稿的撰寫;夏敏、陳科、徐鵬參與文獻資料分析,論文修改;堯德中參與論文修改和審校,為論文的負責人。