注意力水平評價是指通過觀察或實驗測試的手段對人的注意力水平進行評價,其研究成果在教育教學、智能駕駛、醫療健康等領域有很大的應用價值。腦電信號憑借其客觀可靠性和安全性成為分析和表達注意力水平的最重要技術手段之一。目前,鮮有綜述文獻對腦電信號在注意力水平評價領域的應用進行全面的梳理總結。為此,本文首先概述了注意力水平評價的研究進展;然后重點剖析了腦電信號注意力水平評價的重要方法,包括數據預處理、特征提取與選擇、注意力水平評價方法等;最后討論了腦電信號注意力水平評價領域當前發展的不足,并對未來發展趨勢進行展望,為相關領域的研究工作者提供參考。
引用本文: 楊文陽, 張文瑄. 基于腦電信號的注意力水平評價研究進展. 生物醫學工程學雜志, 2023, 40(4): 820-828. doi: 10.7507/1001-5515.202208085 復制
0 引言
近年來,許多國家政府、組織和學者聚焦于腦科學研究,將腦科學視為“終極疆域”[1]。腦科學的發展為進一步探索人類大腦狀態提供了新的思路,當前國內外研究者致力于通過腦科學研究進一步探索人類的注意力水平,提高對自身的全面認知,以尋求改善人類生活的最佳方式。
注意力是指人的心理活動指向和集中于某種事物的能力[2],是一種關注學習和記憶環境中關鍵信息的行為和認知過程。針對注意力水平進行評價有助于探索大腦的認知過程,對于人們日常生活和實踐具有重大意義。在過去的研究中,人們通常采用問卷、量表和試驗測量方法去評價注意力,這些方法無法直接快速地測量受試者的注意力水平,也無法對得到的注意力水平進行實時檢查與反饋[3]。隨著機器學習的大熱,國內外研究人員逐漸將機器學習算法用于注意力水平評價中。Krüger等[4]應用面部檢測和識別來判斷受試者是否在專心學習。然而,面部識別的注意力水平評價方法過于主觀和單一,無法準確評價注意力水平。Kuo等[5]在其設計的注意力感知系統中使用眼動追蹤軟件檢測學生在課堂上的學習注意力。眼動指標雖然能夠提供一些與注意力相關的證據,但它只能檢測到較明顯的視覺注意力轉移,不能夠完全體現學生的注意力水平。隨著腦科學研究與可穿戴設備計算技術的發展,腦電信號被證實可以作為注意力水平評價的最高效、最精準的生理依據之一[6]。通過對腦電信號進行特征提取、特征選擇,利用機器學習分類算法實現對個體注意力水平的評價,從而準確把握人的注意力狀態,此類研究對于后續實現腦電信號神經調節、對外交互具有十分重要的理論意義。
本研究通過對2012-2022年內基于腦電信號的注意力水平評價相關應用文獻進行梳理發現,腦電信號注意力水平評價在教育教學、智能駕駛、醫療健康、游戲娛樂等領域已有十分廣泛的應用。在教育教學領域,Al-Nafjan等[7]將腦電信號注意力水平評價應用于在線學習環境當中,有效識別學生的課堂注意力變化,輔助提高學生學習效率;在智能駕駛領域,Atilla等[8]通過監測行車過程中駕駛員的腦電信號,實現對駕駛員注意力水平的評價,從而對駕駛員做出預警改善其駕駛狀態;在醫療健康領域,基于腦電信號的注意力水平評價被證實可作為兒童注意缺陷多動癥(attention deficit hyperactivity disorder,ADHD)診斷治療的有效手段[9];在游戲娛樂領域,已有相關開發者利用腦電信號傳感器開發出體育射箭隊、腦力男孩等腦電信號控制游戲,在休閑娛樂的同時能夠達到一定的注意力訓練效果[10]。近年來相關領域的應用文獻發表數量和論文被引頻次明顯呈上升趨勢,證明基于腦電信號的注意力研究具有較高的實用價值,未來將持續發揮出巨大潛力。同時研究人員在其應用研究中大都自主設計試驗并采集數據展開研究,主要研究內容仍聚焦于注意力水平評價技術方法的改進上,希望在當前的應用場景下獲得更好的評價效果。但當前的研究中,鮮有綜述文獻對腦電信號在注意力水平評價領域的應用進行全面的梳理總結。基于此,本文對基于腦電信號的注意力水平評價的研究思路和重要方法進行系統總結,使相關研究人員能夠及時了解腦電信號注意力水平評價的研究重點,把握研究領域未來的發展趨勢,以期為相關領域的科研工作者提供一些參考。
1 基于腦電信號的注意力水平評價框架
本文以腦電信號、注意力水平評價等作為關鍵詞分別在愛思唯爾(Elsevier)、科學引文索引(science citation index-expanded,SCI-E)、知網等數據庫進行相關文獻的檢索,結合注意力水平評價的相關工作,認為在后續研究中需要重點關注數據預處理、特征提取與選擇以及注意力水平評價方法三個方面,如圖1所示。因此,根據如圖1所示的分支,進一步有針對性地篩選出包含上述三部分的目標文獻,對這些文獻進行分類梳理。現將本文貢獻總結如下:

(1)簡要回顧了當前注意力水平評價技術的研究現狀、存在問題和未來研究方向。
(2)聚焦于數據預處理、特征提取與選擇、注意力水平評價方法三個關鍵點對注意力水平評價技術進行詳細綜述。
(3)討論總結了腦電信號注意力水平評價研究的現有不足,并對未來發展進行展望。
2 腦電數據預處理
從頭皮上直接提取的腦電信號往往包含多種噪聲和偽跡,如眼電、肌電數據等,不能準確代表大腦的神經活動,因此在分析腦電數據前需要對采集到的原始腦電數據進行預處理和降噪,以減少或消除偽跡的影響[11],提高數據的可用性,保證后續注意力水平評價的正確性不受臟數據的影響。常用的預處理操作主要包括以下步驟:① 濾波。根據感興趣的頻段或偽跡的頻率范圍選擇合適的濾波器,過濾信號中的特定波段頻率,從而有效減少原始腦電數據中的噪聲。常用濾波器包括高通濾波器、低通濾波器、帶通濾波器和凹陷濾波器等,其中凹陷濾波器可去除線性噪聲。濾波的局限性在于只能分離與腦電信號不在同一頻段的噪聲。② 腦電信號分段和基線校正。對刺激事件開始前后的腦電數據進行分段,提取注意力發生變化后腦電信號的變化軌跡,保留原始數據中的部分有效信息,并對每個分段數據各點減去該時段的平均基線值進行基線校正,以減少數據漂移引起的偏差。數據分段需要在濾波操作之后進行,否則先分段后濾波可能會引入濾波偽跡。③ 剔除或插值壞導。對不能準確收集大腦神經生理信息的導聯進行剔除,但大量剔除壞導會導致有效通道的數量太少,不利于后續的數據分析,此外可根據該導聯周圍的正常數據對該導聯進行插值修復,由于被校正的壞導是其他導聯信號的加權和,這在一定程度上會降低腦電信號的空間分辨率。④ 剔除壞段。對存在偽跡的分段試次以及一些異常分布的時段進行剔除,保留有效分段。此外,對于多通道的腦電信號進行降噪去偽可采用盲源分離方法,如獨立主成分分析(independent component analysis,ICA)、典型相關分析(canonical correlation analysis,CCA)等。在腦電信號處理中,ICA能夠合理假設腦電信號與偽跡的獨立性,將原始腦電信號分離為偽跡相關成分和神經活動相關成分,有效剔除被標為偽跡的相關成分[12],因此被廣泛應用于腦電信號的偽跡去除中。CCA在ICA的基礎上更好地考慮到了信號的時間相關性,使用的計算資源更少[13]。如表1所示,為對上述常用腦電信號預處理方法的作用及局限性進行比較。

3 基于腦電信號的注意力特征提取與特征選擇
經過預處理后可以初步得到有效的腦電信號,但仍存在信號中包含注意力無關成分、數據維度較大等問題,會直接影響后續注意力水平評價模型的訓練與識別性能,故需通過特征提取從原始腦電信號中提取出與注意力相關的腦電信號特征,然后通過一定的特征選擇方法再次對提取到的特征數量進行降維,減少特征空間,以提高預測精度,降低后續分類的計算成本。基于此,本節從注意力變化引起的腦電信號響應出發,梳理總結注意力水平評價研究中使用的具體特征,歸納各類特征選擇方法及其優劣性。
3.1 腦電信號注意力特征
在注意力水平評價研究中,常見特征有時域特征、頻域特征、時頻特征、腦網絡特征等。時域特征反映了在不同刺激事件的作用下,即注意力發生變化時,腦電信號在時間維度的波動情況[14],可根據腦電信號的時域波形直接提取波形特征,相對直觀易得。常用于注意力水平評價的腦電信號時域特征有:統計信號(比如均值、方差、幅值、標準差等)、近似熵、模糊熵、樣本熵、高階交叉點等。其中近似熵、模糊熵、樣本熵均用于度量時間序列復雜性,在注意力水平評價中可用于描述同一個人在不同注意力狀態下前后波形序列的自相似程度。近似熵的優點在于需要的數據量相對較少且得到的結果穩健可靠[15],但其結果的一致性較差。Richman等[16]在近似熵的基礎上提出樣本熵,樣本熵具有更好的抗噪和抗干擾能力,其分析結果優于簡單統計參數。印想[17]采用樣本熵作為特征進行注意力水平的識別,通過實驗觀察得到多級注意力狀態下的樣本熵值其差異具有統計學意義。徐魯強等[18]在近似熵基礎上提出改進的模糊熵計算方法,用于提取腦電信號的注意力特征,實驗結果表明該方法能有效表征腦電注意力集中程度的復雜度。上述研究表明,熵值等時域特征在一定程度上能夠表征注意力水平,但熵值的計算普遍較為復雜,不適用于實時注意力檢測。
對經過預處理的腦電信號進行快速傅里葉變換(fast Fourier transform,FFT),可以得到腦電信號的頻域特征。頻域特征能夠描述源信號中各個頻率的強度,表現腦電信號波形隨頻率的變化情況。在注意力水平評價的相關研究中,腦電信號通常被劃分為各種子帶,并提取能量譜、功率譜、功率譜密度、微分熵等頻域特征進行分析。Alirezaei等[19]從原始腦電信號中提取特征時,發現β頻帶的能量特征可以作為評價注意力狀態的重要參照信息。van Son等[20]將受試者的問卷調查結果作為參考,通過實驗對照分析額葉區中前額、中央以及頂額各自通道的腦電數據,得出前額的θ/β功率比值與注意力水平關系更密切。Liu等[21]在受試者執行聽力答題任務時采集其腦電信號用于注意力評估,將α、β、σ、θ和θ/β頻段的能量值作為腦電信號特征進行分析,實驗結果得出,使用所有特征比使用某個或某幾個特征進行分類得到的準確率更高。與時域特征相比,頻域特征能夠表現腦電信號的頻譜變化規律,通過觀察不同波段的變化規律,能夠識別出注意力的變化過程。但在對腦電信號進行頻譜分析時忽略了其中的時間變化特征。
時頻特征體現了不同時間段腦電信號頻率的變化情況,對信號進行時頻分析將信號轉換為時頻域,有利于更全面地觀察信號功率在時頻域的分布情況。常用的時頻分析方法有:短時傅里葉變換(short-time Fourier transform,STFT)、小波變換(wavelet transform,WT)、小波包變換(wavelet packet transform,WPT)、希爾伯特-黃變換(Hilbert-Huang transform,HHT)、時變自回歸(time-varying autoregression,TVAR)模型等,其中WT分為連續小波變換(continuous wavelet transform,CWT)和離散小波變換(discrete wavelet transform,DWT)。Bai等[22]提出可以使用WT對獲取的腦電信號進行分析。王冰冰等[2]利用WT從腦電信號中提取功率譜密度特征,輸入到隨機森林(random forest,RF)模型中進行注意力檢測,在此基礎上開發了一個基于腦電信號的青少年注意力檢測和訓練系統。Clarke等[23]在對注意力水平進行研究時發現,人在集中注意狀態下腦電信號的β波能量升高、θ波能量會降低,因此較多研究人員將θ/β波段的能量比率作為顯著特征[24]。吳歡等[25]對采集的腦電數據從時頻分析的角度進行WPT,提取β/θ波段的能量比值作為特征,對受試者的注意力進行分級研究,取得了良好的效果。相較于時域特征和頻域特征,時頻特征既能體現頻譜特征又能體現時間特征,可有效表征注意力水平。但由于腦電信號等生理信號存在一定個體差異,不同受試者之間的時、頻域特征也有所差別。
腦網絡是大腦空間不同位置的皮質區域通過結構或功能聯系整合起來形成的網絡模式。由于人的大腦網絡結構基本相似,且腦網絡的研究集中于大腦的整體特征上,能夠在一定程度上解決傳統腦電信號特征中存在的個體差異問題,此外腦網絡特征更能反映整個大腦的工作模式,近年來逐漸有研究人員從腦網絡的角度對注意力進行研究。目前,對注意力的腦網絡研究主要有功能磁共振成像(functional magnetic resonance imaging,fMRI)和磁共振成像(magnetic resonance imaging,MRI)兩種方法。楊埔[26]采用fMRI研究注意力網絡成分對應的功能腦網絡結構以及不同成分之間的交互作用,探索注意力系統的神經認知機制。劉素杰[27]選擇頭皮電極作為腦網絡的節點,采用相干系數法與相位鎖相值法度量不同節點的相關關系,并在節點之間建立連邊,構建了注意力功能腦網絡。
3.2 特征選擇
腦電數據往往數據量大、維度高,因此需要對高維數據進行特征選擇或降維,獲得低維可用的特征用于后續的模型訓練,以進一步提高模型訓練效率和預測精度。特征選擇方法能基于特定標準有效去除大量冗余特征,從高維數據提取有效特征,將其轉換為低維表示,縮短模型訓練時間并避免維度災難[11]。
特征選擇方法按學習對象可劃分為無監督學習方法、有監督學習方法和其他機器學習方法。常用的無監督學習方法主要包括:主成分分析法(principal component analysis,PCA)、奇異值分解(singular value decomposition,SVD)、薩蒙(Sammon)映射、線性判別分析(linear discriminant analysis,LDA)、ICA等。PCA運用正交變換將一組相關變量的觀測數據轉換為一組稱為主成分的線性不相關變量,通過忽略數據中低方差的主成分來降低樣本維度,可用于減少時間、頻率、通道、試次和受試者基本信息等包含冗余信息的維度[28],特異度較高。ICA將多變量和隨機信號轉換為具有相互獨立分量的信號,可用于從混合信號中提取獨立分量[12],與PCA相比其準確率和靈敏度更好。Mercado-Aguirre等[29]在ADHD相關研究中對腦電信號提取了功率譜、熵等14種特征,使用PCA在上述14種特征中選擇出9種最具代表性的特征用于后續的分類預測中,有效減少了分類工作的計算復雜度。
常用的有監督學習方法主要分為:過濾類方法、包裝類方法以及嵌入類方法,可利用類標簽減少維度,確保高維數據映射到低維空間。過濾類方法,使用單變量統計技術,對訓練數據中的每個特征根據相關性進行排序,然后根據閾值丟棄部分特征保留剩余特征。由于其與特定算法無關,通用性較強,此外還具有計算成本較低、速度較快等優點,適合超大型數據集。在注意力水平評價中常用的過濾類算法有:基于關聯規則的特征選擇(correlation-based feature selection,CFS)算法、最大相關和最小冗余(max-relevance and min-redundancy,MRMR)算法等。包裝類方法,使用分類或回歸目標函數根據模型的分類權重對特征進行排序,迭代消除權重較小的特征,直到剩余的特征數量滿足要求。其相比過濾類方法具有更高的算法準確率,但算法效率較低。嵌入類方法,即特征選擇與算法訓練同時進行,在使用機器學習算法對模型進行訓練時,計算各個特征的權值系數,根據權值系數的大小對特征進行選擇[30],通常使用支持向量機(support vector machines,SVM)、RF、神經網絡等機器學習方法對特征的權重值進行靈敏度分析。李小偉[31]在注意力識別的研究中提出,將CFS與K最近鄰(k-nearest neighbor,KNN)算法相結合,通過CFS對產生的所有腦電信號特征以與分類標準的關聯度大小為依據進行排序,然后用KNN分類器選取分類效果最優的特征子集,在與決策樹(decision tree,DT)算法選擇的特征子集輸入同一分類算法進行比較后得出,CFS結合KNN的算法具有最佳的分類效果以及最短的算法運行時間,在后續實驗中證實CFS對其他分類算法均可大幅提高分類精度。
此外,也有部分研究人員將其它機器學習方法應用于特征選擇中,這些方法大都通過計算適應度函數,選擇高適應度的特征進行分類。湯永超[24]將遺傳算法用于腦電信號特征選擇中,使用類內、類間距離和巴氏距離作為遺傳算法的適應度函數,通過實驗驗證了該特征選擇算法的有效性。近年來,部分研究人員越來越趨向于對兩種或兩種以上的常規特征選擇算法進行組合,達到多種方法的優勢互補,以獲得更優的特征子集,這將可能成為后續特征研究中的熱點之一。
4 基于腦電信號的注意力水平評價方法
分類識別是注意力水平評價的重要環節,對腦電數據進行預處理以及特征提取后,需要選擇合適的算法模型對腦電信號特征進行分類識別,判斷對應注意力水平的高低。近年來,隨著機器學習方法的不斷發展,逐漸涌現出較多基于機器學習的注意力水平評價方法,深度學習作為機器學習領域的一個新的分支在注意力水平評價中得到了廣泛應用,本節將從傳統機器學習方法和深度學習算法兩個方面對注意力水平評價方法進行對比總結。首先,對本文提及的研究中使用的評價方法及其準確率進行整理,如表2所示。

4.1 傳統機器學習方法
目前,腦電信號注意力水平評價方法中的常用機器學習模型包括SVM、KNN、RF、LDA、DT、樸素貝葉斯(naive Bayes,NB)和人工神經網絡(artificial neural network,ANN)等。
4.1.1 SVM算法
SVM的核心思想是通過在高維空間中構造最優超平面來實現最佳決策邊界[32],它具有良好的泛化能力,在有限數據集的條件下也能可靠高效地完成分類任務,因此被廣泛應用于腦電信號注意力水平評價的研究當中。湯永超[24]在注意力分析中同時使用SVM和反向傳播(back propagation,BP)神經網絡對腦電信號進行分類,研究結果顯示SVM在分類準確率和分類效率上表現更佳。劉家俊[33]在研究教學過程中學生的注意力是否集中時,使用SVM分類器將腦電信號分為注意力集中和注意力分散兩類,產生了良好的分類效果。
4.1.2 KNN算法
KNN是一種用于回歸和分類問題的監督學習算法[11],由于其原理簡單易于理解和應用,且具有相對較高的收斂速度,可有效應用于腦電信號相關的分類識別當中,但由于其計算復雜度較高,對維數災難較敏感,因此僅適合對樣本容量適中的訓練數據進行分類[7]。Li等[34]設計了一個通過分析腦電信號即時測量受試者注意力水平的系統,研究采用基于自我評估(self-assessment manikin,SAM)模型,使用KNN對受試者注意力水平進行三分類,在實時識別的同時能夠達到較高的識別準確率。Ghasemy等[35]設計開發了一個針對視障學生的注意力水平評價系統,該系統將KNN、NB、SVM以及正則化參數為c的SVM(c-SVM)相結合,獲得了較高的視覺注意力檢測準確率。
4.1.3 RF算法
RF是一種應用集成學習處理分類和回歸問題的有效方法,通常由多個DT組成,最終結果類由所有決策樹的多數票所決定,因此在保證較高計算效率的同時可大幅降低錯誤率并防止過擬合。Al-Nafjan等[7]在對學習注意力的研究中,將提出的RF模型與KNN、SVM等傳統機器學習方法進行比較,RF取得了更好的分類結果,其分類準確率高達96%,充分證明RF能夠有效區分受試者的注意力狀態。
綜上,對參考文獻中出現的所有傳統機器學習方法在腦電信號注意力水平評價研究中存在的優缺點及魯棒性進行整理比較,如表3所示。

機器學習方法為注意力水平評價的研究開辟了新思路,與傳統的注意力水平評價方法相比,其大幅提高了評價效率,但傳統機器學習方法對于腦電信號特征的表示始終有限,這也是制約當前研究發展的主要因素之一。相關研究人員希望通過對機器學習方法進行改進或采用多種算法相結合的方式獲得更高的評價準確率,或將目光投向深度學習算法,以期待通過該方法進一步挖掘腦電信號的深層特征表示,突破傳統機器學習方法在腦電信號注意力水平評價領域的應用瓶頸。
4.2 深度學習算法
深度學習為機器學習的一個分支,通常依賴于ANN,傳統的神經網絡由兩三個隱藏層組成,深度神經網絡可能包括數百個隱藏層。深度學習算法的優點在于能夠直接從原始信號中自動學習和提取多級特征表示,相比傳統的機器學習方法擁有更為強大的計算能力[36],因此在基于腦電信號的注意力水平評價研究中得到廣泛應用。腦電信號分析應用中最常用的深度學習算法有卷積神經網絡(convolutional neural network,CNN)、深度信念網絡(deep belief network,DBN)、長短期記憶網絡(long short-term memory network,LSTM)等。
CNN的多個卷積層能夠提取不同的局部時間特征和空間特征,有效降低網絡復雜度、減少訓練參數數量,易于訓練和優化,表現出強魯棒性和高容錯性,因此被廣泛應用于注意力水平評價領域[37]。Wang等[38]將通過STFT獲取的功率譜密度作為特征,輸入到基于CNN的個性化分類器中,在檢測受試者注意力方面取得了良好性能。Hassan等[39]使用WT從腦電信號中提取特征,設計了基于CNN和LSTM的注意力識別模型,對受試者的注意力水平識別準確率達到89%。Toa等[40]使用腦電信號采集設備收集受試者在試驗期間注意力集中和分散行為的數據,通過卷積注意力記憶神經網絡(convolution attention memory neural network,CAMNN)模型對采集到的數據進行分析,對受試者的注意力水平進行分類;研究結果表明,該模型的識別準確率高達92%,優于現有的其他神經網絡模型。通過對比研究,深度學習算法在對注意力水平評價時能夠取得更佳的評價效果,隨著深度學習算法的不斷發展與成熟,將會成為注意力水平評價的重要研究方法,未來基于深度學習算法的改進模型或多模型集成框架將會在基于腦電信號的注意力水平評價方面有著更廣泛的應用。
5 總結與展望
基于腦電信號的注意力水平評價作為橫跨認知神經科學、計算機科學、生物醫學等多個領域的新興研究,具有廣闊的應用前景,近年來引起了國內外研究者的廣泛關注。本文系統回顧了基于腦電信號的注意力水平評價技術,并圍繞腦電數據預處理、特征選擇與特征提取以及基于機器學習和深度學習的注意力水平評價方法對該技術進行了深層次的總結。
總體來說,基于腦電信號的注意力水平評價研究已取得一定的研究成果。但是,當前的研究還遠遠不夠,故對該領域研究當前所存在的不足作出以下總結:
(1)缺乏權威公開的數據集和統一的實驗數據采集范式
目前國內外幾乎沒有公開的用于注意力水平評價的腦電信號數據集,不同研究人員在研究中均采用自己采集的腦電數據,由于試驗環境、傳感器設備以及數據采集方式的不同,得到的實驗數據質量參差不齊,導致最終的實驗結果之間存在較大差別。此外,自行采集的數據集依賴于受試者自我報告的注意力水平,將收集的腦電數據與相應的注意力狀態進行匹配時,不同受試者的報告值可能存在較大差異。從而無法與其他研究成果進行大范圍的橫向對比,不利于該領域的發展。因此在當前的研究基礎上,應建立大型高質量的注意力相關的腦電數據集,此外,對于注意力水平評價在不同領域的應用,需要建立針對該領域的特定數據集,如在臨床環境中的應用,需要包含特定健康狀況患者數據的數據集。
(2)最能體現注意力水平的腦區和頻段尚未明確
最能夠體現注意力水平的電極目前仍沒有嚴格定論。腦電數據往往數量大、維度高,在進行特征選擇時無法排除一些與注意力水平評價無關的通道和頻段,將會產生大量冗余數據,嚴重影響后期的注意力水平評價效果。因此需要對與注意力水平高度相關的電極和頻段展開更深層次的研究,不斷優化關于注意力的腦電信號特征提取方法。
(3)腦電數據存在個體差異性
不同受試者在生理、心理等方面存在一定差異,面對相同的試驗誘導材料,不同個體的大腦反應可能不盡相同,即使腦狀態相同,引起生理信號的變化也會有所差別。目前多通過優化機器學習算法弱化個體間生理信號差異性帶來的影響,但得到的效果良莠不齊。后續研究中,構建個性化且泛化能力較好的注意力水平評價模型可能成為另一種更具普適性的解決方法。
當前注意力水平評價中的研究對象重點集中于腦電信號,腦電信號雖被證明可獨立表達注意力水平,但單模態模型的優化有一定局限性,從多模態進行綜合考量得到的評價結果往往更具參考性,因此基于多模態融合的注意力水平評價將會是該領域的發展趨勢。除腦電信號外,注意力狀態的變化也會導致眼電、肌電等生理信號的模式或結構發生變化。在腦電信號注意力水平評價研究中,加入眼電信號檢測出的眨眼特征能夠表現出更好的識別準確率[41];肌電信號主要反映肌肉活動的信息和神經狀態,與腦電信號結合能夠輔助評價一些患有疾病的人(如腦癱患者等)的注意力狀態[42]。在后續注意力水平評價的研究工作中,利用腦電、眼電、肌電等生理信號在注意力水平表達中的互補性,展開基于多模態生理信號融合的注意力水平評價研究,將可能成為未來的研究方向之一。
深度學習算法與注意力水平評價技術的進一步融合將會成為研究人員在該領域新的突破口,注意力是一種關注關鍵信息的認知過程,其產生與變化具有主觀性、復雜性,僅基于傳統機器學習方法提出的評價方法不足以完全解碼注意力,深度學習算法的快速發展將為深度注意力特征提取、深度注意力特征融合的研究提供新思路。未來隨著對注意力等腦狀態相關理論認知規模的進一步提升和傳感器、半導體制造相關科技的不斷創新,基于腦電信號的注意力水平評價將從實驗優勢走向現實應用,進一步發揮其應用價值,創造更大的社會效益。
重要聲明
利益沖突聲明:本文全體作者均聲明不存在利益沖突。
作者貢獻聲明:楊文陽負責提出論文主題、設計思路、結構,文章部分內容撰寫和修改;張文瑄負責文獻查新、研讀、文章部分內容整理和審閱修改工作。
0 引言
近年來,許多國家政府、組織和學者聚焦于腦科學研究,將腦科學視為“終極疆域”[1]。腦科學的發展為進一步探索人類大腦狀態提供了新的思路,當前國內外研究者致力于通過腦科學研究進一步探索人類的注意力水平,提高對自身的全面認知,以尋求改善人類生活的最佳方式。
注意力是指人的心理活動指向和集中于某種事物的能力[2],是一種關注學習和記憶環境中關鍵信息的行為和認知過程。針對注意力水平進行評價有助于探索大腦的認知過程,對于人們日常生活和實踐具有重大意義。在過去的研究中,人們通常采用問卷、量表和試驗測量方法去評價注意力,這些方法無法直接快速地測量受試者的注意力水平,也無法對得到的注意力水平進行實時檢查與反饋[3]。隨著機器學習的大熱,國內外研究人員逐漸將機器學習算法用于注意力水平評價中。Krüger等[4]應用面部檢測和識別來判斷受試者是否在專心學習。然而,面部識別的注意力水平評價方法過于主觀和單一,無法準確評價注意力水平。Kuo等[5]在其設計的注意力感知系統中使用眼動追蹤軟件檢測學生在課堂上的學習注意力。眼動指標雖然能夠提供一些與注意力相關的證據,但它只能檢測到較明顯的視覺注意力轉移,不能夠完全體現學生的注意力水平。隨著腦科學研究與可穿戴設備計算技術的發展,腦電信號被證實可以作為注意力水平評價的最高效、最精準的生理依據之一[6]。通過對腦電信號進行特征提取、特征選擇,利用機器學習分類算法實現對個體注意力水平的評價,從而準確把握人的注意力狀態,此類研究對于后續實現腦電信號神經調節、對外交互具有十分重要的理論意義。
本研究通過對2012-2022年內基于腦電信號的注意力水平評價相關應用文獻進行梳理發現,腦電信號注意力水平評價在教育教學、智能駕駛、醫療健康、游戲娛樂等領域已有十分廣泛的應用。在教育教學領域,Al-Nafjan等[7]將腦電信號注意力水平評價應用于在線學習環境當中,有效識別學生的課堂注意力變化,輔助提高學生學習效率;在智能駕駛領域,Atilla等[8]通過監測行車過程中駕駛員的腦電信號,實現對駕駛員注意力水平的評價,從而對駕駛員做出預警改善其駕駛狀態;在醫療健康領域,基于腦電信號的注意力水平評價被證實可作為兒童注意缺陷多動癥(attention deficit hyperactivity disorder,ADHD)診斷治療的有效手段[9];在游戲娛樂領域,已有相關開發者利用腦電信號傳感器開發出體育射箭隊、腦力男孩等腦電信號控制游戲,在休閑娛樂的同時能夠達到一定的注意力訓練效果[10]。近年來相關領域的應用文獻發表數量和論文被引頻次明顯呈上升趨勢,證明基于腦電信號的注意力研究具有較高的實用價值,未來將持續發揮出巨大潛力。同時研究人員在其應用研究中大都自主設計試驗并采集數據展開研究,主要研究內容仍聚焦于注意力水平評價技術方法的改進上,希望在當前的應用場景下獲得更好的評價效果。但當前的研究中,鮮有綜述文獻對腦電信號在注意力水平評價領域的應用進行全面的梳理總結。基于此,本文對基于腦電信號的注意力水平評價的研究思路和重要方法進行系統總結,使相關研究人員能夠及時了解腦電信號注意力水平評價的研究重點,把握研究領域未來的發展趨勢,以期為相關領域的科研工作者提供一些參考。
1 基于腦電信號的注意力水平評價框架
本文以腦電信號、注意力水平評價等作為關鍵詞分別在愛思唯爾(Elsevier)、科學引文索引(science citation index-expanded,SCI-E)、知網等數據庫進行相關文獻的檢索,結合注意力水平評價的相關工作,認為在后續研究中需要重點關注數據預處理、特征提取與選擇以及注意力水平評價方法三個方面,如圖1所示。因此,根據如圖1所示的分支,進一步有針對性地篩選出包含上述三部分的目標文獻,對這些文獻進行分類梳理。現將本文貢獻總結如下:

(1)簡要回顧了當前注意力水平評價技術的研究現狀、存在問題和未來研究方向。
(2)聚焦于數據預處理、特征提取與選擇、注意力水平評價方法三個關鍵點對注意力水平評價技術進行詳細綜述。
(3)討論總結了腦電信號注意力水平評價研究的現有不足,并對未來發展進行展望。
2 腦電數據預處理
從頭皮上直接提取的腦電信號往往包含多種噪聲和偽跡,如眼電、肌電數據等,不能準確代表大腦的神經活動,因此在分析腦電數據前需要對采集到的原始腦電數據進行預處理和降噪,以減少或消除偽跡的影響[11],提高數據的可用性,保證后續注意力水平評價的正確性不受臟數據的影響。常用的預處理操作主要包括以下步驟:① 濾波。根據感興趣的頻段或偽跡的頻率范圍選擇合適的濾波器,過濾信號中的特定波段頻率,從而有效減少原始腦電數據中的噪聲。常用濾波器包括高通濾波器、低通濾波器、帶通濾波器和凹陷濾波器等,其中凹陷濾波器可去除線性噪聲。濾波的局限性在于只能分離與腦電信號不在同一頻段的噪聲。② 腦電信號分段和基線校正。對刺激事件開始前后的腦電數據進行分段,提取注意力發生變化后腦電信號的變化軌跡,保留原始數據中的部分有效信息,并對每個分段數據各點減去該時段的平均基線值進行基線校正,以減少數據漂移引起的偏差。數據分段需要在濾波操作之后進行,否則先分段后濾波可能會引入濾波偽跡。③ 剔除或插值壞導。對不能準確收集大腦神經生理信息的導聯進行剔除,但大量剔除壞導會導致有效通道的數量太少,不利于后續的數據分析,此外可根據該導聯周圍的正常數據對該導聯進行插值修復,由于被校正的壞導是其他導聯信號的加權和,這在一定程度上會降低腦電信號的空間分辨率。④ 剔除壞段。對存在偽跡的分段試次以及一些異常分布的時段進行剔除,保留有效分段。此外,對于多通道的腦電信號進行降噪去偽可采用盲源分離方法,如獨立主成分分析(independent component analysis,ICA)、典型相關分析(canonical correlation analysis,CCA)等。在腦電信號處理中,ICA能夠合理假設腦電信號與偽跡的獨立性,將原始腦電信號分離為偽跡相關成分和神經活動相關成分,有效剔除被標為偽跡的相關成分[12],因此被廣泛應用于腦電信號的偽跡去除中。CCA在ICA的基礎上更好地考慮到了信號的時間相關性,使用的計算資源更少[13]。如表1所示,為對上述常用腦電信號預處理方法的作用及局限性進行比較。

3 基于腦電信號的注意力特征提取與特征選擇
經過預處理后可以初步得到有效的腦電信號,但仍存在信號中包含注意力無關成分、數據維度較大等問題,會直接影響后續注意力水平評價模型的訓練與識別性能,故需通過特征提取從原始腦電信號中提取出與注意力相關的腦電信號特征,然后通過一定的特征選擇方法再次對提取到的特征數量進行降維,減少特征空間,以提高預測精度,降低后續分類的計算成本。基于此,本節從注意力變化引起的腦電信號響應出發,梳理總結注意力水平評價研究中使用的具體特征,歸納各類特征選擇方法及其優劣性。
3.1 腦電信號注意力特征
在注意力水平評價研究中,常見特征有時域特征、頻域特征、時頻特征、腦網絡特征等。時域特征反映了在不同刺激事件的作用下,即注意力發生變化時,腦電信號在時間維度的波動情況[14],可根據腦電信號的時域波形直接提取波形特征,相對直觀易得。常用于注意力水平評價的腦電信號時域特征有:統計信號(比如均值、方差、幅值、標準差等)、近似熵、模糊熵、樣本熵、高階交叉點等。其中近似熵、模糊熵、樣本熵均用于度量時間序列復雜性,在注意力水平評價中可用于描述同一個人在不同注意力狀態下前后波形序列的自相似程度。近似熵的優點在于需要的數據量相對較少且得到的結果穩健可靠[15],但其結果的一致性較差。Richman等[16]在近似熵的基礎上提出樣本熵,樣本熵具有更好的抗噪和抗干擾能力,其分析結果優于簡單統計參數。印想[17]采用樣本熵作為特征進行注意力水平的識別,通過實驗觀察得到多級注意力狀態下的樣本熵值其差異具有統計學意義。徐魯強等[18]在近似熵基礎上提出改進的模糊熵計算方法,用于提取腦電信號的注意力特征,實驗結果表明該方法能有效表征腦電注意力集中程度的復雜度。上述研究表明,熵值等時域特征在一定程度上能夠表征注意力水平,但熵值的計算普遍較為復雜,不適用于實時注意力檢測。
對經過預處理的腦電信號進行快速傅里葉變換(fast Fourier transform,FFT),可以得到腦電信號的頻域特征。頻域特征能夠描述源信號中各個頻率的強度,表現腦電信號波形隨頻率的變化情況。在注意力水平評價的相關研究中,腦電信號通常被劃分為各種子帶,并提取能量譜、功率譜、功率譜密度、微分熵等頻域特征進行分析。Alirezaei等[19]從原始腦電信號中提取特征時,發現β頻帶的能量特征可以作為評價注意力狀態的重要參照信息。van Son等[20]將受試者的問卷調查結果作為參考,通過實驗對照分析額葉區中前額、中央以及頂額各自通道的腦電數據,得出前額的θ/β功率比值與注意力水平關系更密切。Liu等[21]在受試者執行聽力答題任務時采集其腦電信號用于注意力評估,將α、β、σ、θ和θ/β頻段的能量值作為腦電信號特征進行分析,實驗結果得出,使用所有特征比使用某個或某幾個特征進行分類得到的準確率更高。與時域特征相比,頻域特征能夠表現腦電信號的頻譜變化規律,通過觀察不同波段的變化規律,能夠識別出注意力的變化過程。但在對腦電信號進行頻譜分析時忽略了其中的時間變化特征。
時頻特征體現了不同時間段腦電信號頻率的變化情況,對信號進行時頻分析將信號轉換為時頻域,有利于更全面地觀察信號功率在時頻域的分布情況。常用的時頻分析方法有:短時傅里葉變換(short-time Fourier transform,STFT)、小波變換(wavelet transform,WT)、小波包變換(wavelet packet transform,WPT)、希爾伯特-黃變換(Hilbert-Huang transform,HHT)、時變自回歸(time-varying autoregression,TVAR)模型等,其中WT分為連續小波變換(continuous wavelet transform,CWT)和離散小波變換(discrete wavelet transform,DWT)。Bai等[22]提出可以使用WT對獲取的腦電信號進行分析。王冰冰等[2]利用WT從腦電信號中提取功率譜密度特征,輸入到隨機森林(random forest,RF)模型中進行注意力檢測,在此基礎上開發了一個基于腦電信號的青少年注意力檢測和訓練系統。Clarke等[23]在對注意力水平進行研究時發現,人在集中注意狀態下腦電信號的β波能量升高、θ波能量會降低,因此較多研究人員將θ/β波段的能量比率作為顯著特征[24]。吳歡等[25]對采集的腦電數據從時頻分析的角度進行WPT,提取β/θ波段的能量比值作為特征,對受試者的注意力進行分級研究,取得了良好的效果。相較于時域特征和頻域特征,時頻特征既能體現頻譜特征又能體現時間特征,可有效表征注意力水平。但由于腦電信號等生理信號存在一定個體差異,不同受試者之間的時、頻域特征也有所差別。
腦網絡是大腦空間不同位置的皮質區域通過結構或功能聯系整合起來形成的網絡模式。由于人的大腦網絡結構基本相似,且腦網絡的研究集中于大腦的整體特征上,能夠在一定程度上解決傳統腦電信號特征中存在的個體差異問題,此外腦網絡特征更能反映整個大腦的工作模式,近年來逐漸有研究人員從腦網絡的角度對注意力進行研究。目前,對注意力的腦網絡研究主要有功能磁共振成像(functional magnetic resonance imaging,fMRI)和磁共振成像(magnetic resonance imaging,MRI)兩種方法。楊埔[26]采用fMRI研究注意力網絡成分對應的功能腦網絡結構以及不同成分之間的交互作用,探索注意力系統的神經認知機制。劉素杰[27]選擇頭皮電極作為腦網絡的節點,采用相干系數法與相位鎖相值法度量不同節點的相關關系,并在節點之間建立連邊,構建了注意力功能腦網絡。
3.2 特征選擇
腦電數據往往數據量大、維度高,因此需要對高維數據進行特征選擇或降維,獲得低維可用的特征用于后續的模型訓練,以進一步提高模型訓練效率和預測精度。特征選擇方法能基于特定標準有效去除大量冗余特征,從高維數據提取有效特征,將其轉換為低維表示,縮短模型訓練時間并避免維度災難[11]。
特征選擇方法按學習對象可劃分為無監督學習方法、有監督學習方法和其他機器學習方法。常用的無監督學習方法主要包括:主成分分析法(principal component analysis,PCA)、奇異值分解(singular value decomposition,SVD)、薩蒙(Sammon)映射、線性判別分析(linear discriminant analysis,LDA)、ICA等。PCA運用正交變換將一組相關變量的觀測數據轉換為一組稱為主成分的線性不相關變量,通過忽略數據中低方差的主成分來降低樣本維度,可用于減少時間、頻率、通道、試次和受試者基本信息等包含冗余信息的維度[28],特異度較高。ICA將多變量和隨機信號轉換為具有相互獨立分量的信號,可用于從混合信號中提取獨立分量[12],與PCA相比其準確率和靈敏度更好。Mercado-Aguirre等[29]在ADHD相關研究中對腦電信號提取了功率譜、熵等14種特征,使用PCA在上述14種特征中選擇出9種最具代表性的特征用于后續的分類預測中,有效減少了分類工作的計算復雜度。
常用的有監督學習方法主要分為:過濾類方法、包裝類方法以及嵌入類方法,可利用類標簽減少維度,確保高維數據映射到低維空間。過濾類方法,使用單變量統計技術,對訓練數據中的每個特征根據相關性進行排序,然后根據閾值丟棄部分特征保留剩余特征。由于其與特定算法無關,通用性較強,此外還具有計算成本較低、速度較快等優點,適合超大型數據集。在注意力水平評價中常用的過濾類算法有:基于關聯規則的特征選擇(correlation-based feature selection,CFS)算法、最大相關和最小冗余(max-relevance and min-redundancy,MRMR)算法等。包裝類方法,使用分類或回歸目標函數根據模型的分類權重對特征進行排序,迭代消除權重較小的特征,直到剩余的特征數量滿足要求。其相比過濾類方法具有更高的算法準確率,但算法效率較低。嵌入類方法,即特征選擇與算法訓練同時進行,在使用機器學習算法對模型進行訓練時,計算各個特征的權值系數,根據權值系數的大小對特征進行選擇[30],通常使用支持向量機(support vector machines,SVM)、RF、神經網絡等機器學習方法對特征的權重值進行靈敏度分析。李小偉[31]在注意力識別的研究中提出,將CFS與K最近鄰(k-nearest neighbor,KNN)算法相結合,通過CFS對產生的所有腦電信號特征以與分類標準的關聯度大小為依據進行排序,然后用KNN分類器選取分類效果最優的特征子集,在與決策樹(decision tree,DT)算法選擇的特征子集輸入同一分類算法進行比較后得出,CFS結合KNN的算法具有最佳的分類效果以及最短的算法運行時間,在后續實驗中證實CFS對其他分類算法均可大幅提高分類精度。
此外,也有部分研究人員將其它機器學習方法應用于特征選擇中,這些方法大都通過計算適應度函數,選擇高適應度的特征進行分類。湯永超[24]將遺傳算法用于腦電信號特征選擇中,使用類內、類間距離和巴氏距離作為遺傳算法的適應度函數,通過實驗驗證了該特征選擇算法的有效性。近年來,部分研究人員越來越趨向于對兩種或兩種以上的常規特征選擇算法進行組合,達到多種方法的優勢互補,以獲得更優的特征子集,這將可能成為后續特征研究中的熱點之一。
4 基于腦電信號的注意力水平評價方法
分類識別是注意力水平評價的重要環節,對腦電數據進行預處理以及特征提取后,需要選擇合適的算法模型對腦電信號特征進行分類識別,判斷對應注意力水平的高低。近年來,隨著機器學習方法的不斷發展,逐漸涌現出較多基于機器學習的注意力水平評價方法,深度學習作為機器學習領域的一個新的分支在注意力水平評價中得到了廣泛應用,本節將從傳統機器學習方法和深度學習算法兩個方面對注意力水平評價方法進行對比總結。首先,對本文提及的研究中使用的評價方法及其準確率進行整理,如表2所示。

4.1 傳統機器學習方法
目前,腦電信號注意力水平評價方法中的常用機器學習模型包括SVM、KNN、RF、LDA、DT、樸素貝葉斯(naive Bayes,NB)和人工神經網絡(artificial neural network,ANN)等。
4.1.1 SVM算法
SVM的核心思想是通過在高維空間中構造最優超平面來實現最佳決策邊界[32],它具有良好的泛化能力,在有限數據集的條件下也能可靠高效地完成分類任務,因此被廣泛應用于腦電信號注意力水平評價的研究當中。湯永超[24]在注意力分析中同時使用SVM和反向傳播(back propagation,BP)神經網絡對腦電信號進行分類,研究結果顯示SVM在分類準確率和分類效率上表現更佳。劉家俊[33]在研究教學過程中學生的注意力是否集中時,使用SVM分類器將腦電信號分為注意力集中和注意力分散兩類,產生了良好的分類效果。
4.1.2 KNN算法
KNN是一種用于回歸和分類問題的監督學習算法[11],由于其原理簡單易于理解和應用,且具有相對較高的收斂速度,可有效應用于腦電信號相關的分類識別當中,但由于其計算復雜度較高,對維數災難較敏感,因此僅適合對樣本容量適中的訓練數據進行分類[7]。Li等[34]設計了一個通過分析腦電信號即時測量受試者注意力水平的系統,研究采用基于自我評估(self-assessment manikin,SAM)模型,使用KNN對受試者注意力水平進行三分類,在實時識別的同時能夠達到較高的識別準確率。Ghasemy等[35]設計開發了一個針對視障學生的注意力水平評價系統,該系統將KNN、NB、SVM以及正則化參數為c的SVM(c-SVM)相結合,獲得了較高的視覺注意力檢測準確率。
4.1.3 RF算法
RF是一種應用集成學習處理分類和回歸問題的有效方法,通常由多個DT組成,最終結果類由所有決策樹的多數票所決定,因此在保證較高計算效率的同時可大幅降低錯誤率并防止過擬合。Al-Nafjan等[7]在對學習注意力的研究中,將提出的RF模型與KNN、SVM等傳統機器學習方法進行比較,RF取得了更好的分類結果,其分類準確率高達96%,充分證明RF能夠有效區分受試者的注意力狀態。
綜上,對參考文獻中出現的所有傳統機器學習方法在腦電信號注意力水平評價研究中存在的優缺點及魯棒性進行整理比較,如表3所示。

機器學習方法為注意力水平評價的研究開辟了新思路,與傳統的注意力水平評價方法相比,其大幅提高了評價效率,但傳統機器學習方法對于腦電信號特征的表示始終有限,這也是制約當前研究發展的主要因素之一。相關研究人員希望通過對機器學習方法進行改進或采用多種算法相結合的方式獲得更高的評價準確率,或將目光投向深度學習算法,以期待通過該方法進一步挖掘腦電信號的深層特征表示,突破傳統機器學習方法在腦電信號注意力水平評價領域的應用瓶頸。
4.2 深度學習算法
深度學習為機器學習的一個分支,通常依賴于ANN,傳統的神經網絡由兩三個隱藏層組成,深度神經網絡可能包括數百個隱藏層。深度學習算法的優點在于能夠直接從原始信號中自動學習和提取多級特征表示,相比傳統的機器學習方法擁有更為強大的計算能力[36],因此在基于腦電信號的注意力水平評價研究中得到廣泛應用。腦電信號分析應用中最常用的深度學習算法有卷積神經網絡(convolutional neural network,CNN)、深度信念網絡(deep belief network,DBN)、長短期記憶網絡(long short-term memory network,LSTM)等。
CNN的多個卷積層能夠提取不同的局部時間特征和空間特征,有效降低網絡復雜度、減少訓練參數數量,易于訓練和優化,表現出強魯棒性和高容錯性,因此被廣泛應用于注意力水平評價領域[37]。Wang等[38]將通過STFT獲取的功率譜密度作為特征,輸入到基于CNN的個性化分類器中,在檢測受試者注意力方面取得了良好性能。Hassan等[39]使用WT從腦電信號中提取特征,設計了基于CNN和LSTM的注意力識別模型,對受試者的注意力水平識別準確率達到89%。Toa等[40]使用腦電信號采集設備收集受試者在試驗期間注意力集中和分散行為的數據,通過卷積注意力記憶神經網絡(convolution attention memory neural network,CAMNN)模型對采集到的數據進行分析,對受試者的注意力水平進行分類;研究結果表明,該模型的識別準確率高達92%,優于現有的其他神經網絡模型。通過對比研究,深度學習算法在對注意力水平評價時能夠取得更佳的評價效果,隨著深度學習算法的不斷發展與成熟,將會成為注意力水平評價的重要研究方法,未來基于深度學習算法的改進模型或多模型集成框架將會在基于腦電信號的注意力水平評價方面有著更廣泛的應用。
5 總結與展望
基于腦電信號的注意力水平評價作為橫跨認知神經科學、計算機科學、生物醫學等多個領域的新興研究,具有廣闊的應用前景,近年來引起了國內外研究者的廣泛關注。本文系統回顧了基于腦電信號的注意力水平評價技術,并圍繞腦電數據預處理、特征選擇與特征提取以及基于機器學習和深度學習的注意力水平評價方法對該技術進行了深層次的總結。
總體來說,基于腦電信號的注意力水平評價研究已取得一定的研究成果。但是,當前的研究還遠遠不夠,故對該領域研究當前所存在的不足作出以下總結:
(1)缺乏權威公開的數據集和統一的實驗數據采集范式
目前國內外幾乎沒有公開的用于注意力水平評價的腦電信號數據集,不同研究人員在研究中均采用自己采集的腦電數據,由于試驗環境、傳感器設備以及數據采集方式的不同,得到的實驗數據質量參差不齊,導致最終的實驗結果之間存在較大差別。此外,自行采集的數據集依賴于受試者自我報告的注意力水平,將收集的腦電數據與相應的注意力狀態進行匹配時,不同受試者的報告值可能存在較大差異。從而無法與其他研究成果進行大范圍的橫向對比,不利于該領域的發展。因此在當前的研究基礎上,應建立大型高質量的注意力相關的腦電數據集,此外,對于注意力水平評價在不同領域的應用,需要建立針對該領域的特定數據集,如在臨床環境中的應用,需要包含特定健康狀況患者數據的數據集。
(2)最能體現注意力水平的腦區和頻段尚未明確
最能夠體現注意力水平的電極目前仍沒有嚴格定論。腦電數據往往數量大、維度高,在進行特征選擇時無法排除一些與注意力水平評價無關的通道和頻段,將會產生大量冗余數據,嚴重影響后期的注意力水平評價效果。因此需要對與注意力水平高度相關的電極和頻段展開更深層次的研究,不斷優化關于注意力的腦電信號特征提取方法。
(3)腦電數據存在個體差異性
不同受試者在生理、心理等方面存在一定差異,面對相同的試驗誘導材料,不同個體的大腦反應可能不盡相同,即使腦狀態相同,引起生理信號的變化也會有所差別。目前多通過優化機器學習算法弱化個體間生理信號差異性帶來的影響,但得到的效果良莠不齊。后續研究中,構建個性化且泛化能力較好的注意力水平評價模型可能成為另一種更具普適性的解決方法。
當前注意力水平評價中的研究對象重點集中于腦電信號,腦電信號雖被證明可獨立表達注意力水平,但單模態模型的優化有一定局限性,從多模態進行綜合考量得到的評價結果往往更具參考性,因此基于多模態融合的注意力水平評價將會是該領域的發展趨勢。除腦電信號外,注意力狀態的變化也會導致眼電、肌電等生理信號的模式或結構發生變化。在腦電信號注意力水平評價研究中,加入眼電信號檢測出的眨眼特征能夠表現出更好的識別準確率[41];肌電信號主要反映肌肉活動的信息和神經狀態,與腦電信號結合能夠輔助評價一些患有疾病的人(如腦癱患者等)的注意力狀態[42]。在后續注意力水平評價的研究工作中,利用腦電、眼電、肌電等生理信號在注意力水平表達中的互補性,展開基于多模態生理信號融合的注意力水平評價研究,將可能成為未來的研究方向之一。
深度學習算法與注意力水平評價技術的進一步融合將會成為研究人員在該領域新的突破口,注意力是一種關注關鍵信息的認知過程,其產生與變化具有主觀性、復雜性,僅基于傳統機器學習方法提出的評價方法不足以完全解碼注意力,深度學習算法的快速發展將為深度注意力特征提取、深度注意力特征融合的研究提供新思路。未來隨著對注意力等腦狀態相關理論認知規模的進一步提升和傳感器、半導體制造相關科技的不斷創新,基于腦電信號的注意力水平評價將從實驗優勢走向現實應用,進一步發揮其應用價值,創造更大的社會效益。
重要聲明
利益沖突聲明:本文全體作者均聲明不存在利益沖突。
作者貢獻聲明:楊文陽負責提出論文主題、設計思路、結構,文章部分內容撰寫和修改;張文瑄負責文獻查新、研讀、文章部分內容整理和審閱修改工作。