快速序列視覺呈現腦機接口（RSVP-BCI）是目前基于人腦對目標進行早期發現任務中最為常用的技術，該技術能夠獲取人腦對環境的快速感知。腦電信號（EEG）具有非平穩和信噪比較低的特點，因此在單次試驗中準確解碼大腦活動較為困難。為解決RSVP-BCI技術中單次試驗分類準確率不高的問題，本文提出一種基于時空域混合特征提取的新方法。該方法充分考慮大腦活動的時空模式，分別在時域和空域采用主成分分析（PCA）和共空間模式（CSP）對EEG信號進行特征提取，構成時空混合CSP-PCA（STHCP）方法，通過時域、空域兩次特征提取最大化目標類與非目標類之間的判別距離，有效地降低特征維數。STHCP的單試次解碼曲線下面積（AUC）較三種基準算法［空間加權費希爾（Fisher）線性判決-PCA（SWFP）、CSP及PCA算法］分別提高了17.9%、22.2%及29.2%，為利用RSVP-BCI技術進行快速高效的目標檢測提供了新方法。
引用本文： 崔玉潔, 謝松云, 謝辛舟, 段緒, 高川林. 針對快速序列視覺呈現腦電信號的時空混合特征提取方法. 生物醫學工程學雜志, 2022, 39(1): 39-46. doi: 10.7507/1001-5515.202104049 復制
引言
目標檢測技術在生活中的應用廣泛，如：社區攝像頭畫面監控、利用無人車進行環境偵查等都需要反應迅速、檢測精準的目標檢測技術。目前基于深度學習的目標檢測技術在檢測精度和檢測速度上都有了很大的提高，但是仍然存在算法復雜度較高、計算量較大等問題，無法滿足目標檢測實時性的要求；并且當面對復雜的環境、突發狀況等情況時，也缺乏良好的判別能力[1-2]。人腦依靠人類視覺快速有效地感知周圍環境，并對環境信息進行收集，因此能在較短的時間內準確靈活地對異常、突發等狀況完成識別和反應[3]，充分發揮了人腦在目標檢測中的作用，能夠增強目標檢測系統的靈活性和準確性。快速序列視覺呈現（rapid serial visual presentation，RSVP）—腦機接口（brain computer interface，BCI）(RSVP- BCI）能夠獲取人腦對環境的快速感知[4-7]，因此是目前基于人腦進行目標檢測最為常用的技術。該技術的RSVP范式以較高的圖片呈現率將環境信息呈現給受試者，再通過腦電（electroencephalogram，EEG）信號解碼技術進行實時解碼，能夠在較短的時間內準確地對目標完成檢測和反應。RSVP-BCI技術是一種基于事件相關電位（event related potentials，ERP）的BCI技術，ERP是指與一定的事件或心理活動相關聯的大腦皮層電位的變化[8]。ERP的時間分辨率為毫秒級，能夠代表大腦狀態的實時響應。RSVP-BCI技術可提取目標刺激相關成分P3與N2，P3是ERP特征中目標刺激相關的代表成分，是位于目標刺激出現后的300 ms左右的正峰[9]；N2是刺激出現后200 ms左右的負峰，在選擇注意任務中與P3疊加出現[10]。RSVP-BCI技術中ERP特征提取較為困難，原因如下：① ERP特征的幅值和時延在不同試次之間具有高變異性[11]；② 目標圖像之間間隔變短會造成特征重疊；③ 信噪比低。綜上，單次試驗中ERP特征提取難度較大，普遍存在檢測精度不高的問題。傳統的EEG信號特征提取方法為了克服信噪比較低的缺點，大部分的分析方法都要進行平均，但是試驗次數平均和時間平均都無法在單次試驗中實現[12]，而電極平均又會忽略特征的空域信息，因此很多研究人員開始探究單次試驗中的特征提取方法。此外，一些研究方法通過計算特定頻段內的功率來鑒別大腦活動[13]。這些方法都基于傳統概念，如平均、過濾和單變量假設檢驗等，并沒有完整考慮EEG數據的時空結構。目前RSVP-BCI技術中基于時域、空域的特征提取算法是目前最為有效且具有代表性的單次試驗中的特征提取方法[14]。Parra等[15]提出一種結構化判決成分分析法（hierarchical discriminant component analysis，HDCA），該方法在空間上使用費希爾線性判決（Fisher linear discriminate，FLD）算法計算空間權重，使用邏輯回歸算法計算時間權重。Marathe等[16]認為HDCA算法過于依賴固定時間窗口內的時間特征，因此在HDCA算法的基礎上設計了滑動HDCA（sliding HDCA，sHDCA），該算法在滑動時間窗內使用HDCA算法，使得分類錯誤率減少了50%以上。Fuhrman等[17]設計了HDCA算法的改進算法結構化判決主成分分析（hierarchical discriminant principal component analysis，HDPCA），與HDCA算法不同的是，HDPCA在時域上使用主成分分析算法（principal component analys，PCA）進行特征提取，準確率較HDCA算法有所提升；Fuhrman等[17]認為不同的事件相關的大腦活動都有其獨特的時空模式，使用FLD和PCA分別在空域和時域進行特征提取，設計了空間加權FLD-PCA（spatially weighted FLD-PCA，SWFP）算法，并將該方法與HDPCA和HDCA算法進行對比，分類準確率有所提高。
綜上，HDCA及其衍生算法分別在空域、時域計算導聯權重和時間權重，且存在維度較高、計算量較大等問題。針對上述問題和研究現狀，本文設計了共空間模式（common spatial pattern，CSP）結合PCA算法的時空混合CSP-PCA（spatial-temporal hybrid CSP-PCA，STHCP）特征提取方法。CSP算法在空域最大化目標狀態相關成分（N2、P3），最小化非目標狀態相關成分（背景EEG信號）[18-19]，并且能夠可視化空間模式，增強可解釋性；而PCA算法則是在時域尋找到一個超平面，使得樣本點的投影盡可能分開。STHCP通過時域、空域兩次降維能提升信噪比、減少計算量，為利用RSVP-BCI技術進行快速高效的目標檢測提供了新方法。
1 試驗
RSVP是在同一空間位置以每秒多幅圖片的高呈現率連續顯示圖像的過程[20]。圖片流中，以含有目標人物的圖片作為目標刺激，不含目標人物的圖片作為非目標刺激，每個圖片的呈現時間為200 ms，試驗流程如圖1所示。受試者首先進入1 min的靜息態，隨后屏幕中央出現一個“十”字提示試驗開始，校正受試者視線保持在屏幕正中，之后開始播放圖片流，每輪試驗中間有2 min的休息。試驗共招募了15名受試人員，其中男性11名，女性4名，平均年齡為23歲，受試者自述身體健康，無腦部疾病史。
圖1
RSVP試驗流程圖
Figure1.
Flow chart of RSVP experiment
試驗共設置圖片刺激總數為1 000～1 500 張，目標數所占比例為13%～17%。試驗中，存在“注意瞬脫”現象，是指在快速連續地呈現兩個目標刺激時，第一個目標出現后的短暫時間內，人類無法準確辨別出第二個目標刺激[21-22]。為防止注意瞬脫的發生，隨機生成的圖片呈現順序保證目標刺激間隔大于600 ms。
按照國際10-20系統放置EEG信號采集電極，信號采樣頻率為1 000 Hz。本次試驗已通過西北工業大學倫理委員會的批準，所有受試者均已簽署知情同意書并自愿參與本次試驗。
2 基于STHCP特征提取方法的目標檢測方法
2.1 方法概述
基于STHCP特征提取算法的目標檢測方法框圖如圖2所示。環境信息由RSVP范式以較高的傳輸速率（5 Hz）向受試者播放，目標圖片為小概率事件，能夠誘發出ERP特征N2和P3。受試者觀看圖片流的同時采集EEG數據，將采集到的EEG數據進行STHCP算法特征提取后使用線性判別分析（linear discrimination analysis，LDA）分類，最終得到目標類或非目標類的二元判決值。
圖2
基于STHCP特征提取方法的目標檢測方法框圖
Figure2.
The framework of target detection method based on STHCP feature extraction method
2.2 預處理
對采集到的EEG信號進行預處理：第一步對原始的EEG信號進行50 Hz的陷波濾波和0.1～35 Hz的帶通濾波[23]；第二步對連續的EEG信號進行分段，將刺激前100 ms和刺激后400 ms的數據分割并作為一個處理單元；第三步消除EEG信號的偏離，將刺激前100 ms的EEG信號作為基線，刺激后的數據與基線相減后得到基線校正后的EEG信號。第四步根據各個導聯疊加平均結果觀察特征，選擇特征明顯的導聯進行特征提取，導聯選擇示意圖如圖3所示。
圖3
導聯選擇
Figure3.
Channel selection
2.3 STHCP特征提取
STHCP特征提取方法流程圖如圖4所示。將每個受試者的數據分別處理，占比65%的數據作為訓練集，其余為測試集；將訓練集數據訓練得到的空域濾波器、時域投影矩陣和分類模型應用到測試集得出分類結果。
圖4
STHCP特征提取算法流程圖
Figure4.
Flow chart of STHCP feature extraction algorithm
第一步，在空域上采用CSP算法對訓練集數據進行空域濾波，在空間上最大化目標和非目標的差異[24]，將多通道的EEG數據映射到低維子空間中，映射過程中保持兩類信號矩陣的方差最大。設 
為第 i 次單次試驗的EEG數據（C為導聯數，D為時間長度），
為目標類數據，
為非目標類數據，n 為樣本個數，兩類數據的協方差矩陣如式（1）所示：
 |
其中，
，共空間模式優化問題可以表示如式（2）所示：
 |
通過求解廣義特征值來實現兩個協方差矩陣同時數字化優化的問題，如式（3）所示：
 |
λ是特征分解的特征值，CSP算法求得的空間濾波器記為 
，其中 
為CSP算法所選空間濾波器個數，空域濾波后的EEG數據表示為 
，如式（4）所示：
 |
第二步，在時域上使用PCA對 
進行時域降維，其主要思想是尋找數據的主軸方向，并構造一個新的坐標系，將原坐標系向新坐標系投影，提取出最優的K個主成分。對矩陣 
空域上每一導聯的數據單獨使用PCA進行降維，如式（5）所示：
 |
矩陣V為矩陣 
的協方差矩陣，計算矩陣V的特征值及其對應的特征向量。按照大小進行排序，貢獻率越大代表其包含原始信息越多，選擇前K個主成分分量來表示該導的時域信息。對應的特征向量 X 為時域特征提取的投影矩陣 
。將 
與投影矩陣相乘，如式（6）所示：
 |
其中，Z為所得特征矩陣。
第三步將單次試驗的特征 
送入LDA分類器中進行分類，得到一個二元判決值，如式（7）所示：
 |
二元判決值代表最終分類結果，其中“0”表示該樣本為非目標，“1”表示該樣本為目標。
STHCP特征提取算法中需要確定2個參數，分別為空間濾波器的個數 
和PCA中所選主成分個數K，參數在訓練集中確定，以分類性能曲線下面積（area under the curve，AUC）作為參數選擇的標準。本文參考相關研究成果[25]，設定參數的范圍區間以縮短訓練時間，其中 
、
。
2.4 評價指標
本文采用四種指標來評價分類性能：AUC、真陽性率（true positive rate，TPR）、假陽性率（false positive rate，FPR）及假陰性率（false negative rate，FNR）。AUC是衡量二分類模型優劣的綜合性指標，常用于樣本分布不均衡的數據集中；真陽性率、假陽性率及假陰性率三個指標能夠衡量算法對于不同類數據的識別表現[26-27]。其中，真陽性率指正類樣本中被正確識別的概率，假陽性率指負類樣本被預測為正類的概率，假陰性率指正類樣本被錯判為負類的概率，由混淆矩陣中的四個參數計算得到，其計算公式如式（8）～式（10）所示：
 |
 |
 |
其中，真陽性（true positive，TP）表示被正確分類為正類的個數；假陽性（false positive，FP）表示被錯誤分類為正類的個數；真陰性（true negative，TN）表示被正確分類為負類的個數；假陰性（false negative，FN）表示被錯誤分類為負類的個數，如圖5所示。
圖5
混淆矩陣
Figure5.
Confusion matrix
3 結果與分析
3.1 試驗驗證
RSVP-BCI技術通過誘發出與靶刺激相關的ERP特征，對目標與非目標進行分類。大腦對視覺刺激的反應可以由多個不同的ERP特征進行表征，在時間和空間上有不同的分布，因此可以通過特征分析驗證試驗和數據的有效性[28]。如圖6所示為刺激出現 ? 100～400 ms時間段內時域和空域的特征分布情況。
圖6
時域空域特征分布
Figure6.
Feature distribution in time domain and space domain
腦地形圖表征的是不同時間段下所有試次疊加平均后全腦的能量分布，對比目標狀態和非目標狀態的時域波形圖和腦地形圖，100～150 ms目標狀態中出現了較為微弱的波峰（P1），150～250 ms出現了較強的波谷（N2），250～350 ms出現了較強的波峰（P3）； 250～300 ms內N2成分出現在額葉。以上試驗結果證實，本試驗采集的數據符合RSVP-BCI的研究基礎，與ERP研究相關文獻[29-31]的結果一致。
3.2 試驗結果
本文采用STHCP方法提取特征，與其余基準方法相比，特征維度和計算量有所減小，結果如表1所示。其中，C為原始EEG數據的導聯數，
為空域濾波后的空域維度，T表示原始EEG數據的時間點，
表示時域降維后的時間維度。本文所提的STHCP方法是所有方法中特征維度最小的。
表1
STHCP與基準方法的特征維度對比
Table1.
The comparison of feature dimension between STHCP and benchmark methods
Fuhrmann等[17]的SWFP算法與Parra等[15]的HDCA方法相比分類能力顯著提高，因此選擇SWFP方法作為基準方法之一與本文所提出的STHCP算法作對比，不再與HDCA方法對比；此外，STHCP是CSP和PCA的融合方法，將CSP和PCA也單獨作為基準方法之一進行消融分析。四種特征提取方法均采用LDA分類器得到判別結果，結果如表2所示，“+”表示該算法與STHCP算法的性能的差異具有統計學意義，加粗表示最優的AUC和標準差。
表2
STHCP與基準方法的AUC和標準差對比
Table2.
The comparison of AUC and standard deviation between STHCP and benchmark methods
如表2所示STHCP特征提取方法在15位受試者的平均AUC為0.907，優于SWFP、CSP及PCA算法，AUC分別提高了17.9%、22.2%及29.2%。STHCP算法的性能與SWFP、CSP及PCA相比，差異具有統計學意義［威爾科克森（Wilcoxon）符號秩檢驗，
］。作為時空混合特征提取思想的代表算法SWFP性能優于傳統的CSP、PCA特征提取算法，充分證明了時空混合特征提取的思想在RSVP試驗中的有效性。本文在此基礎上提出的STHCP算法性能不僅優于CSP、PCA這種傳統的特征提取算法，更是優于SWFP算法。
本文對比了四種算法在假陰性率、假陽性率和真陽性率三個性能指標下的表現，如表3所示。
表3
STHCP與基準方法的假陰性率、假陽性率和真陽性率 對比
Table3.
The comparison of false negative rate, false positive rate and true positive rate between STHCP and benchmark methods
STHCP算法的假陰性率與SWFP、CSP和PCA算法相比分別降低了38.5%、46.8%和60.3%，假陽性率分別降低了56.8%、59.4%和61.7%，真陽性率分別提高了16.4%、24.8%和52.2%。由上述結果可得，STHCP算法全面提高了對于目標類與非目標類的檢測能力，三個指標下STHCP方法與SWFP、CSP及PCA相比，分類性能差異具有統計學意義（威爾科克森符號秩檢驗，
）。
3.3 特征提取可視化分析
為了證明STHCP方法時空兩次特征提取的合理性和有效性，本文對STHCP的兩次特征提取過程進行可視化分析。在空域，STHCP使用CSP算法進行空域濾波，同時最大化目標狀態下相關的EEG信號成分，最小化非目標狀態下的相關成分。
如圖7所示，為隨機抽取受試者1訓練集樣本數據CSP所得空域濾波器系數與空間模式，可與腦地形圖對照驗證空域濾波的必要性與意義，顏色標尺代表空域濾波時所分配的權重。空域濾波器會濾掉空間模式外的其余空間成分，將圖7中目標狀態下的空間模式與圖6腦地形圖中的N2、P3成分對比，相似性較大，由此可見CSP空域濾波能夠保留目標刺激相關成分，濾除無關成分。
圖7
空域濾波器與空間模式
Figure7.
Spatial filter and spatial mode
對空域濾波后的數據進行PCA降維，降維后受試者1的目標狀態與非目標狀態的時空特征如圖8所示，不同樣本點的目標狀態和非目標狀態的特征值差異被盡可能地增大，因此本文所提方法能夠在一定程度上最大化目標狀態與非目標狀態的差異。
圖8
時空特征
Figure8.
The space-time features
4 結論與討論
為解決RSVP-BCI技術中單次試驗分類準確率不高的問題，本文提出一種基于時空域特征提取的新方法，即STHCP算法。試驗結果表明，該方法充分利用EEG信號的時空特性，通過在時域和空域進行特征提取，實現對ERP特征更精準的檢測。整體分類準確率較三種基準算法（SWFP、CSP及PCA算法）分別提高了17.9%、22.2%及29.2%，STHCP方法較三種基準方法在假陰性率、假陽性率和真陽性率三個指標下也有顯著提升，為基于EEG信號特征的快速目標檢測方法的實用化提供了可行的新方法。此外，本文還針對所提算法進行了消融研究，將特征提取過程進行可視化分析，研究結果證實STHCP算法的設計是合理且有效的。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：崔玉潔主要負責實驗設計、算法設計、數據分析以及論文編寫；謝松云、謝辛舟主要提供實驗指導，數據分析指導、論文審閱修訂；段緒、高川林主要負責實驗數據采集與部分數據分析。
倫理聲明：本研究通過了西北工業大學醫院醫學倫理委員會的審批（批文編號：2019--09）。
引言
目標檢測技術在生活中的應用廣泛，如：社區攝像頭畫面監控、利用無人車進行環境偵查等都需要反應迅速、檢測精準的目標檢測技術。目前基于深度學習的目標檢測技術在檢測精度和檢測速度上都有了很大的提高，但是仍然存在算法復雜度較高、計算量較大等問題，無法滿足目標檢測實時性的要求；并且當面對復雜的環境、突發狀況等情況時，也缺乏良好的判別能力[1-2]。人腦依靠人類視覺快速有效地感知周圍環境，并對環境信息進行收集，因此能在較短的時間內準確靈活地對異常、突發等狀況完成識別和反應[3]，充分發揮了人腦在目標檢測中的作用，能夠增強目標檢測系統的靈活性和準確性。快速序列視覺呈現（rapid serial visual presentation，RSVP）—腦機接口（brain computer interface，BCI）(RSVP- BCI）能夠獲取人腦對環境的快速感知[4-7]，因此是目前基于人腦進行目標檢測最為常用的技術。該技術的RSVP范式以較高的圖片呈現率將環境信息呈現給受試者，再通過腦電（electroencephalogram，EEG）信號解碼技術進行實時解碼，能夠在較短的時間內準確地對目標完成檢測和反應。RSVP-BCI技術是一種基于事件相關電位（event related potentials，ERP）的BCI技術，ERP是指與一定的事件或心理活動相關聯的大腦皮層電位的變化[8]。ERP的時間分辨率為毫秒級，能夠代表大腦狀態的實時響應。RSVP-BCI技術可提取目標刺激相關成分P3與N2，P3是ERP特征中目標刺激相關的代表成分，是位于目標刺激出現后的300 ms左右的正峰[9]；N2是刺激出現后200 ms左右的負峰，在選擇注意任務中與P3疊加出現[10]。RSVP-BCI技術中ERP特征提取較為困難，原因如下：① ERP特征的幅值和時延在不同試次之間具有高變異性[11]；② 目標圖像之間間隔變短會造成特征重疊；③ 信噪比低。綜上，單次試驗中ERP特征提取難度較大，普遍存在檢測精度不高的問題。傳統的EEG信號特征提取方法為了克服信噪比較低的缺點，大部分的分析方法都要進行平均，但是試驗次數平均和時間平均都無法在單次試驗中實現[12]，而電極平均又會忽略特征的空域信息，因此很多研究人員開始探究單次試驗中的特征提取方法。此外，一些研究方法通過計算特定頻段內的功率來鑒別大腦活動[13]。這些方法都基于傳統概念，如平均、過濾和單變量假設檢驗等，并沒有完整考慮EEG數據的時空結構。目前RSVP-BCI技術中基于時域、空域的特征提取算法是目前最為有效且具有代表性的單次試驗中的特征提取方法[14]。Parra等[15]提出一種結構化判決成分分析法（hierarchical discriminant component analysis，HDCA），該方法在空間上使用費希爾線性判決（Fisher linear discriminate，FLD）算法計算空間權重，使用邏輯回歸算法計算時間權重。Marathe等[16]認為HDCA算法過于依賴固定時間窗口內的時間特征，因此在HDCA算法的基礎上設計了滑動HDCA（sliding HDCA，sHDCA），該算法在滑動時間窗內使用HDCA算法，使得分類錯誤率減少了50%以上。Fuhrman等[17]設計了HDCA算法的改進算法結構化判決主成分分析（hierarchical discriminant principal component analysis，HDPCA），與HDCA算法不同的是，HDPCA在時域上使用主成分分析算法（principal component analys，PCA）進行特征提取，準確率較HDCA算法有所提升；Fuhrman等[17]認為不同的事件相關的大腦活動都有其獨特的時空模式，使用FLD和PCA分別在空域和時域進行特征提取，設計了空間加權FLD-PCA（spatially weighted FLD-PCA，SWFP）算法，并將該方法與HDPCA和HDCA算法進行對比，分類準確率有所提高。
綜上，HDCA及其衍生算法分別在空域、時域計算導聯權重和時間權重，且存在維度較高、計算量較大等問題。針對上述問題和研究現狀，本文設計了共空間模式（common spatial pattern，CSP）結合PCA算法的時空混合CSP-PCA（spatial-temporal hybrid CSP-PCA，STHCP）特征提取方法。CSP算法在空域最大化目標狀態相關成分（N2、P3），最小化非目標狀態相關成分（背景EEG信號）[18-19]，并且能夠可視化空間模式，增強可解釋性；而PCA算法則是在時域尋找到一個超平面，使得樣本點的投影盡可能分開。STHCP通過時域、空域兩次降維能提升信噪比、減少計算量，為利用RSVP-BCI技術進行快速高效的目標檢測提供了新方法。
1 試驗
RSVP是在同一空間位置以每秒多幅圖片的高呈現率連續顯示圖像的過程[20]。圖片流中，以含有目標人物的圖片作為目標刺激，不含目標人物的圖片作為非目標刺激，每個圖片的呈現時間為200 ms，試驗流程如圖1所示。受試者首先進入1 min的靜息態，隨后屏幕中央出現一個“十”字提示試驗開始，校正受試者視線保持在屏幕正中，之后開始播放圖片流，每輪試驗中間有2 min的休息。試驗共招募了15名受試人員，其中男性11名，女性4名，平均年齡為23歲，受試者自述身體健康，無腦部疾病史。
圖1
RSVP試驗流程圖
Figure1.
Flow chart of RSVP experiment
試驗共設置圖片刺激總數為1 000～1 500 張，目標數所占比例為13%～17%。試驗中，存在“注意瞬脫”現象，是指在快速連續地呈現兩個目標刺激時，第一個目標出現后的短暫時間內，人類無法準確辨別出第二個目標刺激[21-22]。為防止注意瞬脫的發生，隨機生成的圖片呈現順序保證目標刺激間隔大于600 ms。
按照國際10-20系統放置EEG信號采集電極，信號采樣頻率為1 000 Hz。本次試驗已通過西北工業大學倫理委員會的批準，所有受試者均已簽署知情同意書并自愿參與本次試驗。
2 基于STHCP特征提取方法的目標檢測方法
2.1 方法概述
基于STHCP特征提取算法的目標檢測方法框圖如圖2所示。環境信息由RSVP范式以較高的傳輸速率（5 Hz）向受試者播放，目標圖片為小概率事件，能夠誘發出ERP特征N2和P3。受試者觀看圖片流的同時采集EEG數據，將采集到的EEG數據進行STHCP算法特征提取后使用線性判別分析（linear discrimination analysis，LDA）分類，最終得到目標類或非目標類的二元判決值。
圖2
基于STHCP特征提取方法的目標檢測方法框圖
Figure2.
The framework of target detection method based on STHCP feature extraction method
2.2 預處理
對采集到的EEG信號進行預處理：第一步對原始的EEG信號進行50 Hz的陷波濾波和0.1～35 Hz的帶通濾波[23]；第二步對連續的EEG信號進行分段，將刺激前100 ms和刺激后400 ms的數據分割并作為一個處理單元；第三步消除EEG信號的偏離，將刺激前100 ms的EEG信號作為基線，刺激后的數據與基線相減后得到基線校正后的EEG信號。第四步根據各個導聯疊加平均結果觀察特征，選擇特征明顯的導聯進行特征提取，導聯選擇示意圖如圖3所示。
圖3
導聯選擇
Figure3.
Channel selection
2.3 STHCP特征提取
STHCP特征提取方法流程圖如圖4所示。將每個受試者的數據分別處理，占比65%的數據作為訓練集，其余為測試集；將訓練集數據訓練得到的空域濾波器、時域投影矩陣和分類模型應用到測試集得出分類結果。
圖4
STHCP特征提取算法流程圖
Figure4.
Flow chart of STHCP feature extraction algorithm
第一步，在空域上采用CSP算法對訓練集數據進行空域濾波，在空間上最大化目標和非目標的差異[24]，將多通道的EEG數據映射到低維子空間中，映射過程中保持兩類信號矩陣的方差最大。設 為第 i 次單次試驗的EEG數據（C為導聯數，D為時間長度）， 為目標類數據， 為非目標類數據，n 為樣本個數，兩類數據的協方差矩陣如式（1）所示：
|
其中，，共空間模式優化問題可以表示如式（2）所示：
|
通過求解廣義特征值來實現兩個協方差矩陣同時數字化優化的問題，如式（3）所示：
|
λ是特征分解的特征值，CSP算法求得的空間濾波器記為 ，其中 為CSP算法所選空間濾波器個數，空域濾波后的EEG數據表示為 ，如式（4）所示：
|
第二步，在時域上使用PCA對 進行時域降維，其主要思想是尋找數據的主軸方向，并構造一個新的坐標系，將原坐標系向新坐標系投影，提取出最優的K個主成分。對矩陣 空域上每一導聯的數據單獨使用PCA進行降維，如式（5）所示：
|
矩陣V為矩陣 的協方差矩陣，計算矩陣V的特征值及其對應的特征向量。按照大小進行排序，貢獻率越大代表其包含原始信息越多，選擇前K個主成分分量來表示該導的時域信息。對應的特征向量 X 為時域特征提取的投影矩陣 。將 與投影矩陣相乘，如式（6）所示：
|
其中，Z為所得特征矩陣。
第三步將單次試驗的特征 送入LDA分類器中進行分類，得到一個二元判決值，如式（7）所示：
|
二元判決值代表最終分類結果，其中“0”表示該樣本為非目標，“1”表示該樣本為目標。
STHCP特征提取算法中需要確定2個參數，分別為空間濾波器的個數 和PCA中所選主成分個數K，參數在訓練集中確定，以分類性能曲線下面積（area under the curve，AUC）作為參數選擇的標準。本文參考相關研究成果[25]，設定參數的范圍區間以縮短訓練時間，其中 、。
2.4 評價指標
本文采用四種指標來評價分類性能：AUC、真陽性率（true positive rate，TPR）、假陽性率（false positive rate，FPR）及假陰性率（false negative rate，FNR）。AUC是衡量二分類模型優劣的綜合性指標，常用于樣本分布不均衡的數據集中；真陽性率、假陽性率及假陰性率三個指標能夠衡量算法對于不同類數據的識別表現[26-27]。其中，真陽性率指正類樣本中被正確識別的概率，假陽性率指負類樣本被預測為正類的概率，假陰性率指正類樣本被錯判為負類的概率，由混淆矩陣中的四個參數計算得到，其計算公式如式（8）～式（10）所示：
|
|
|
其中，真陽性（true positive，TP）表示被正確分類為正類的個數；假陽性（false positive，FP）表示被錯誤分類為正類的個數；真陰性（true negative，TN）表示被正確分類為負類的個數；假陰性（false negative，FN）表示被錯誤分類為負類的個數，如圖5所示。
圖5
混淆矩陣
Figure5.
Confusion matrix
3 結果與分析
3.1 試驗驗證
RSVP-BCI技術通過誘發出與靶刺激相關的ERP特征，對目標與非目標進行分類。大腦對視覺刺激的反應可以由多個不同的ERP特征進行表征，在時間和空間上有不同的分布，因此可以通過特征分析驗證試驗和數據的有效性[28]。如圖6所示為刺激出現 ? 100～400 ms時間段內時域和空域的特征分布情況。
圖6
時域空域特征分布
Figure6.
Feature distribution in time domain and space domain
腦地形圖表征的是不同時間段下所有試次疊加平均后全腦的能量分布，對比目標狀態和非目標狀態的時域波形圖和腦地形圖，100～150 ms目標狀態中出現了較為微弱的波峰（P1），150～250 ms出現了較強的波谷（N2），250～350 ms出現了較強的波峰（P3）； 250～300 ms內N2成分出現在額葉。以上試驗結果證實，本試驗采集的數據符合RSVP-BCI的研究基礎，與ERP研究相關文獻[29-31]的結果一致。
3.2 試驗結果
本文采用STHCP方法提取特征，與其余基準方法相比，特征維度和計算量有所減小，結果如表1所示。其中，C為原始EEG數據的導聯數， 為空域濾波后的空域維度，T表示原始EEG數據的時間點， 表示時域降維后的時間維度。本文所提的STHCP方法是所有方法中特征維度最小的。
表1
STHCP與基準方法的特征維度對比
Table1.
The comparison of feature dimension between STHCP and benchmark methods
Fuhrmann等[17]的SWFP算法與Parra等[15]的HDCA方法相比分類能力顯著提高，因此選擇SWFP方法作為基準方法之一與本文所提出的STHCP算法作對比，不再與HDCA方法對比；此外，STHCP是CSP和PCA的融合方法，將CSP和PCA也單獨作為基準方法之一進行消融分析。四種特征提取方法均采用LDA分類器得到判別結果，結果如表2所示，“+”表示該算法與STHCP算法的性能的差異具有統計學意義，加粗表示最優的AUC和標準差。
表2
STHCP與基準方法的AUC和標準差對比
Table2.
The comparison of AUC and standard deviation between STHCP and benchmark methods
如表2所示STHCP特征提取方法在15位受試者的平均AUC為0.907，優于SWFP、CSP及PCA算法，AUC分別提高了17.9%、22.2%及29.2%。STHCP算法的性能與SWFP、CSP及PCA相比，差異具有統計學意義［威爾科克森（Wilcoxon）符號秩檢驗，］。作為時空混合特征提取思想的代表算法SWFP性能優于傳統的CSP、PCA特征提取算法，充分證明了時空混合特征提取的思想在RSVP試驗中的有效性。本文在此基礎上提出的STHCP算法性能不僅優于CSP、PCA這種傳統的特征提取算法，更是優于SWFP算法。
本文對比了四種算法在假陰性率、假陽性率和真陽性率三個性能指標下的表現，如表3所示。
表3
STHCP與基準方法的假陰性率、假陽性率和真陽性率 對比
Table3.
The comparison of false negative rate, false positive rate and true positive rate between STHCP and benchmark methods
STHCP算法的假陰性率與SWFP、CSP和PCA算法相比分別降低了38.5%、46.8%和60.3%，假陽性率分別降低了56.8%、59.4%和61.7%，真陽性率分別提高了16.4%、24.8%和52.2%。由上述結果可得，STHCP算法全面提高了對于目標類與非目標類的檢測能力，三個指標下STHCP方法與SWFP、CSP及PCA相比，分類性能差異具有統計學意義（威爾科克森符號秩檢驗，）。
3.3 特征提取可視化分析
為了證明STHCP方法時空兩次特征提取的合理性和有效性，本文對STHCP的兩次特征提取過程進行可視化分析。在空域，STHCP使用CSP算法進行空域濾波，同時最大化目標狀態下相關的EEG信號成分，最小化非目標狀態下的相關成分。
如圖7所示，為隨機抽取受試者1訓練集樣本數據CSP所得空域濾波器系數與空間模式，可與腦地形圖對照驗證空域濾波的必要性與意義，顏色標尺代表空域濾波時所分配的權重。空域濾波器會濾掉空間模式外的其余空間成分，將圖7中目標狀態下的空間模式與圖6腦地形圖中的N2、P3成分對比，相似性較大，由此可見CSP空域濾波能夠保留目標刺激相關成分，濾除無關成分。
圖7
空域濾波器與空間模式
Figure7.
Spatial filter and spatial mode
對空域濾波后的數據進行PCA降維，降維后受試者1的目標狀態與非目標狀態的時空特征如圖8所示，不同樣本點的目標狀態和非目標狀態的特征值差異被盡可能地增大，因此本文所提方法能夠在一定程度上最大化目標狀態與非目標狀態的差異。
圖8
時空特征
Figure8.
The space-time features
4 結論與討論
為解決RSVP-BCI技術中單次試驗分類準確率不高的問題，本文提出一種基于時空域特征提取的新方法，即STHCP算法。試驗結果表明，該方法充分利用EEG信號的時空特性，通過在時域和空域進行特征提取，實現對ERP特征更精準的檢測。整體分類準確率較三種基準算法（SWFP、CSP及PCA算法）分別提高了17.9%、22.2%及29.2%，STHCP方法較三種基準方法在假陰性率、假陽性率和真陽性率三個指標下也有顯著提升，為基于EEG信號特征的快速目標檢測方法的實用化提供了可行的新方法。此外，本文還針對所提算法進行了消融研究，將特征提取過程進行可視化分析，研究結果證實STHCP算法的設計是合理且有效的。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：崔玉潔主要負責實驗設計、算法設計、數據分析以及論文編寫；謝松云、謝辛舟主要提供實驗指導，數據分析指導、論文審閱修訂；段緒、高川林主要負責實驗數據采集與部分數據分析。
倫理聲明：本研究通過了西北工業大學醫院醫學倫理委員會的審批（批文編號：2019--09）。
