基于功能性近紅外光譜（fNIRS）的腦機接口（BCI）是一種新型的人機交互手段。為探究單個肢體不同運動想象動作 fNIRS 信號的可分性，研究采集了 15 名受試者（業余足球愛好者）在想象右腳三種動作（傳球、停球和射門）期間的 fNIRS 信號，提取了不同想象動作期間 HbO 信號的相關系數作為特征，構造了基于支持向量機的三分類模型。試驗結果發現：右腳三種想象動作的分類準確率為 78.89%±6.161%；兩類運動想象動作的分類，即傳球與停球、傳球與射門和停球與射門的分類準確率分別為 85.17%±4.768%、82.33%±6.011%、89.33%±6.713%。研究結果表明單個肢體不同運動想象的 fNIRS 具有可分性，這可望為 fNIRS-BCI 增加新的控制命令，也可為單側中風患者康復訓練和控制外設提供一種新的選擇。此外，研究也表明相關系數可以作為分類不同想象動作的一種有效特征。
引用本文： 李玉, 熊馨, 李昭陽, 伏云發. 基于功能性近紅外光譜識別右腳三種想象動作研究. 生物醫學工程學雜志, 2020, 37(2): 262-270. doi: 10.7507/1001-5515.201905001 復制
引言
腦機接口（brain-computer interface，BCI）旨在把感知覺或思維活動直接轉換為控制外部設備的命令，可望為嚴重運動殘疾人或健康人提供額外的通信或控制方式，從而提高他們的生活質量。其中基于運動想象（motor imagery，MI）的 BCI 是一類很重要的腦—機交互[1-2]，在腦控機器人、虛擬現實和運動功能康復等領域有潛在的應用價值[3-6]。
目前，基于運動想象的 BCI 獲取腦功能信號的途徑主要有腦電（electroencephalogram，EEG）、功能性磁共振（functional magnetic resonance imaging，fMRI）和功能性近紅外光譜（functional near-infrared spectroscopy，fNIRS）。腦電直接反映神經元群的放電活動，具有較高的時間分辨率，能夠快速檢測腦信號，其主要缺點是空間分辨率較低，容易產生偽跡[7-8]。fMRI 能夠測量腦局部血流的變化，空間分辨率較高，但其價格昂貴和體積龐大，不適合用于腦機交互[9-13]。fNIRS 通過測量腦組織的血氧濃度變化間接反映神經元的活動，具有較好的時間分辨率和空間分辨率，而且 fNIRS 成本低，便攜且適應范圍廣[14-22]。因此，研究者已經將 fNIRS 應用于神經科學、運動醫學、BCI 等多個領域[23-29]。基于 fNIRS 運動想象的 BCI 具有潛在的應用前景。
迄今為止，基于 fNIRS 運動想象的 BCI 研究逐漸增多，主要用于識別不同肢體的運動想象。例如 Naseer 等[22]研究識別左右手腕彎曲兩分類運動想象；焦學軍等[30]研究基于 fNIRS 左右手同一動作的運動想象（motor imagery，MI）和運動執行（motor execution，ME）的分類識別；Kaiser 等[31]利用 fNIRS 識別右手和雙腳兩分類運動想象等。然而基于 fNIRS 識別單個肢體不同運動想象的研究鮮見報道，例如識別右腳不同動作的運動想象。其次，傳統基于 fNIRS 解碼運動想象利用的特征主要是任務期間氧合血紅蛋白（oxyhemoglobin，HbO）信號的均值、峰值、斜率等特征[16, 22, 30, 32-33]；這些特征屬于信號自身的屬性，并沒有計算不同運動想象任務信號之間的差異性特征。而信號之間的相關系數描述了信號之間的關系，因此，計算不同運動想象任務信號之間的相關性作為差異性特征來解碼運動想象成為可能。
本研究中，我們設計提出了一種新的試驗范式，要求受試者完成單個肢體（右腳）三種不同動作的運動想象（傳球、停球和射門），以檢驗這三類運動想象信號之間的可區分性。同時，區別于傳統的 fNIRS 特征，本研究還提取了不同運動想象動作 HbO 信號之間的相關系數作為新的識別特征，最后采用支持向量機（support vector machine，SVM）構造分類器，對右腳三種動作的運動想象進行分類識別，以驗證文章假設。
1 材料和方法
1.1 受試、試驗范式、試驗過程和數據采集
1.1.1 受試者
本試驗共招募 20 名受試者，均為在校大學本科生和研究生，為足球愛好者，有一定的足球基礎。年齡范圍 20～28 周歲，均為男性右利手，無精神疾病和運動性障礙。在告知他們試驗的內容、試驗性質和試驗目的之后，受試者自愿簽署試驗知情同意書。本研究獲得昆明理工大學醫學院醫學倫理委員會的批準。
1.1.2 試驗范式
本試驗要求受試者運動想象右腳三種動作：傳球、停球和射門。試驗范式如圖1 所示，試驗開始，首先進行 60 s 基線時間，此期間受試者無試驗任務；之后進入正式想象任務試驗，包括 60 個 trials。每個 trial 的想象任務根據顯示器屏幕上隨機提示的三種動作之一進行，提示持續時間為 2 s；提示結束，顯示器屏幕中央呈現星號，要求受試者以第一人稱視角想象所提示的動作，持續時間為 10 s，星號消失，想象任務結束；隨后顯示器屏幕提示受試者進入休息，休息時間為 20 s，為一個 trial；試驗期間全程伴有語音提示。一組試驗時間約為 36 min，包括 60 個 trials，每種運動想象動作各 20 個 trials。
圖1
試驗范式
Figure1.
Experimental paradigm
1.1.3 試驗過程
本研究招募的 20 名受試者均為業余足球愛好者，經歷并體驗過右腳三種實際動作（傳球、停球和射門）。在正式實驗前，對受試者進行單個肢體（右腳）三種動作運動想象訓練（想象右腳傳球、停球和射門），要求他們在心里回憶并感知三種動作過程，但不發生實際運動，受試者反復訓練直到在心里能夠生動、可控地排演三種動作過程[5, 19, 31]。訓練完后，填寫感覺運動想象能力量表評估受試者的運動想象能力[5, 31]。本研究的 20 名受試者通過上述訓練，均具有想象這三種動作的能力。
試驗在一間寬敞安靜的房間里進行，要求受試者熟悉試驗流程。試驗過程中，受試者坐在一張舒適的椅子上，正對顯示器屏幕，通過顯示器屏幕接收視覺提示；要求受試者保持靜止放松狀態，盡量避免身體動作，降低對近紅外信號的干擾。試驗期間，要求受試者按圖1 試驗范式完成所需要的任務。每名受試者進行兩次試驗，采集兩組內容相同的數據。
1.1.4 數據采集
本試驗研究采用中國丹陽慧創醫療設備有限公司的 fNIRS 設備（兩個波長 760 nm 和 850 nm）采集數據。設備由 6 個入射光源和 8 個探測器光纖組成的探頭設計組成，共計 16 個通道，光源單波長功率大于 20 mW，時間分辨率高達 100 Hz，動態范圍大于 110 dB，數模轉換精度為 24 bit。fNIRS 光源和探測器的測量設置如圖2 所示，其中 S 表示光源探頭，D 表示探測器探頭，光源探頭和探測器探頭之間的連線表示通道，旁邊的數字表示通道的編號；測量區域覆蓋整個大腦皮層運動區，包括左腦 8 個通道和右腦 8 個通道，左右區域對稱，設備的采樣率設定為 20 Hz。最后，在試驗過程中，關閉房間內所有的燈，以減少來自環境的光源對 fNIRS 信號的污染。
圖2
各探頭排布圖
Figure2.
Layout of each probe
1.2 數據處理
試驗采集到的 fNIRS 信號的干擾成分主要有基線漂移、運動偽跡、生理干擾和高頻噪聲等[32, 34-35]。其中基線漂移主要來源于測量過程中設備溫度改變等原因引起的基線改變；運動偽跡主要來源于探頭與頭皮接觸中相對移動引起的光路徑的改變；生理干擾主要包括心動干擾（0.7～1.5 Hz）、呼吸干擾（0.13～0.33 Hz）和 Mayer 波（0.1 Hz）；高頻噪聲主要來源于工頻干擾。數據處理流程如圖 3 所示，首先進行數據預處理，消除干擾成分，然后將每個通道的 HbO 信號分割成休息以及想象傳球、停球和射門數據段，接著從想象傳球、停球和射門數據段中提取特征，最后采用 SVM 對運動想象動作傳球、停球和射門進行三分類，同時又分別對傳球與停球、傳球與射門、停球與射門兩類運動想象動作進行二分類。
圖3
數據處理流程與分類
Figure3.
Data processing and classification steps performed in the study
1.2.1 預處理
首先對采集的 fNIRS 數據進行帶通濾波（0.02～0.1 Hz），去除由心跳（1～1.5 Hz）、呼吸（0.13～0.33 Hz）和 Mayer 波（約 0.1 Hz）引起的高頻生理噪聲。對上述處理后的 fNIRS 數據進行去基線漂移處理，利用 HbO 信號和脫氧血紅蛋白信號反向變化的相關性改善算法，去除運動偽跡[36]。
1.2.2 特征選擇
HbO 信號均值和 HbO 信號斜率是 fNIRS 研究中常用的信號特征，本研究首先從時域信號中提取 HbO 信號均值和 HbO 信號斜率。其中 HbO 信號均值用來表征相應腦區的活躍程度，而 HbO 信號斜率用來反映腦活躍程度的變化過程[30]。均值特征則是對每個 trial 單個通道任務期間的所有采樣點求平均值作為該 trial 單個通道的均值特征，斜率特征先對該 trial 單個通道任務期間的 HbO 信號進行曲線擬合，然后計算出每個采樣點的斜率值，取其中最大值作為該通道的特征。除了信號均值和信號斜率特征外，本研究還計算了不同想象運動任務 HbO 信號之間的相關系數作為新的特征。相關系數是由著名統計學家卡爾·皮爾遜于 19 世紀 80 年代提出的統計指標，描述的是一種非確定性的關系，是研究變量之間線性相關程度的量，兩個隨機變量 X 和 Y 的相關系數 r 的計算公式如式 (1) 所示。
 |
式中 Cov(X，Y) 為隨機變量 X 和 Y 的協方差函數，σX、σY 分別為兩個隨機變量的標準差，E(X)、E(Y) 為兩隨機變量的平均值。
對采集得到的同一名受試者兩組數據預處理之后，由于兩組數據試驗內容相同，故將兩組數據進行統一分析處理。以計算想象傳球動作的第一個 trial 的通道一的相關系數特征為例，其相關系數特征計算方法如圖4 所示。首先計算運動想象傳球動作的第一個 trial 的通道一與運動想象傳球動作 20 個 trials 的通道一的相關系數，然后再計算這 20 個相關系數的均值，得到運動想象傳球動作的第一個 trial 的通道一與傳球動作的相關系數特征 a；再計算運動想象傳球動作的第一個 trial 的通道一與運動想象停球動作 20 個 trials 的通道一的相關系數，然后計算這 20 個相關系數的均值，得到運動想象傳球動作的第一個 trial 的通道一與停球動作的相關系數特征 b；最后計算運動想象傳球動作的第一個 trial 的通道一與運動想象射門動作 20 個 trials 的通道一的相關系數，然后計算這 20 個相關系數的均值，得到運動想象傳球動作的第一個 trial 的通道一與射門動作的相關系數特征 c。綜上可得，運動想象傳球動作的第一個 trial 的通道一的相關系數特征為［a, b, c］，運動想象傳球動作的第一個 trial 的其他通道相關系數特征也按此方法求出。同理，皆可按此方法求出其他運動想象動作每個 trial 的相關系數特征。
圖4
傳球動作第一個 trial 的通道一的相關系數特征計算示意圖
Figure4.
Schematic calculation of correlation coefficient characteristics of channel one of the first trial of the pass
特征選擇時，任務期間 HbO 信號的均值、斜率和相關系數三個特征進行 SVM 全通道聯合分類。本試驗 fNIRS 設備有 16 通道，則每個 trial 的均值和斜率特征均為 16 個,而每個 trial 單個通道的相關系數特征按照圖4 所示方法，可求得單個通道的三個相關系數特征，故每個 trial 的相關系數特征為 48 個。
1.2.3 分類方法
本研究采用 SVM 構建分類器。SVM 的目標是通過創建最優超平面來最大化不同類（支持向量）的最近訓練點之間的距離。通過最小化誤差函數可以找到最佳超平面。SVM 已用于各種 fNIRS-BCI 分類研究中，并顯示其效果良好。
在本研究中，使用了 matlab 中的 SVM 庫，使用交叉驗證的網格搜索來訓練分類器，以確定最佳的內核和特征，得到性能最好的內核是高斯徑向基函數[37]。對高斯核的代價函數參數和自由參數進行了優化，以獲得最優分類性能。
1.2.4 腦激活地形圖和 HbO 響應曲線圖
本研究繪制了三種運動想象動作的腦激活地形圖。對每名受試者所采集的兩組內容相同的數據，計算這兩組數據相同通道三種運動想象動作和基線期間的 HbO 濃度均值，然后再分別計算傳球、停球和射門運動想象動作與基線之間的 HbO 濃度差值，最后計算所有受試者相同通道三種動作運動想象和基線期間的 HbO 總的濃度差值的均值。對得到 HbO 總濃度差值的均值作歸一化處理，然后根據歸一化后的值分別繪制三種動作運動想象在皮層運動區的腦激活地形圖。與此同時，為了比較三種不同想象動作之間的 HbO 濃度響應，本研究繪制了所有受試者三種運動想象任務期間對應的總的平均 HbO 濃度變化曲線圖。
2 結果
本研究招募 20 名受試者，其中 5 名受試者的數據由于失真被剔除，最終得到 15 名受試者的數據進行分析。然后把兩組試驗 120 個 trials 平均分為訓練集和測試集，各 60 個 trials，每個數據集包括傳球、停球和射門各 20 個 trials，并采用 SVM 構造的模型進行訓練分類。研究提取的各個分類特征得到的分類準確率統計信息如表1 所示。從表中三分類準確率看，計算不同運動想象任務 HbO 信號之間的相關系數作為分類特征的平均分類準確率為 78.89%±6.161%，實現了對右腳三種不同動作運動想象的有效區分；而想象任務 HbO 信號的斜率和均值作為分類特征的平均分類準確率分別為 60.44%±4.475% 和 40.44%±5.824%，表明想象任務 HbO 信號之間的相關系數作為分類特征的分類性能好于 HbO 信號的斜率和均值作為分類特征。從表中二分類準確率看，相關系數作為分類特征整體的平均分類準確率也高于以 HbO 信號斜率和均值作為分類特征的分類結果。
表1
不同特征分類準確率統計（%）
Table1.
Classification accuracy statistics of different characteristics (%)
圖5 是繪制的三種動作運動想象的腦激活地形圖。腦激活地形圖顯示，三種動作想象任務下，左腦運動區激活程度明顯高于右腦；且三種動作想象任務左腦運動區激活程度相比較：射門>傳球>停球。由于所使用的數據是所有受試者三種動作運動想象 HbO 總濃度差值的均值，因此圖中顯示了三種運動想象動作總體大腦激活情況。圖6 是三種動作運動想象期間各通道 HbO 濃度響應曲線圖，所使用的數據是所有受試者三種動作運動想象 HbO 濃度均值，反映出總體三種動作運動想象 HbO 濃度響應趨勢。從曲線圖上可以直觀地觀察到，三種動作運動想象任務期間 HbO 濃度最大值和到達最大值的時間各不相同。
圖5
三種想象動作的大腦激活地形圖
Figure5.
Brain activated maps of three imaginative actions
圖6
三種運動想象動作HbO濃度響應曲線圖
Figure6.
HBO concentration response curves of three imaginative actions
3 討論
在本研究中，針對基于 fNIRS 的運動想象 BCI，有別于傳統對不同肢體運動想象的分類，設計了單個肢體（右腳）三種運動想象任務（傳球、停球和射門），探究 fNIRS 信號對單個肢體運動想象分類的可行性，期望增加該類 BCI 的控制指令。此外，在基于 fNIRS 的運動想象 BCI 中，首次計算不同想象任務 HbO 信號之間的相關系數作為新的分類特征，并驗證了該特征對單個肢體不同運動想象任務的可分性。
現有文獻研究證明了基于 fNIRS 在一定程度上能夠識別不同肢體的運動想象，如 Kaiser 等[31]利用 fNIRS 識別了右手和雙腳兩分類運動想象；焦學軍等[30]研究識別了左右手同一動作的運動想象和運動執行的分類；Naseer 等[22]基于 fNIRS 成功區分左右手腕彎曲運動想象的研究。本研究探討單個肢體（右腳）三種不同動作運動想象任務的可區分性，得到了較好的分類結果。已有研究文獻指出不同的動作可以制定不同的外部設備控制指令[38-39]。如果結合本研究對單個肢體不同動作運動想象的有效識別，有望增加 fNIRS-BCI 的指令數。
由表1 可知，在所設計的試驗范式下，提取不同運動想象任務 HbO 信號之間的相關系數作為特征，采用 SVM 分類右腳三種運動想象動作（傳球、停球和射門）所得平均分類準確率為 78.89%±6.161%，這說明成功地區分了右腳不同運動想象任務，表明相關系數可以作為有效的分類特征。之前基于 fNIRS 的分類識別研究中，Naseer 等[22]基于 fNIRS 識別想象左右手腕彎曲運動的二分類研究，其分類準確率為 73.35%；Kaiser 等[31]利用 fNIRS 識別右手和雙腳兩分類運動想象，得到的平均分類準確率為 70%；焦學軍等[30]研究識別了左右手同一動作的運動想象和運動執行的分類，其平均分類準確率為 72.94%；Power 等[40]采用 fNIRS 進行三分類（想象音樂、心算、靜息態）研究，平均分類準確率為 56.2%。與上述研究的分類精度相比，本研究得到了較好的分類結果。
綜合比較表1 各個特征的分類精度，信號相關系數特征的識別率最高。這是由相關系數的計算方法決定的，相關系數是對兩個信號關聯性的量化描述，使其精煉為一個描述性數據；相關系數的計算不僅能夠反映信號之間的相互關系，而且計算時不受變量單位的限制，描述信號之間的相關性大小[41-42]。信號的均值特征雖然容易計算，且可以直觀、簡明地表示單個信號的情況，但是它利用了信號所有數據的信息，其值容易受極端數據的影響[43]；同時信號均值特征只描述信號自身屬性，即一個通道中單個 trial 只用一個數據進行描述。至于信號的斜率特征，信號曲線上某點的斜率反映了此信號曲線在此點處變化的快慢程度，而不同點的斜率不盡相同，很難選擇信號曲線上一個分類效果較好的點的斜率作為分類特征，通常選擇信號采樣點中斜率最大值作為分類特征[16, 22, 30]；同樣地，斜率特征描述信號自身屬性，一個通道中單個 trial 也只用一個數據進行描述。本研究提取相關系數作為分類特征，即對于同一通道中每個 trial（其類別標簽已知）分別計算自相關系數和與其他 trial（其類別標簽已知）的相關系數，然后根據該 trial 標簽類型和其他 trial 標簽類型將計算得到的所有相關系數分成傳球、停球和射門三類，分別求這三類相關系數的均值，即用三個數據來表征此通道的該 trial。對于單個通道中的單個 trial，其均值和斜率特征只用一個數據描述，而相關系數用三個數據進行表征。已有研究顯示單一特征難以描述信號的全部特征信息，并且用單一特征進行分類，其識別準確率低，而采用多特征來描述任務并進行分類時，其識別準確率得到明顯提高[44]。
此外，僅靠三種運動想象動作總體的平均分類準確率的結果并不能確定分類結果是否成功，除了三種運動想象動作總體的平均分類準確率，還需要得出三種運動想象動作中兩兩動作（即傳球與停球、傳球與射門、停球與射門）之間的分類準確率[40]。為了確認不同運動想象動作任務期 HbO 信號的不同，也需要對三種運動想象動作中兩兩動作之間進行分類[45]。根據表1 所示，傳球與停球、傳球與射門、停球與射門的平均分類準確率分別為 85.17%±4.768%、82.33%±6.011%、89.33%±6.713%，表明三種運動想象動作的 HbO 信號不同[45]。已有文獻研究結果顯示二分類的平均分類準確率高于三分類的平均分類準確率[33, 46]。比較表1 中三分類與二分類的平均分類準確率情況，與上述文獻研究結果一致。
運動想象任務期間大腦激活區域的驗證非常重要[33]。圖5 為三種運動想象動作期間腦激活地形圖，顯示右腳三種運動想象期間左腦 HbO 濃度均高于右腦 HbO 濃度，反映出右腳運動想象主要由左腦運動區控制，左腦激活引起 HbO 濃度上升。Nishiyori 等[35]研究結果顯示單側肢體運動由對側的大腦運動區神經元控制，即單側肢體運動與大腦運動區的激活區域相反。同時可以用大腦半球優勢進行解釋，即單側肢體運動時，同側大腦運動區激活受到抑制[47]。本研究結果與已有研究結果一致。Power 等[40, 48]研究顯示同一大腦區域可以解碼不同的想象任務；圖5 中三種運動想象動作均激活大腦左側運動區，不同的是三種運動想象動作在大腦左側運動區激活程度存在差異，可以利用這些差異程度計算任務間的相關系數來解碼三種運動想象任務。
圖5 大腦區域激活地形圖只能提供有關大腦激活位置和強度大小的信息，無法揭示有關給定位置信號值的任何信息[46]。圖6 是三種運動想象動作任務期間所有受試者的 HbO 響應的平均值。研究表明，不同動作的 HbO 信號到達峰值的時間不同[17]。圖6 清楚地顯示了對應于三種運動想象動作的 HbO 信號之間存在顯著的差異，傳球、停球和射門三種運動想象動作 HbO 濃度達到峰值的時間分別在 9～10 s、15～16 s 和 8～9 s。因此，該結果提示每個運動想象動作可以基于大腦運動區相應 HbO 信號與其他運動想象動作分開。同時，可以計算三種想象動作之間的相關性得到不同的相關系數，用來描述三種動作之間的差異屬性，作為分類識別特征。
需要注意的是，本研究只在 20～28 歲的受試者中進行，而有報道稱老年人與年輕人的血液動力學響應存在差異[49-51]，且所有受試者均為健康人，他們的血流動力學響應與神經系統疾病的患者會有所不同[48]，如果將研究的對象擴大并能取得良好的分類結果，將更有助于 fNIRS-BCI 的推廣。
4 結論
本研究探討了 fNIRS 對單個肢體不同動作（右腳傳球、停球和射門動作想象）運動想象的可分性。計算不同動作運動想象間 HbO 信號的相關系數作為新的特征，并采用 SVM 對右腳三種運動想象動作進行分類，平均分類準確率為 78.89%±6.161%，同時還對傳球與停球、傳球與射門和停球與射門進行了二分類，平均分類準確率分別為 85.17%±4.768%、82.33%±6.011%、89.33%±6.713%。試驗結果表明基于 fNIRS 信號分類單個肢體不同運動想象動作是可行的，相關系數可以作為一種有效的分類特征。本研究可望為 fNIRS-BCI 增加新的控制命令，也可為單側中風患者康復訓練和控制外設提供一種新的選擇。我們未來的研究是構建在線 fNIRS-BCI 控制單側假肢執行多種動作。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
引言
腦機接口（brain-computer interface，BCI）旨在把感知覺或思維活動直接轉換為控制外部設備的命令，可望為嚴重運動殘疾人或健康人提供額外的通信或控制方式，從而提高他們的生活質量。其中基于運動想象（motor imagery，MI）的 BCI 是一類很重要的腦—機交互[1-2]，在腦控機器人、虛擬現實和運動功能康復等領域有潛在的應用價值[3-6]。
目前，基于運動想象的 BCI 獲取腦功能信號的途徑主要有腦電（electroencephalogram，EEG）、功能性磁共振（functional magnetic resonance imaging，fMRI）和功能性近紅外光譜（functional near-infrared spectroscopy，fNIRS）。腦電直接反映神經元群的放電活動，具有較高的時間分辨率，能夠快速檢測腦信號，其主要缺點是空間分辨率較低，容易產生偽跡[7-8]。fMRI 能夠測量腦局部血流的變化，空間分辨率較高，但其價格昂貴和體積龐大，不適合用于腦機交互[9-13]。fNIRS 通過測量腦組織的血氧濃度變化間接反映神經元的活動，具有較好的時間分辨率和空間分辨率，而且 fNIRS 成本低，便攜且適應范圍廣[14-22]。因此，研究者已經將 fNIRS 應用于神經科學、運動醫學、BCI 等多個領域[23-29]。基于 fNIRS 運動想象的 BCI 具有潛在的應用前景。
迄今為止，基于 fNIRS 運動想象的 BCI 研究逐漸增多，主要用于識別不同肢體的運動想象。例如 Naseer 等[22]研究識別左右手腕彎曲兩分類運動想象；焦學軍等[30]研究基于 fNIRS 左右手同一動作的運動想象（motor imagery，MI）和運動執行（motor execution，ME）的分類識別；Kaiser 等[31]利用 fNIRS 識別右手和雙腳兩分類運動想象等。然而基于 fNIRS 識別單個肢體不同運動想象的研究鮮見報道，例如識別右腳不同動作的運動想象。其次，傳統基于 fNIRS 解碼運動想象利用的特征主要是任務期間氧合血紅蛋白（oxyhemoglobin，HbO）信號的均值、峰值、斜率等特征[16, 22, 30, 32-33]；這些特征屬于信號自身的屬性，并沒有計算不同運動想象任務信號之間的差異性特征。而信號之間的相關系數描述了信號之間的關系，因此，計算不同運動想象任務信號之間的相關性作為差異性特征來解碼運動想象成為可能。
本研究中，我們設計提出了一種新的試驗范式，要求受試者完成單個肢體（右腳）三種不同動作的運動想象（傳球、停球和射門），以檢驗這三類運動想象信號之間的可區分性。同時，區別于傳統的 fNIRS 特征，本研究還提取了不同運動想象動作 HbO 信號之間的相關系數作為新的識別特征，最后采用支持向量機（support vector machine，SVM）構造分類器，對右腳三種動作的運動想象進行分類識別，以驗證文章假設。
1 材料和方法
1.1 受試、試驗范式、試驗過程和數據采集
1.1.1 受試者
本試驗共招募 20 名受試者，均為在校大學本科生和研究生，為足球愛好者，有一定的足球基礎。年齡范圍 20～28 周歲，均為男性右利手，無精神疾病和運動性障礙。在告知他們試驗的內容、試驗性質和試驗目的之后，受試者自愿簽署試驗知情同意書。本研究獲得昆明理工大學醫學院醫學倫理委員會的批準。
1.1.2 試驗范式
本試驗要求受試者運動想象右腳三種動作：傳球、停球和射門。試驗范式如圖1 所示，試驗開始，首先進行 60 s 基線時間，此期間受試者無試驗任務；之后進入正式想象任務試驗，包括 60 個 trials。每個 trial 的想象任務根據顯示器屏幕上隨機提示的三種動作之一進行，提示持續時間為 2 s；提示結束，顯示器屏幕中央呈現星號，要求受試者以第一人稱視角想象所提示的動作，持續時間為 10 s，星號消失，想象任務結束；隨后顯示器屏幕提示受試者進入休息，休息時間為 20 s，為一個 trial；試驗期間全程伴有語音提示。一組試驗時間約為 36 min，包括 60 個 trials，每種運動想象動作各 20 個 trials。
圖1
試驗范式
Figure1.
Experimental paradigm
1.1.3 試驗過程
本研究招募的 20 名受試者均為業余足球愛好者，經歷并體驗過右腳三種實際動作（傳球、停球和射門）。在正式實驗前，對受試者進行單個肢體（右腳）三種動作運動想象訓練（想象右腳傳球、停球和射門），要求他們在心里回憶并感知三種動作過程，但不發生實際運動，受試者反復訓練直到在心里能夠生動、可控地排演三種動作過程[5, 19, 31]。訓練完后，填寫感覺運動想象能力量表評估受試者的運動想象能力[5, 31]。本研究的 20 名受試者通過上述訓練，均具有想象這三種動作的能力。
試驗在一間寬敞安靜的房間里進行，要求受試者熟悉試驗流程。試驗過程中，受試者坐在一張舒適的椅子上，正對顯示器屏幕，通過顯示器屏幕接收視覺提示；要求受試者保持靜止放松狀態，盡量避免身體動作，降低對近紅外信號的干擾。試驗期間，要求受試者按圖1 試驗范式完成所需要的任務。每名受試者進行兩次試驗，采集兩組內容相同的數據。
1.1.4 數據采集
本試驗研究采用中國丹陽慧創醫療設備有限公司的 fNIRS 設備（兩個波長 760 nm 和 850 nm）采集數據。設備由 6 個入射光源和 8 個探測器光纖組成的探頭設計組成，共計 16 個通道，光源單波長功率大于 20 mW，時間分辨率高達 100 Hz，動態范圍大于 110 dB，數模轉換精度為 24 bit。fNIRS 光源和探測器的測量設置如圖2 所示，其中 S 表示光源探頭，D 表示探測器探頭，光源探頭和探測器探頭之間的連線表示通道，旁邊的數字表示通道的編號；測量區域覆蓋整個大腦皮層運動區，包括左腦 8 個通道和右腦 8 個通道，左右區域對稱，設備的采樣率設定為 20 Hz。最后，在試驗過程中，關閉房間內所有的燈，以減少來自環境的光源對 fNIRS 信號的污染。
圖2
各探頭排布圖
Figure2.
Layout of each probe
1.2 數據處理
試驗采集到的 fNIRS 信號的干擾成分主要有基線漂移、運動偽跡、生理干擾和高頻噪聲等[32, 34-35]。其中基線漂移主要來源于測量過程中設備溫度改變等原因引起的基線改變；運動偽跡主要來源于探頭與頭皮接觸中相對移動引起的光路徑的改變；生理干擾主要包括心動干擾（0.7～1.5 Hz）、呼吸干擾（0.13～0.33 Hz）和 Mayer 波（0.1 Hz）；高頻噪聲主要來源于工頻干擾。數據處理流程如圖 3 所示，首先進行數據預處理，消除干擾成分，然后將每個通道的 HbO 信號分割成休息以及想象傳球、停球和射門數據段，接著從想象傳球、停球和射門數據段中提取特征，最后采用 SVM 對運動想象動作傳球、停球和射門進行三分類，同時又分別對傳球與停球、傳球與射門、停球與射門兩類運動想象動作進行二分類。
圖3
數據處理流程與分類
Figure3.
Data processing and classification steps performed in the study
1.2.1 預處理
首先對采集的 fNIRS 數據進行帶通濾波（0.02～0.1 Hz），去除由心跳（1～1.5 Hz）、呼吸（0.13～0.33 Hz）和 Mayer 波（約 0.1 Hz）引起的高頻生理噪聲。對上述處理后的 fNIRS 數據進行去基線漂移處理，利用 HbO 信號和脫氧血紅蛋白信號反向變化的相關性改善算法，去除運動偽跡[36]。
1.2.2 特征選擇
HbO 信號均值和 HbO 信號斜率是 fNIRS 研究中常用的信號特征，本研究首先從時域信號中提取 HbO 信號均值和 HbO 信號斜率。其中 HbO 信號均值用來表征相應腦區的活躍程度，而 HbO 信號斜率用來反映腦活躍程度的變化過程[30]。均值特征則是對每個 trial 單個通道任務期間的所有采樣點求平均值作為該 trial 單個通道的均值特征，斜率特征先對該 trial 單個通道任務期間的 HbO 信號進行曲線擬合，然后計算出每個采樣點的斜率值，取其中最大值作為該通道的特征。除了信號均值和信號斜率特征外，本研究還計算了不同想象運動任務 HbO 信號之間的相關系數作為新的特征。相關系數是由著名統計學家卡爾·皮爾遜于 19 世紀 80 年代提出的統計指標，描述的是一種非確定性的關系，是研究變量之間線性相關程度的量，兩個隨機變量 X 和 Y 的相關系數 r 的計算公式如式 (1) 所示。
|
式中 Cov(X，Y) 為隨機變量 X 和 Y 的協方差函數，σX、σY 分別為兩個隨機變量的標準差，E(X)、E(Y) 為兩隨機變量的平均值。
對采集得到的同一名受試者兩組數據預處理之后，由于兩組數據試驗內容相同，故將兩組數據進行統一分析處理。以計算想象傳球動作的第一個 trial 的通道一的相關系數特征為例，其相關系數特征計算方法如圖4 所示。首先計算運動想象傳球動作的第一個 trial 的通道一與運動想象傳球動作 20 個 trials 的通道一的相關系數，然后再計算這 20 個相關系數的均值，得到運動想象傳球動作的第一個 trial 的通道一與傳球動作的相關系數特征 a；再計算運動想象傳球動作的第一個 trial 的通道一與運動想象停球動作 20 個 trials 的通道一的相關系數，然后計算這 20 個相關系數的均值，得到運動想象傳球動作的第一個 trial 的通道一與停球動作的相關系數特征 b；最后計算運動想象傳球動作的第一個 trial 的通道一與運動想象射門動作 20 個 trials 的通道一的相關系數，然后計算這 20 個相關系數的均值，得到運動想象傳球動作的第一個 trial 的通道一與射門動作的相關系數特征 c。綜上可得，運動想象傳球動作的第一個 trial 的通道一的相關系數特征為［a, b, c］，運動想象傳球動作的第一個 trial 的其他通道相關系數特征也按此方法求出。同理，皆可按此方法求出其他運動想象動作每個 trial 的相關系數特征。
圖4
傳球動作第一個 trial 的通道一的相關系數特征計算示意圖
Figure4.
Schematic calculation of correlation coefficient characteristics of channel one of the first trial of the pass
特征選擇時，任務期間 HbO 信號的均值、斜率和相關系數三個特征進行 SVM 全通道聯合分類。本試驗 fNIRS 設備有 16 通道，則每個 trial 的均值和斜率特征均為 16 個,而每個 trial 單個通道的相關系數特征按照圖4 所示方法，可求得單個通道的三個相關系數特征，故每個 trial 的相關系數特征為 48 個。
1.2.3 分類方法
本研究采用 SVM 構建分類器。SVM 的目標是通過創建最優超平面來最大化不同類（支持向量）的最近訓練點之間的距離。通過最小化誤差函數可以找到最佳超平面。SVM 已用于各種 fNIRS-BCI 分類研究中，并顯示其效果良好。
在本研究中，使用了 matlab 中的 SVM 庫，使用交叉驗證的網格搜索來訓練分類器，以確定最佳的內核和特征，得到性能最好的內核是高斯徑向基函數[37]。對高斯核的代價函數參數和自由參數進行了優化，以獲得最優分類性能。
1.2.4 腦激活地形圖和 HbO 響應曲線圖
本研究繪制了三種運動想象動作的腦激活地形圖。對每名受試者所采集的兩組內容相同的數據，計算這兩組數據相同通道三種運動想象動作和基線期間的 HbO 濃度均值，然后再分別計算傳球、停球和射門運動想象動作與基線之間的 HbO 濃度差值，最后計算所有受試者相同通道三種動作運動想象和基線期間的 HbO 總的濃度差值的均值。對得到 HbO 總濃度差值的均值作歸一化處理，然后根據歸一化后的值分別繪制三種動作運動想象在皮層運動區的腦激活地形圖。與此同時，為了比較三種不同想象動作之間的 HbO 濃度響應，本研究繪制了所有受試者三種運動想象任務期間對應的總的平均 HbO 濃度變化曲線圖。
2 結果
本研究招募 20 名受試者，其中 5 名受試者的數據由于失真被剔除，最終得到 15 名受試者的數據進行分析。然后把兩組試驗 120 個 trials 平均分為訓練集和測試集，各 60 個 trials，每個數據集包括傳球、停球和射門各 20 個 trials，并采用 SVM 構造的模型進行訓練分類。研究提取的各個分類特征得到的分類準確率統計信息如表1 所示。從表中三分類準確率看，計算不同運動想象任務 HbO 信號之間的相關系數作為分類特征的平均分類準確率為 78.89%±6.161%，實現了對右腳三種不同動作運動想象的有效區分；而想象任務 HbO 信號的斜率和均值作為分類特征的平均分類準確率分別為 60.44%±4.475% 和 40.44%±5.824%，表明想象任務 HbO 信號之間的相關系數作為分類特征的分類性能好于 HbO 信號的斜率和均值作為分類特征。從表中二分類準確率看，相關系數作為分類特征整體的平均分類準確率也高于以 HbO 信號斜率和均值作為分類特征的分類結果。
表1
不同特征分類準確率統計（%）
Table1.
Classification accuracy statistics of different characteristics (%)
圖5 是繪制的三種動作運動想象的腦激活地形圖。腦激活地形圖顯示，三種動作想象任務下，左腦運動區激活程度明顯高于右腦；且三種動作想象任務左腦運動區激活程度相比較：射門>傳球>停球。由于所使用的數據是所有受試者三種動作運動想象 HbO 總濃度差值的均值，因此圖中顯示了三種運動想象動作總體大腦激活情況。圖6 是三種動作運動想象期間各通道 HbO 濃度響應曲線圖，所使用的數據是所有受試者三種動作運動想象 HbO 濃度均值，反映出總體三種動作運動想象 HbO 濃度響應趨勢。從曲線圖上可以直觀地觀察到，三種動作運動想象任務期間 HbO 濃度最大值和到達最大值的時間各不相同。
圖5
三種想象動作的大腦激活地形圖
Figure5.
Brain activated maps of three imaginative actions
圖6
三種運動想象動作HbO濃度響應曲線圖
Figure6.
HBO concentration response curves of three imaginative actions
3 討論
在本研究中，針對基于 fNIRS 的運動想象 BCI，有別于傳統對不同肢體運動想象的分類，設計了單個肢體（右腳）三種運動想象任務（傳球、停球和射門），探究 fNIRS 信號對單個肢體運動想象分類的可行性，期望增加該類 BCI 的控制指令。此外，在基于 fNIRS 的運動想象 BCI 中，首次計算不同想象任務 HbO 信號之間的相關系數作為新的分類特征，并驗證了該特征對單個肢體不同運動想象任務的可分性。
現有文獻研究證明了基于 fNIRS 在一定程度上能夠識別不同肢體的運動想象，如 Kaiser 等[31]利用 fNIRS 識別了右手和雙腳兩分類運動想象；焦學軍等[30]研究識別了左右手同一動作的運動想象和運動執行的分類；Naseer 等[22]基于 fNIRS 成功區分左右手腕彎曲運動想象的研究。本研究探討單個肢體（右腳）三種不同動作運動想象任務的可區分性，得到了較好的分類結果。已有研究文獻指出不同的動作可以制定不同的外部設備控制指令[38-39]。如果結合本研究對單個肢體不同動作運動想象的有效識別，有望增加 fNIRS-BCI 的指令數。
由表1 可知，在所設計的試驗范式下，提取不同運動想象任務 HbO 信號之間的相關系數作為特征，采用 SVM 分類右腳三種運動想象動作（傳球、停球和射門）所得平均分類準確率為 78.89%±6.161%，這說明成功地區分了右腳不同運動想象任務，表明相關系數可以作為有效的分類特征。之前基于 fNIRS 的分類識別研究中，Naseer 等[22]基于 fNIRS 識別想象左右手腕彎曲運動的二分類研究，其分類準確率為 73.35%；Kaiser 等[31]利用 fNIRS 識別右手和雙腳兩分類運動想象，得到的平均分類準確率為 70%；焦學軍等[30]研究識別了左右手同一動作的運動想象和運動執行的分類，其平均分類準確率為 72.94%；Power 等[40]采用 fNIRS 進行三分類（想象音樂、心算、靜息態）研究，平均分類準確率為 56.2%。與上述研究的分類精度相比，本研究得到了較好的分類結果。
綜合比較表1 各個特征的分類精度，信號相關系數特征的識別率最高。這是由相關系數的計算方法決定的，相關系數是對兩個信號關聯性的量化描述，使其精煉為一個描述性數據；相關系數的計算不僅能夠反映信號之間的相互關系，而且計算時不受變量單位的限制，描述信號之間的相關性大小[41-42]。信號的均值特征雖然容易計算，且可以直觀、簡明地表示單個信號的情況，但是它利用了信號所有數據的信息，其值容易受極端數據的影響[43]；同時信號均值特征只描述信號自身屬性，即一個通道中單個 trial 只用一個數據進行描述。至于信號的斜率特征，信號曲線上某點的斜率反映了此信號曲線在此點處變化的快慢程度，而不同點的斜率不盡相同，很難選擇信號曲線上一個分類效果較好的點的斜率作為分類特征，通常選擇信號采樣點中斜率最大值作為分類特征[16, 22, 30]；同樣地，斜率特征描述信號自身屬性，一個通道中單個 trial 也只用一個數據進行描述。本研究提取相關系數作為分類特征，即對于同一通道中每個 trial（其類別標簽已知）分別計算自相關系數和與其他 trial（其類別標簽已知）的相關系數，然后根據該 trial 標簽類型和其他 trial 標簽類型將計算得到的所有相關系數分成傳球、停球和射門三類，分別求這三類相關系數的均值，即用三個數據來表征此通道的該 trial。對于單個通道中的單個 trial，其均值和斜率特征只用一個數據描述，而相關系數用三個數據進行表征。已有研究顯示單一特征難以描述信號的全部特征信息，并且用單一特征進行分類，其識別準確率低，而采用多特征來描述任務并進行分類時，其識別準確率得到明顯提高[44]。
此外，僅靠三種運動想象動作總體的平均分類準確率的結果并不能確定分類結果是否成功，除了三種運動想象動作總體的平均分類準確率，還需要得出三種運動想象動作中兩兩動作（即傳球與停球、傳球與射門、停球與射門）之間的分類準確率[40]。為了確認不同運動想象動作任務期 HbO 信號的不同，也需要對三種運動想象動作中兩兩動作之間進行分類[45]。根據表1 所示，傳球與停球、傳球與射門、停球與射門的平均分類準確率分別為 85.17%±4.768%、82.33%±6.011%、89.33%±6.713%，表明三種運動想象動作的 HbO 信號不同[45]。已有文獻研究結果顯示二分類的平均分類準確率高于三分類的平均分類準確率[33, 46]。比較表1 中三分類與二分類的平均分類準確率情況，與上述文獻研究結果一致。
運動想象任務期間大腦激活區域的驗證非常重要[33]。圖5 為三種運動想象動作期間腦激活地形圖，顯示右腳三種運動想象期間左腦 HbO 濃度均高于右腦 HbO 濃度，反映出右腳運動想象主要由左腦運動區控制，左腦激活引起 HbO 濃度上升。Nishiyori 等[35]研究結果顯示單側肢體運動由對側的大腦運動區神經元控制，即單側肢體運動與大腦運動區的激活區域相反。同時可以用大腦半球優勢進行解釋，即單側肢體運動時，同側大腦運動區激活受到抑制[47]。本研究結果與已有研究結果一致。Power 等[40, 48]研究顯示同一大腦區域可以解碼不同的想象任務；圖5 中三種運動想象動作均激活大腦左側運動區，不同的是三種運動想象動作在大腦左側運動區激活程度存在差異，可以利用這些差異程度計算任務間的相關系數來解碼三種運動想象任務。
圖5 大腦區域激活地形圖只能提供有關大腦激活位置和強度大小的信息，無法揭示有關給定位置信號值的任何信息[46]。圖6 是三種運動想象動作任務期間所有受試者的 HbO 響應的平均值。研究表明，不同動作的 HbO 信號到達峰值的時間不同[17]。圖6 清楚地顯示了對應于三種運動想象動作的 HbO 信號之間存在顯著的差異，傳球、停球和射門三種運動想象動作 HbO 濃度達到峰值的時間分別在 9～10 s、15～16 s 和 8～9 s。因此，該結果提示每個運動想象動作可以基于大腦運動區相應 HbO 信號與其他運動想象動作分開。同時，可以計算三種想象動作之間的相關性得到不同的相關系數，用來描述三種動作之間的差異屬性，作為分類識別特征。
需要注意的是，本研究只在 20～28 歲的受試者中進行，而有報道稱老年人與年輕人的血液動力學響應存在差異[49-51]，且所有受試者均為健康人，他們的血流動力學響應與神經系統疾病的患者會有所不同[48]，如果將研究的對象擴大并能取得良好的分類結果，將更有助于 fNIRS-BCI 的推廣。
4 結論
本研究探討了 fNIRS 對單個肢體不同動作（右腳傳球、停球和射門動作想象）運動想象的可分性。計算不同動作運動想象間 HbO 信號的相關系數作為新的特征，并采用 SVM 對右腳三種運動想象動作進行分類，平均分類準確率為 78.89%±6.161%，同時還對傳球與停球、傳球與射門和停球與射門進行了二分類，平均分類準確率分別為 85.17%±4.768%、82.33%±6.011%、89.33%±6.713%。試驗結果表明基于 fNIRS 信號分類單個肢體不同運動想象動作是可行的，相關系數可以作為一種有效的分類特征。本研究可望為 fNIRS-BCI 增加新的控制命令，也可為單側中風患者康復訓練和控制外設提供一種新的選擇。我們未來的研究是構建在線 fNIRS-BCI 控制單側假肢執行多種動作。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
