情感腦機接口在人機交互領域中具有重要的應用價值。腦電（EEG）由于在時間分辨率、可靠性和準確性方面具備的優勢，在情緒識別領域受到廣泛關注。然而，腦電的非平穩特性和個體差異限制了情緒識別模型在不同時間、不同受試者之間的泛化。為解決跨被試、跨時間情緒分類的問題，本文提出了最大分類器差異域對抗方法（MCD_ DA），通過建立神經網絡情感識別模型，將淺層特征提取器分別對抗域分類器和情感分類器，進而使特征提取器產生域不變表達，在實現近似聯合分布適配的同時訓練分類器學習任務特異性的決策邊界。實驗結果表明，在進行跨被試情緒識別時，相較于傳統通用分類器 58.23% 的平均分類準確率，該方法的平均分類準確率達到了 88.33%。本研究結果提高了情感腦機接口在實際應用中的泛化能力，為情感腦機接口走向實際應用提供了新的方法。
引用本文： 蔡梓良, 郭苗苗, 楊新生, 陳昕彤, 徐桂芝. 基于最大分類器差異域對抗方法的跨被試腦電情緒識別研究. 生物醫學工程學雜志, 2021, 38(3): 455-462. doi: 10.7507/1001-5515.202012027 復制
引言
腦機接口作為人與機器間溝通、合作、共融的橋梁，如果能識別人類的情感，會極大地增強人機合作的安全性與效率。作為被動腦機接口的一種，情感腦-機接口天生就具有良好的輔助性。情緒識別是情感腦機接口中最為重要的一環，情緒識別的基礎是分布在人體內的生理或非生理信號，在眾多情感識別的方法中，作為生理信號的腦電（electroencephalogram，EEG）比早期工作所采用的非生理信號，如面部表情、手勢、文本和語言，在可靠性和準確性方面均具有優勢[1]。基于腦電信號的情緒研究也逐漸成為科學研究和工程實踐的熱門領域，具有重要的研究意義以及廣泛的應用價值。
到目前為止，基于腦電的情緒識別方法中，大多數工作采用的是直接使用腦電特征進行分類的淺層模型，如蔣小梅等[2]通過對不同情緒狀態下的多生理信號進行預處理和特征提取，再利用 J48 決策樹算法實現了對 4 種情緒狀態的識別。蘇建新[3]使用情緒腦電信號的小波能量以及相關非線性參數，通過支持向量機（support vector machine，SVM）對平靜態和壓力態的腦電信號進行了識別和分析。上述介紹的研究普遍采用淺層分類器，在有限的樣本和計算單元情況下對復雜函數的表示能力有限，其對于復雜分類問題的泛化能力受到一定制約。
與淺層神經網絡相比，深度模型擁有更好的擬和能力，楊豪等[4]在公開情緒分類數據集 SEED 上利用深度信念網絡對微分熵（differential entropy，DE）特征進行識別的準確率為（89.12 ± 6.54）%，在數值上好于傳統的 SVM。然而，腦電的非平穩性導致這些為單個被試訓練的模型難以為其他被試所用[5]。情緒腦電數據，尤其是帶標簽數據收集困難，很難用包含多被試腦電特征的數據直接訓練一個跨被試效果好的模型。這兩個問題直接導致了情緒識別模型跨被試、跨時間應用困難，為情感腦機接口的泛化帶來負面影響。
為解決模型跨被試、跨時間應用困難的問題，部分研究者將目光轉向域自適應（domain adaptation，DA）方法[6]。域適應是遷移學習的一個子領域，該研究的目標是在降低不同域之間差異的同時，保持不同類別的判別信息，早期的域適應方法傾向于減小源域和目標域在特定空間的距離[7-9]。Zheng 等[10]在公開情緒分類數據集 SEED 上實驗了直推式參數遷移（transductive parameter transfer，TPT）算法，通過訓練多個分類器并將有關分類器參數的知識傳遞給目標對象，其目的是最小化源域和目標域的最大平均偏差來適配邊緣分布，在 SEED 上的分類準確率為（76.32 ± 15.89）%。Jin 等[11]利用域對抗神經網絡（domain adversarial neural networks，DANN）[12]建立跨被試情感識別模型，通過特征提取器與域分類器的對抗減小域間距離，在 SEED 上的準確率為（79.19 ± 13.14）%。然而，從概率學的角度來看，被試間腦電的差異體現在其聯合分布，上述兩種方法僅從邊緣分布出發進行域適應，存在數據利用率低、效果較差的問題。
針對早期域適應算法的問題，Li 等[13]提出了一種聯合分布自適應（joint distribution adaptation，JDA）算法，使用對抗性訓練適應淺層的邊緣分布，并通過關聯增強適應最后一層的條件分布，通過同時調整邊緣分布和條件分布近似地調整聯合分布[14-15]，在 SEED 上的分類準確率為 86.7%，為近年來的最好結果。然而 JDA 在實現關聯增強時，需要定義多種類型的損失值，各種損失值在損失函數中的權重需要通過多次訓練才能確認，從而帶來訓練調試中的困難，對不同的被試往往需要長時間的調參才能獲得較好的分類結果，且該方法對目標域決策邊界附近的特征模糊樣本分類效果較差。
為解決上述問題，本文提出了一種新的域適應方法最大分類器差異的域對抗（maximum classifier discrepancy for domain adversarial neural networks，MCD_DA），在 DANN 的基礎上，通過最大化兩個包含源域條件分布信息的不同分類器間差異，尋找被源域排斥的目標域樣本特征，再以分類器差異最小化為目標訓練特征提取器，重新生成符合源域條件分布的特征，從而適配條件分布。通過這種方法分類器邊界處樣本的特征會被更具目標域特異性的特征所代替，使模型更加契合被試，提高了模型的穩定性，并且模型在兩種對抗中自動尋找最佳的參數，從而簡化了人為調參過程，更有利于模型的推廣。本研究旨在對跨被試、跨時間情景下基于腦電信號的情緒識別算法進行優化，為情感腦機接口在情緒識別領域的進一步發展做出嘗試。
1 MCD_DA 模型構建
因為神經網絡能以簡單結構實現復雜函數逼近，從少數樣本集中提取和選擇更能反映數據集本質的特征[16]，且更適合域適應算法的實現，本文選擇神經網絡為基礎構建域適應模型，具體結構如圖 1 所示。
圖1
MCD_DA 模型圖
Figure1.
MCD_DA model diagram
圖 1 中 F（feature extractor）為特征提取器，
、
（classifier）為情緒分類器，D（domain classifier）為域分類器。F 對于源域和目標域是共享權重的，為了對目標域的樣本作出可靠的預測，F、
、
的更新準則不僅要對來自源域的有標簽樣本進行情感分類，而且要盡可能地使源域與目標域更為相似（包括邊緣分布和條件分布）。考慮到較淺的層傾向于生成任務不變特征，而較深的層更可能生成特定于任務的特征[17]，在較淺的層 F 后設計了域分類器 D，用于構建 DANN。D 是一個判斷特征向量屬于源域還是目標域的二元分類器，在前饋過程中，它充當一個普通的分類器，而在反向傳播過程中，它迫使 F 生成具有域不變性質的特征，這是通過 D 中的梯度反轉層實現的。此時的 D 與 F 類似于生成對抗網絡（generative adversarial networks，GAN）[18]中的監督器與生成器。在較深的層 C 處計算 
、
間差異，繼而為模型適配條件分布作準備。綜上所述，該模型易于訓練，并且可以為域適應算法的實現提供有利條件。
2 數據預處理與模型訓練過程
2.1 數據集創建
本文實驗數據集來源于上海交通大學提供的情緒腦電信號數據庫（Shanghai Jiao Tong University，Emotion Electroencephalogram Dataset，SEED）[19]。數據為 15 個受試者的腦電信號，包含了基于腦電信號的 3 種情緒數據（積極、消極、中性）。相比于其他以效價、喚醒度為情緒度量的腦電數據庫，SEED 的數據結構更適合基于神經網絡的分類任務。SEED 以電影片段作為情緒誘發素材，在受試者觀看電影片段的過程中，使用 62 通道腦電帽采集受試者的腦電信號（62 通道信號為一組），每個受試者分別有 5 組“積極”、5 組“消極”、5 組“中性”的腦電信號。每個受試者共參加 3 次試驗，對于 15 個受試者共獲得 
組腦電數據，且每組數據都經濾波獲取了腦電信號 5 個頻段的信號，再在這 5 個頻段的基礎上使用多種特征變換方法對每個頻段下的數據進行特征提取。其中，DE 特征在香農熵的概念上擴展而來，能有效地測試連續隨機變量的復雜性，Zheng 等[19]在識別正性、中性和負性三種情緒的實驗中，使用 DE 作為特征獲得的識別準確率高于其他特征，因此本文以 DE 作為輸入特征，由于有 62 個通道，所以 DE 的樣本維數為 
。
2.2 數據預處理
為了加快跨被試模型的訓練，本文沒有使用全部源域數據，而是隨機選取了 5 000 源域樣本作為訓練數據，這 5 000 個源域樣本標記有情緒分類標簽。訓練集中還包括目標域全部 3 394 個未標記的數據。為實現 DANN 本文將來自源域和目標域的數據樣本串聯到一起，并打上新的標簽，這個標簽與三分類的情緒標簽不同，可以稱為域標簽。此時的輸入數據由既有情緒標簽又有域標簽的源域數據和僅有域標簽不含情緒標簽的目標域數據組成。為加速神經網絡收斂，所有輸入特征進行歸一化處理。
2.3 模型參數設置
因為本模型使用 DE 作為輸入特征，特征較明顯，所以本文使用多層感知器[20]來實現深度網絡，相較卷積神經網絡等能獲得更好的域適應效果[21]。模型結構為 310（輸入層）-128-100（中間層）-3（輸出層）。其中 F 為 310-128，
、
均為 128-100-3。C 后接柔性最大（Softmax）回歸方法[22]，對情緒進行分類識別。這是一個易于訓練和產生可靠表示的網絡。輸入層和中間層使用修正線性單元（rectified linear units，ReLU）激活函數[23]。在跨被試和跨時間的情況下，結構保持不變。訓練中選擇自適應矩估計（Adam）優化器，學習率為 1e-4，訓練時隨損失值的降低逐漸降低學習率。在 Adam 中使用默認參數：
= 0.9，
= 0.999，∈ = 10e?8。批量為 64，超參數 n 設置為 4。使用 NVIDIA TITAN GPU 對神經網絡的訓練進行加速，CUDA 版本為 10.0，使用 1.2 版本 pytorch 作為實驗平臺構建模型。
2.4 模型訓練步驟
為了得到一個更貼合目標域數據特點的模型，本文研究將模型每一輪的訓練分為 A、B、C 三個步驟，這三個步驟是在同一批次的源域數據與目標域數據下完成的。具體訓練流程如下。
步驟 A：該步驟目標是盡可能在拉近源域和目標域距離的前提下減少在源域的情緒分類損失，具體的的訓練方法如圖 2 所示。
圖2
MCD_DA 方法中的訓練步驟 A
Figure2.
Training step A of MCD_DA
由于優化的側重點不同，網絡在這一步中使用了兩種不同的參數更新方法。對于 F、D，不是為了適應分類任務而特意優化的，而是為了使兩個域的淺層輸出特征在統計上相似。F、D 的優化策略可以用式（1）描述。
 |
式（1）第一項 
是模型對源域數據的情緒分類損失，其具體計算公式如式（2）所示。
 |
其中，
 |
式（1）第二項 
是模型對源域及目標域數據的邊緣分布相似性損失，借助對抗性領域自適應方法進行優化，受 GAN 訓練過程的啟發，希望淺層 F 生成對抗性特征，以混淆 D，使其認為特征來自相同域。損失函數見式（4）。
 |
其中，H 是交叉熵損失，
∈{0，1}是域標簽，
是域分類器的輸出。如果腦電樣本來自于源域，
= 0；如果來自目標域，
= 1。
、
的更新策略與 F、D 不同。較深層的參數更新應該將最小化情緒分類損失作為主要目標，所以在步驟 A 中 
、
參數的更新方法如式（5）所示。
 |
需要注意的是，分類器 
、
采用了不同的參數初始化方法。
經過步驟 A，模型在淺層生成了域不變特征。接下來步驟 B、C 的優化目標以適配源域與目標域的條件分布并使用任務特異性分類器考慮類邊界和目標域樣本之間的關系，實現源域特征和目標域特征的對齊為主[24]。
步驟 B：在這一步中，同樣類比 GAN，訓練兩個較深層的分類器 
、
作為鑒別器，F 作為生成器，具體過程如圖 3 所示。
圖3
MCD_DA 方法中的訓練步驟 B
Figure3.
Training steps B of MCD_DA
訓練分類器學習最大化目標樣本差異：固定 F 的參數，訓練兩個不同的分類器 
、
使其在目標域數據的預測差異最大，從而可以檢測到目標域決策邊界附近的樣本。兩個分類器的差異用最簡單的最小絕對值誤差來衡量。優化目標如式（6）所示。
 |
其中，
 |
本文利用兩個分類器的概率輸出之間差異的絕對值作為差異損失，如式（8）所示。
 |
其中，
和 
表示 p 對 k 類的概率輸出。此外，在這一步的實際損失函數中添加了分類器在源域樣本上的情緒分類誤差，因為通過實驗發現單純使用兩分類器差異作為損失函數效果較差。
步驟 C：為了消除目標域決策邊界附近樣本的模糊特征，使模型重新生成任務的特異性特征，訓練模型學習最小化分歧，具體過程如圖 4 所示。
圖4
MCD_DA 方法中的訓練步驟 C
Figure4.
Training steps C of MCD_DA
固定 
、
的參數優化 F，使兩個分類器對新特征的分類結果盡可能一致，具體優化策略如式（9）所示。
 |
步驟 C 重復 n 次，n 是一個模型中的超參數，其具體值由實驗確定。
通過多個訓練輪次，模型在目標域樣本上生成的特征逐漸向源域樣本的情感聚類中心靠攏，同時 
、
實現了對任務特異性決策邊界的模擬。
3 實驗結果與分析
為了研究 MCD_DA 模型在跨被試、跨時間兩種情景下的情緒分類能力，本文設計了兩種遷移學習實驗，分別為多對一的跨被試遷移實驗和單被試跨時間遷移實驗。
3.1 基于 MCD_DA 的多對一跨被試遷移實驗結果
多對一的跨被試遷移實驗采用留一交叉驗證方法。MCD_DA 方法對 15 個被試的跨被試情緒分類準確率和平均分類準確率如圖 5 所示。其中被試 7 的準確率最高（98.43%），被試 3 的準確率最低（74.57%）。15 個被試的準確率為（88.33 ± 5.86）%，被試間準確率差異較小，MCD_DA 方法顯示出很好的穩定性。
圖5
MCD_DA 在跨被試任務中對每個被試的準確率和平均 準確率
Figure5.
Accuracy for each subject and average accuracy by MCD_ DA in cross subject task
本文還對比分析了 MCD_DA 與非跨被試算法和其他主流方法的情緒識別結果，如表 1 所示為基于不同方法的跨被試遷移結果。表 1 中數據為 15 個被試分類準確率的平均值 ± 標準差，其中非跨被試使用目標域數據訓練，目標域數據測試，為模擬理想情況而進行的計算。結果顯示，利用 SVM 訓練通用分類器，代表未遷移的分類結果，只取得了 58.23% 的準確率和 18.56% 的標準差。直推式 TPT 方法在傳統 DA 方法中具有代表性，與 SVM 相比表現出了更好的性能，顯示了 DA 方法的優勢。DANN 方法在 TPT 的基礎上提高了少量分類準確率的同時降低了標準差，表現出具有更高準確率和穩定性的趨勢。JDA 方法在分類準確率上有較明顯的提升，但穩定性比 DANN 差。MCD_DA 在實現適配近似聯合分布的同時考慮了每個被試任務特異性的決策邊界，使分類器更為契合目標域，在 5 種方法中取得了最高的分類準確率和最低的標準差；與傳統的通用分類器的分類準確率相比，兩組數據差異具有統計學意義（t 檢驗，t = ? 8.96，P = 3.58e-7）。
表1
基于不同方法的跨被試遷移結果
Table1.
Cross-subject emotion recognition results based on diffe rent methods
為了更直觀地展示 MCD_DA 方法在跨被試任務中的特點，使用（t-stochastic neighbor embedding，TSNE）技術[25]在二維平面上投射了 F、C 的輸出，結果如圖 6 所示。圖 6 中第一行顯示了四種方法在 F 處的輸出特征分布，第二行為 C 處輸出特征的分布。第一列方法為使用神經網絡進行情緒分類但未使用 DA 方法，可看出源域與目標域的淺層表示相差較遠，這是由于腦電的非穩定特性造成的被試間腦電分布差異。這樣的特征經 C 生成的表達呈現出相互分離的特點，使利用源域標簽訓練的分類器難以做出正確的判斷。當使用 DANN 方法進行邊緣分布對齊后，可看到源域與目標域 F 輸出的特征向量混疊在一起，這說明它們在此空間維度下產生了邊緣分布近似相同的特征，在 DANN 的 C 輸出也可看到相比未遷移方法源域與目標域的深層分布更為重疊。JDA 與 MCD_DA 方法同時適配了源域與目標域的邊緣分布和條件分布，使目標域特征在 F 生成可見的情感聚類，這是前兩種方法沒有做到的，這一點在深層分布中同樣得到了印證。但 JDA 方法對于決策邊界的樣本分類較為模糊，MCD_DA 方法在 F 與 C 處顯示出更為清晰的決策邊界。
圖6
四種方法（未遷移、DANN、JDA、MCD_DA）生成特征的可視化
Figure6.
Visualization of features generated by four methods (no transfer, DANN, JDA, MCD_DA)
3.2 基于 MCD_DA 的跨時間遷移實驗結果
跨時間遷移實驗中使用單個被試兩個時間段的數據作為源域，第三個時間段的數據作為目標域，分別對 15 個被試進行實驗，實驗結果取所有被試的平均值，如圖 7 所示。圖 7 中被試 8、11、15 的準確率均達到 100%，被試 3 的準確率最低（81.76%）。15 個被試的準確率為（92.90 ± 5.82）%，被試間準確率差異較小，MCD_DA 方法顯示出很好的穩定性。
圖7
MCD_DA 在跨時間任務中對每個被試的準確率和平均 準確率
Figure7.
Accuracy and average accuracy for each subject by MCD_ DA in cross session task
為評價 MCD_DA 方法在不同時間樣本上的泛化能力，本文進行了跨時間遷移學習算法對比。15 名被試的跨時間遷移結果如表 2 所示。表 2 中展示了非跨時間、未遷移、DANN、JDA、MCD_DA 五種方法的識別結果，其中非跨時間指使用單個被試的同一時間數據訓練并測試，用于模擬理想條件，未遷移指在跨時間任務中使用神經網絡進行情緒分類但未應用 DA 方法。相比非跨時間任務，未遷移方法的準確率降低且標準差增大；另外也可看到，未遷移方法與非跨時間任務的準確率差值小于表 1 跨被試任務中的 SVM 與非跨被試的準確率差值，這意味著單一被試的腦電特征顯示出一定的一致性。DANN 方法的準確率比起未遷移有所提高。JDA 方法在 DANN 基礎上適配了條件分布，在跨時間任務中取得了 91.17% 的準確率和 8.11% 的標準差，表明同被試跨時間任務中條件分布的差異更為明顯。MCD_DA 方法在三種遷移策略中準確率最高且標準差最低，相比 JDA 方法顯示出更高的準確率和更好的穩定性；與未遷移方法的準確率相比，兩組數據差異具有統計學意義（t 檢驗，t = ? 6.05，P = 2.97e-5）。
表2
基于不同方法的跨時間遷移結果
Table2.
Cross-session transfer results based on different methods
4 結論
情感腦機接口擁有極大的發展潛力，卻因為腦電的非平穩性和帶標簽情感腦電數據收集困難等問題無法推廣應用。所以，解決跨被試情緒識別問題迫在眉睫。本文提出了最大分類器差異域對抗（MCD_ DA）方法，通過建立神經網絡情感識別模型，將淺層特征提取器分別對抗域分類器和情感分類器，進而使特征提取器產生域不變表達，在實現近似聯合分布適配的同時訓練分類器學習任務特異性的決策邊界。實驗結果表明，該方法進行跨被試情緒識別的分類正確率為（88.33 ± 5.86）%，跨時間情緒識別的分類準確率為（92.90 ± 5.82）%，在需要快速搭建適合被試需求的情緒識別模型或缺少帶有標簽的腦電數據等場景中能發揮巨大的作用。
本文由實驗和可視化分析發現，被試間腦電分布差異主要體現在其聯合分布的不一致，而在跨時間情景下腦電分布差異主要體現在其條件分布，這可能是因為同被試的不同時間腦電具有一定的一致性。
現有的域適應方法需要源域大量的帶標簽數據和目標域的無標簽數據，且樣本間存在負遷移的問題，這些條件同樣限制著情感腦機接口走向實際應用。接下來的研究可以從減少實現域適應算法的源域和目標域數據或對源域可遷移樣本的優選等方向入手，從而實現跨人模型的快速適配。
腦電在時間分辨率、可靠性和準確性方面具備優勢，然而也存在著非穩定性、采集困難等劣勢。而其他外周生理信號例如面部表情、心電、眼動軌跡等雖然在可靠性方面不如腦電，但有跨人識別準確率高、容易采集等優點，可以與腦電互補。怎樣利用其他外周生理信號與腦電聯合訓練多模態深度模型也亟待研究者去實驗探究。
以上研究方向目前國內還少見報道，相信隨著研究的擴展和深入，基于深度學習模型的情緒識別研究一定會取得更大的進步，能夠從學術研究走向實際運用并在其他相關領域發揮積極的作用。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
引言
腦機接口作為人與機器間溝通、合作、共融的橋梁，如果能識別人類的情感，會極大地增強人機合作的安全性與效率。作為被動腦機接口的一種，情感腦-機接口天生就具有良好的輔助性。情緒識別是情感腦機接口中最為重要的一環，情緒識別的基礎是分布在人體內的生理或非生理信號，在眾多情感識別的方法中，作為生理信號的腦電（electroencephalogram，EEG）比早期工作所采用的非生理信號，如面部表情、手勢、文本和語言，在可靠性和準確性方面均具有優勢[1]。基于腦電信號的情緒研究也逐漸成為科學研究和工程實踐的熱門領域，具有重要的研究意義以及廣泛的應用價值。
到目前為止，基于腦電的情緒識別方法中，大多數工作采用的是直接使用腦電特征進行分類的淺層模型，如蔣小梅等[2]通過對不同情緒狀態下的多生理信號進行預處理和特征提取，再利用 J48 決策樹算法實現了對 4 種情緒狀態的識別。蘇建新[3]使用情緒腦電信號的小波能量以及相關非線性參數，通過支持向量機（support vector machine，SVM）對平靜態和壓力態的腦電信號進行了識別和分析。上述介紹的研究普遍采用淺層分類器，在有限的樣本和計算單元情況下對復雜函數的表示能力有限，其對于復雜分類問題的泛化能力受到一定制約。
與淺層神經網絡相比，深度模型擁有更好的擬和能力，楊豪等[4]在公開情緒分類數據集 SEED 上利用深度信念網絡對微分熵（differential entropy，DE）特征進行識別的準確率為（89.12 ± 6.54）%，在數值上好于傳統的 SVM。然而，腦電的非平穩性導致這些為單個被試訓練的模型難以為其他被試所用[5]。情緒腦電數據，尤其是帶標簽數據收集困難，很難用包含多被試腦電特征的數據直接訓練一個跨被試效果好的模型。這兩個問題直接導致了情緒識別模型跨被試、跨時間應用困難，為情感腦機接口的泛化帶來負面影響。
為解決模型跨被試、跨時間應用困難的問題，部分研究者將目光轉向域自適應（domain adaptation，DA）方法[6]。域適應是遷移學習的一個子領域，該研究的目標是在降低不同域之間差異的同時，保持不同類別的判別信息，早期的域適應方法傾向于減小源域和目標域在特定空間的距離[7-9]。Zheng 等[10]在公開情緒分類數據集 SEED 上實驗了直推式參數遷移（transductive parameter transfer，TPT）算法，通過訓練多個分類器并將有關分類器參數的知識傳遞給目標對象，其目的是最小化源域和目標域的最大平均偏差來適配邊緣分布，在 SEED 上的分類準確率為（76.32 ± 15.89）%。Jin 等[11]利用域對抗神經網絡（domain adversarial neural networks，DANN）[12]建立跨被試情感識別模型，通過特征提取器與域分類器的對抗減小域間距離，在 SEED 上的準確率為（79.19 ± 13.14）%。然而，從概率學的角度來看，被試間腦電的差異體現在其聯合分布，上述兩種方法僅從邊緣分布出發進行域適應，存在數據利用率低、效果較差的問題。
針對早期域適應算法的問題，Li 等[13]提出了一種聯合分布自適應（joint distribution adaptation，JDA）算法，使用對抗性訓練適應淺層的邊緣分布，并通過關聯增強適應最后一層的條件分布，通過同時調整邊緣分布和條件分布近似地調整聯合分布[14-15]，在 SEED 上的分類準確率為 86.7%，為近年來的最好結果。然而 JDA 在實現關聯增強時，需要定義多種類型的損失值，各種損失值在損失函數中的權重需要通過多次訓練才能確認，從而帶來訓練調試中的困難，對不同的被試往往需要長時間的調參才能獲得較好的分類結果，且該方法對目標域決策邊界附近的特征模糊樣本分類效果較差。
為解決上述問題，本文提出了一種新的域適應方法最大分類器差異的域對抗（maximum classifier discrepancy for domain adversarial neural networks，MCD_DA），在 DANN 的基礎上，通過最大化兩個包含源域條件分布信息的不同分類器間差異，尋找被源域排斥的目標域樣本特征，再以分類器差異最小化為目標訓練特征提取器，重新生成符合源域條件分布的特征，從而適配條件分布。通過這種方法分類器邊界處樣本的特征會被更具目標域特異性的特征所代替，使模型更加契合被試，提高了模型的穩定性，并且模型在兩種對抗中自動尋找最佳的參數，從而簡化了人為調參過程，更有利于模型的推廣。本研究旨在對跨被試、跨時間情景下基于腦電信號的情緒識別算法進行優化，為情感腦機接口在情緒識別領域的進一步發展做出嘗試。
1 MCD_DA 模型構建
因為神經網絡能以簡單結構實現復雜函數逼近，從少數樣本集中提取和選擇更能反映數據集本質的特征[16]，且更適合域適應算法的實現，本文選擇神經網絡為基礎構建域適應模型，具體結構如圖 1 所示。
圖1
MCD_DA 模型圖
Figure1.
MCD_DA model diagram
圖 1 中 F（feature extractor）為特征提取器，、（classifier）為情緒分類器，D（domain classifier）為域分類器。F 對于源域和目標域是共享權重的，為了對目標域的樣本作出可靠的預測，F、、 的更新準則不僅要對來自源域的有標簽樣本進行情感分類，而且要盡可能地使源域與目標域更為相似（包括邊緣分布和條件分布）。考慮到較淺的層傾向于生成任務不變特征，而較深的層更可能生成特定于任務的特征[17]，在較淺的層 F 后設計了域分類器 D，用于構建 DANN。D 是一個判斷特征向量屬于源域還是目標域的二元分類器，在前饋過程中，它充當一個普通的分類器，而在反向傳播過程中，它迫使 F 生成具有域不變性質的特征，這是通過 D 中的梯度反轉層實現的。此時的 D 與 F 類似于生成對抗網絡（generative adversarial networks，GAN）[18]中的監督器與生成器。在較深的層 C 處計算 、 間差異，繼而為模型適配條件分布作準備。綜上所述，該模型易于訓練，并且可以為域適應算法的實現提供有利條件。
2 數據預處理與模型訓練過程
2.1 數據集創建
本文實驗數據集來源于上海交通大學提供的情緒腦電信號數據庫（Shanghai Jiao Tong University，Emotion Electroencephalogram Dataset，SEED）[19]。數據為 15 個受試者的腦電信號，包含了基于腦電信號的 3 種情緒數據（積極、消極、中性）。相比于其他以效價、喚醒度為情緒度量的腦電數據庫，SEED 的數據結構更適合基于神經網絡的分類任務。SEED 以電影片段作為情緒誘發素材，在受試者觀看電影片段的過程中，使用 62 通道腦電帽采集受試者的腦電信號（62 通道信號為一組），每個受試者分別有 5 組“積極”、5 組“消極”、5 組“中性”的腦電信號。每個受試者共參加 3 次試驗，對于 15 個受試者共獲得 組腦電數據，且每組數據都經濾波獲取了腦電信號 5 個頻段的信號，再在這 5 個頻段的基礎上使用多種特征變換方法對每個頻段下的數據進行特征提取。其中，DE 特征在香農熵的概念上擴展而來，能有效地測試連續隨機變量的復雜性，Zheng 等[19]在識別正性、中性和負性三種情緒的實驗中，使用 DE 作為特征獲得的識別準確率高于其他特征，因此本文以 DE 作為輸入特征，由于有 62 個通道，所以 DE 的樣本維數為 。
2.2 數據預處理
為了加快跨被試模型的訓練，本文沒有使用全部源域數據，而是隨機選取了 5 000 源域樣本作為訓練數據，這 5 000 個源域樣本標記有情緒分類標簽。訓練集中還包括目標域全部 3 394 個未標記的數據。為實現 DANN 本文將來自源域和目標域的數據樣本串聯到一起，并打上新的標簽，這個標簽與三分類的情緒標簽不同，可以稱為域標簽。此時的輸入數據由既有情緒標簽又有域標簽的源域數據和僅有域標簽不含情緒標簽的目標域數據組成。為加速神經網絡收斂，所有輸入特征進行歸一化處理。
2.3 模型參數設置
因為本模型使用 DE 作為輸入特征，特征較明顯，所以本文使用多層感知器[20]來實現深度網絡，相較卷積神經網絡等能獲得更好的域適應效果[21]。模型結構為 310（輸入層）-128-100（中間層）-3（輸出層）。其中 F 為 310-128，、 均為 128-100-3。C 后接柔性最大（Softmax）回歸方法[22]，對情緒進行分類識別。這是一個易于訓練和產生可靠表示的網絡。輸入層和中間層使用修正線性單元（rectified linear units，ReLU）激活函數[23]。在跨被試和跨時間的情況下，結構保持不變。訓練中選擇自適應矩估計（Adam）優化器，學習率為 1e-4，訓練時隨損失值的降低逐漸降低學習率。在 Adam 中使用默認參數： = 0.9， = 0.999，∈ = 10e?8。批量為 64，超參數 n 設置為 4。使用 NVIDIA TITAN GPU 對神經網絡的訓練進行加速，CUDA 版本為 10.0，使用 1.2 版本 pytorch 作為實驗平臺構建模型。
2.4 模型訓練步驟
為了得到一個更貼合目標域數據特點的模型，本文研究將模型每一輪的訓練分為 A、B、C 三個步驟，這三個步驟是在同一批次的源域數據與目標域數據下完成的。具體訓練流程如下。
步驟 A：該步驟目標是盡可能在拉近源域和目標域距離的前提下減少在源域的情緒分類損失，具體的的訓練方法如圖 2 所示。
圖2
MCD_DA 方法中的訓練步驟 A
Figure2.
Training step A of MCD_DA
由于優化的側重點不同，網絡在這一步中使用了兩種不同的參數更新方法。對于 F、D，不是為了適應分類任務而特意優化的，而是為了使兩個域的淺層輸出特征在統計上相似。F、D 的優化策略可以用式（1）描述。
|
式（1）第一項 是模型對源域數據的情緒分類損失，其具體計算公式如式（2）所示。
|
其中，
|
式（1）第二項 是模型對源域及目標域數據的邊緣分布相似性損失，借助對抗性領域自適應方法進行優化，受 GAN 訓練過程的啟發，希望淺層 F 生成對抗性特征，以混淆 D，使其認為特征來自相同域。損失函數見式（4）。
|
其中，H 是交叉熵損失，∈{0，1}是域標簽， 是域分類器的輸出。如果腦電樣本來自于源域， = 0；如果來自目標域， = 1。
、 的更新策略與 F、D 不同。較深層的參數更新應該將最小化情緒分類損失作為主要目標，所以在步驟 A 中 、 參數的更新方法如式（5）所示。
|
需要注意的是，分類器 、 采用了不同的參數初始化方法。
經過步驟 A，模型在淺層生成了域不變特征。接下來步驟 B、C 的優化目標以適配源域與目標域的條件分布并使用任務特異性分類器考慮類邊界和目標域樣本之間的關系，實現源域特征和目標域特征的對齊為主[24]。
步驟 B：在這一步中，同樣類比 GAN，訓練兩個較深層的分類器 、 作為鑒別器，F 作為生成器，具體過程如圖 3 所示。
圖3
MCD_DA 方法中的訓練步驟 B
Figure3.
Training steps B of MCD_DA
訓練分類器學習最大化目標樣本差異：固定 F 的參數，訓練兩個不同的分類器 、 使其在目標域數據的預測差異最大，從而可以檢測到目標域決策邊界附近的樣本。兩個分類器的差異用最簡單的最小絕對值誤差來衡量。優化目標如式（6）所示。
|
其中，
|
本文利用兩個分類器的概率輸出之間差異的絕對值作為差異損失，如式（8）所示。
|
其中， 和 表示 p 對 k 類的概率輸出。此外，在這一步的實際損失函數中添加了分類器在源域樣本上的情緒分類誤差，因為通過實驗發現單純使用兩分類器差異作為損失函數效果較差。
步驟 C：為了消除目標域決策邊界附近樣本的模糊特征，使模型重新生成任務的特異性特征，訓練模型學習最小化分歧，具體過程如圖 4 所示。
圖4
MCD_DA 方法中的訓練步驟 C
Figure4.
Training steps C of MCD_DA
固定 、 的參數優化 F，使兩個分類器對新特征的分類結果盡可能一致，具體優化策略如式（9）所示。
|
步驟 C 重復 n 次，n 是一個模型中的超參數，其具體值由實驗確定。
通過多個訓練輪次，模型在目標域樣本上生成的特征逐漸向源域樣本的情感聚類中心靠攏，同時 、 實現了對任務特異性決策邊界的模擬。
3 實驗結果與分析
為了研究 MCD_DA 模型在跨被試、跨時間兩種情景下的情緒分類能力，本文設計了兩種遷移學習實驗，分別為多對一的跨被試遷移實驗和單被試跨時間遷移實驗。
3.1 基于 MCD_DA 的多對一跨被試遷移實驗結果
多對一的跨被試遷移實驗采用留一交叉驗證方法。MCD_DA 方法對 15 個被試的跨被試情緒分類準確率和平均分類準確率如圖 5 所示。其中被試 7 的準確率最高（98.43%），被試 3 的準確率最低（74.57%）。15 個被試的準確率為（88.33 ± 5.86）%，被試間準確率差異較小，MCD_DA 方法顯示出很好的穩定性。
圖5
MCD_DA 在跨被試任務中對每個被試的準確率和平均 準確率
Figure5.
Accuracy for each subject and average accuracy by MCD_ DA in cross subject task
本文還對比分析了 MCD_DA 與非跨被試算法和其他主流方法的情緒識別結果，如表 1 所示為基于不同方法的跨被試遷移結果。表 1 中數據為 15 個被試分類準確率的平均值 ± 標準差，其中非跨被試使用目標域數據訓練，目標域數據測試，為模擬理想情況而進行的計算。結果顯示，利用 SVM 訓練通用分類器，代表未遷移的分類結果，只取得了 58.23% 的準確率和 18.56% 的標準差。直推式 TPT 方法在傳統 DA 方法中具有代表性，與 SVM 相比表現出了更好的性能，顯示了 DA 方法的優勢。DANN 方法在 TPT 的基礎上提高了少量分類準確率的同時降低了標準差，表現出具有更高準確率和穩定性的趨勢。JDA 方法在分類準確率上有較明顯的提升，但穩定性比 DANN 差。MCD_DA 在實現適配近似聯合分布的同時考慮了每個被試任務特異性的決策邊界，使分類器更為契合目標域，在 5 種方法中取得了最高的分類準確率和最低的標準差；與傳統的通用分類器的分類準確率相比，兩組數據差異具有統計學意義（t 檢驗，t = ? 8.96，P = 3.58e-7）。
表1
基于不同方法的跨被試遷移結果
Table1.
Cross-subject emotion recognition results based on diffe rent methods
為了更直觀地展示 MCD_DA 方法在跨被試任務中的特點，使用（t-stochastic neighbor embedding，TSNE）技術[25]在二維平面上投射了 F、C 的輸出，結果如圖 6 所示。圖 6 中第一行顯示了四種方法在 F 處的輸出特征分布，第二行為 C 處輸出特征的分布。第一列方法為使用神經網絡進行情緒分類但未使用 DA 方法，可看出源域與目標域的淺層表示相差較遠，這是由于腦電的非穩定特性造成的被試間腦電分布差異。這樣的特征經 C 生成的表達呈現出相互分離的特點，使利用源域標簽訓練的分類器難以做出正確的判斷。當使用 DANN 方法進行邊緣分布對齊后，可看到源域與目標域 F 輸出的特征向量混疊在一起，這說明它們在此空間維度下產生了邊緣分布近似相同的特征，在 DANN 的 C 輸出也可看到相比未遷移方法源域與目標域的深層分布更為重疊。JDA 與 MCD_DA 方法同時適配了源域與目標域的邊緣分布和條件分布，使目標域特征在 F 生成可見的情感聚類，這是前兩種方法沒有做到的，這一點在深層分布中同樣得到了印證。但 JDA 方法對于決策邊界的樣本分類較為模糊，MCD_DA 方法在 F 與 C 處顯示出更為清晰的決策邊界。
圖6
四種方法（未遷移、DANN、JDA、MCD_DA）生成特征的可視化
Figure6.
Visualization of features generated by four methods (no transfer, DANN, JDA, MCD_DA)
3.2 基于 MCD_DA 的跨時間遷移實驗結果
跨時間遷移實驗中使用單個被試兩個時間段的數據作為源域，第三個時間段的數據作為目標域，分別對 15 個被試進行實驗，實驗結果取所有被試的平均值，如圖 7 所示。圖 7 中被試 8、11、15 的準確率均達到 100%，被試 3 的準確率最低（81.76%）。15 個被試的準確率為（92.90 ± 5.82）%，被試間準確率差異較小，MCD_DA 方法顯示出很好的穩定性。
圖7
MCD_DA 在跨時間任務中對每個被試的準確率和平均 準確率
Figure7.
Accuracy and average accuracy for each subject by MCD_ DA in cross session task
為評價 MCD_DA 方法在不同時間樣本上的泛化能力，本文進行了跨時間遷移學習算法對比。15 名被試的跨時間遷移結果如表 2 所示。表 2 中展示了非跨時間、未遷移、DANN、JDA、MCD_DA 五種方法的識別結果，其中非跨時間指使用單個被試的同一時間數據訓練并測試，用于模擬理想條件，未遷移指在跨時間任務中使用神經網絡進行情緒分類但未應用 DA 方法。相比非跨時間任務，未遷移方法的準確率降低且標準差增大；另外也可看到，未遷移方法與非跨時間任務的準確率差值小于表 1 跨被試任務中的 SVM 與非跨被試的準確率差值，這意味著單一被試的腦電特征顯示出一定的一致性。DANN 方法的準確率比起未遷移有所提高。JDA 方法在 DANN 基礎上適配了條件分布，在跨時間任務中取得了 91.17% 的準確率和 8.11% 的標準差，表明同被試跨時間任務中條件分布的差異更為明顯。MCD_DA 方法在三種遷移策略中準確率最高且標準差最低，相比 JDA 方法顯示出更高的準確率和更好的穩定性；與未遷移方法的準確率相比，兩組數據差異具有統計學意義（t 檢驗，t = ? 6.05，P = 2.97e-5）。
表2
基于不同方法的跨時間遷移結果
Table2.
Cross-session transfer results based on different methods
4 結論
情感腦機接口擁有極大的發展潛力，卻因為腦電的非平穩性和帶標簽情感腦電數據收集困難等問題無法推廣應用。所以，解決跨被試情緒識別問題迫在眉睫。本文提出了最大分類器差異域對抗（MCD_ DA）方法，通過建立神經網絡情感識別模型，將淺層特征提取器分別對抗域分類器和情感分類器，進而使特征提取器產生域不變表達，在實現近似聯合分布適配的同時訓練分類器學習任務特異性的決策邊界。實驗結果表明，該方法進行跨被試情緒識別的分類正確率為（88.33 ± 5.86）%，跨時間情緒識別的分類準確率為（92.90 ± 5.82）%，在需要快速搭建適合被試需求的情緒識別模型或缺少帶有標簽的腦電數據等場景中能發揮巨大的作用。
本文由實驗和可視化分析發現，被試間腦電分布差異主要體現在其聯合分布的不一致，而在跨時間情景下腦電分布差異主要體現在其條件分布，這可能是因為同被試的不同時間腦電具有一定的一致性。
現有的域適應方法需要源域大量的帶標簽數據和目標域的無標簽數據，且樣本間存在負遷移的問題，這些條件同樣限制著情感腦機接口走向實際應用。接下來的研究可以從減少實現域適應算法的源域和目標域數據或對源域可遷移樣本的優選等方向入手，從而實現跨人模型的快速適配。
腦電在時間分辨率、可靠性和準確性方面具備優勢，然而也存在著非穩定性、采集困難等劣勢。而其他外周生理信號例如面部表情、心電、眼動軌跡等雖然在可靠性方面不如腦電，但有跨人識別準確率高、容易采集等優點，可以與腦電互補。怎樣利用其他外周生理信號與腦電聯合訓練多模態深度模型也亟待研究者去實驗探究。
以上研究方向目前國內還少見報道，相信隨著研究的擴展和深入，基于深度學習模型的情緒識別研究一定會取得更大的進步，能夠從學術研究走向實際運用并在其他相關領域發揮積極的作用。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
