音樂誘發下的情感狀態評估結果可為輔助音樂治療提供理論支持與幫助。情感狀態評估的關鍵是情感腦電的特征提取，故本文針對情感腦電特征提取算法的性能優化問題開展研究。采用 Koelstra 等提出的分析人類情緒狀態的多模態標準數據庫 DEAP，提取 8 種正負情緒代表各個腦區的 14 個通道腦電數據，基于小波分解重構 δ、θ、α、β 四種節律波；在分析比較小波特征（小波系數能量和小波熵）、近似熵和 Hurst 指數三種腦電特征情感識別效果的基礎上，提出一種基于主成分分析（PCA）融合小波特征、近似熵和 Hurst 指數的腦電特征提取算法。本算法保留累積貢獻率大于 85% 的主成分，并選擇特征根差異較大的特征參數，基于支持向量機實現情感狀態評估。結果表明，使用單一小波特征（小波系數能量和小波熵）、近似熵和 Hurst 指數特征量，情感識別的正確率均值分別是 73.15%、50.00% 和 45.54%，而改進算法識別準確率均值在 85% 左右。基于改進算法情感識別的分類準確率比傳統方法至少能提升 12%，可為情感腦電特征提取以及輔助音樂治療提供幫助。
引用本文： 李昕, 蔡二娟, 田彥秀, 孫小棋, 范夢頔. 一種改進腦電特征提取算法及其在情感識別中的應用. 生物醫學工程學雜志, 2017, 34(4): 510-517. doi: 10.7507/1001-5515.201605066 復制
引言
音樂治療是一個系統的干預過程，是治療師利用音樂體驗的各種形式，結合醫療手段，通過音樂來緩解某些疾病（如阿爾茨海默癥、腦損傷等）的病情和解決一些特定的身心健康問題（如兒童心理障礙、自閉癥、抑郁癥等）[1]。在音樂治療中，音樂對人的情感影響是巨大的，強調情感決定認知行為，并且情感能在不同程度上影響患者的感知、思維、記憶與決策，因此音樂情感識別結果直接影響著音樂治療的效果。與外圍生理信號相比，腦電（electroencephalogram，EEG）信號作為中樞神經生理信號[2]，不受人的主觀控制，能夠真實準確地體現人的情感狀態變化，基于腦電的情感識別將為音樂治療及其他相關領域研究提供幫助。
提取有效的腦電特征參數，是音樂情感狀態識別的關鍵。Lin 等[3]利用短時傅里葉變換把時域腦電信號轉換到頻域內，將 δ、θ、α、β、γ 這五種頻段的能量譜作為情感的腦電特征。Duan 等[4]提取腦電信號的微分熵特征用于情感識別，發現微分熵特征對于正、負情感識別具有較高的準確率。Petran tonakis 等[5]提取了 4 個通道的統計特征作為腦電特征對 6 種基本情感進行了分類。Murugappan 等[6]將小波變換 α 波能量、熵、均值方差作為情感腦電特征進行五種情感識別，達到 78.04% 的分類效果。李立[7]將提取出的情感腦電信號的樣本熵特征、近似熵（approximate entropy，ApEn）、Lempel-Ziv（LZ）復雜度和 Hurst 指數特征用于情感識別。謝康[8]將五種腦電節律下的功率譜密度信息和腦網絡屬性特征作為音樂情感腦電特征進行情感識別。張迪[9]分析了情感腦電信號的頻域功率譜能量特征和不對稱特征，得到了 80.42% 的情感識別率。
本文首先提取音樂情感腦電的全方位特征參數，即四種節律波的近似熵、小波系數能量、小波熵（wavelet entropy，WE）和 Hurst 指數特征，其中近似熵測量情感腦電信號的復雜性，小波系數能量表征信號在各階頻段能量的分布情況，小波熵反映信號譜能量在各個空間分布的有無序程度，Hurst 指數衡量時間序列的統計相關性特征，這幾種特征從不同的方面反映音樂情感腦電的特征變化。再基于主成分分析（principal component analysis，PCA），融合全方位特征，選取與情感狀態高度相關的特征參數，實現情感識別。本文充分利用了不同特征量在音樂情感腦電有效特征中所占的權重不同，綜合特征參數能夠更有效地反映情感腦電的本質特征，降低冗余特征量，提高情感識別效果。
1 數據
采用 Koelstra 等[10]提出的分析人類情感狀態的多模態數據庫 DEAP。該數據庫記錄了 32 位健康受試者觀看 40 個時長為 1 min 的不同音樂視頻時的腦電信號和外周生理信號。受試者的平均年齡為 26.9 歲，男女各半，實驗前被告知實驗的各個細節。該實驗記錄的腦電信號采樣頻率為 512 Hz，腦電的采集使用 32 導 AgCl 電極，電極的分布根據國際通用的標準 10-20 系統，同時采集 8 個電極的外周生理信號，共 40 個通道。每位受試者每次實驗信號采集過程如表 1 所示。
表1
信號采集過程表
Table1.
Signal acquisition procedure
本文所選的腦電信號實驗數據是經過預處理（降采樣，去除眼電等噪聲，經過 4.0～45 Hz 的濾波等）的數據，采樣頻率為 128 Hz。每個受試者數據形式為 40×40×8 064，其中第一個 40 代表音頻，第二個 40 代表腦電常用通道。按照國際標準 10-20 系統，分別提取前額區（FP1、FP2）、額區（F3、F4、F7、F8）、中央（C3、C4）、顳區（T7、T8）、頂區（P3、P4）和枕區（O1、O2）的通道數據。DEAP 數據庫是應用“效價-喚醒度”二維度的情感模型，該情感模型依據效價將情感分為正、負兩極，位于正極的稱正性情感，通常帶來愉悅感受，位于負極的稱負性情感。本文選擇 8 種常見的正負性情感：高興、激動、歡樂、喜愛、憎恨、抑郁、難過、恐懼。所選的腦電信號數據都按時間隨機截取長度為 8 s 的數據段，即 1 024 個數據點，則每個通道中每種情感有 32 個數據段，即 32 個樣本。
2 方法
本文選取 DEAP 數據庫中 8 種情感的 14 個通道數據，基于小波變換、近似熵、Hurst 指數這三種腦電信號分析方法提取出每種情感的腦電特征。小波變換是一種時頻域腦電信號分析方法，近似熵是對腦電信號進行序列規律性和復雜性測度分析的非線性動力學方法，而 Hurst 指數則是從時間序列統計相關性方面對腦電信號進行非線性特性分析。本文所提出的改進算法從這三個不同特征提取角度出發，充分提取腦電特征信息并進行融合，算法流程如圖 1 所示。
圖1
算法流程圖
Figure1.
The algorithm flowchart
首先，利用小波變換分解重構出情感腦電的 δ、θ、α、β 四種節律波，提取出小波系數能量和小波熵作為小波變換特征，表征情感腦電的能量分布情況。其次，基于近似熵提取出四種節律波的熵值，測量情感腦電的復雜性。同時，基于 R/S 分析方法求出四種節律波的 Hurst 指數，作為分形特征。然后基于 PCA 融合這三類特征參數，從而更有效地實現情感識別。
2.1 小波變換特征
小波變換[11-15]是一種典型的用于腦電信號分析的時頻域分析方法。小波變換將信號分解成一系列小波函數的疊加，小波窗口大小隨頻率改變，在低頻時，時間分辨率較低但頻率分辨率較高；在高頻時，時間分辨率較高但頻率分辨率較低。由于小波變換的這種多分辨率特點，特別適合提取像腦電這樣的非平穩信號局部特征。
本文選擇四階的 Daubechies 小波基函數將采樣頻率為 128 Hz 的信號 s（t）劃分為不同頻段的子帶信號，經過 4 層離散小波變換分解后，可得：
 |
式中，l 為分解層數，Al 為低頻分量，Dj 為不同尺度下的細節分量，各分量所對應的子頻帶范圍如表 2 所示。
表2
子帶信號對應的不同頻率范圍
Table2.
Different frequency range of sub-band signals
對應的近似系數為 cAl，各層小波系數為 cDj，
，單一尺度下的小波能量是這個尺度下小波系數的平方和，記為 Ei，
，那么總的小波能量定義為：
 |
相對小波能量定義為：
，
，根據香農熵理論和相對小波能量的定義，小波熵（We）的定義如下：
 |
小波熵反映了對信號譜能量在各個空間分布的有序或無序程度的一種測度，能夠對時頻域上的能量分布特性進行定量描述[16]。本文利用小波分解重構出 θ、δ、β、α 四種節律波，并提取出 7 個小波系數能量特征 Ei 和 1 個小波熵 We 作為小波變換特征。
2.2 近似熵
近似熵[6, 16-17]是由 Pincus 在 1991 年提出來的，可以測量時間序列的復雜性和規律性的一種無需粗粒化的復雜性測度分析方法。其物理意義是當維數變化時時間序列中產生新模式的概率的大小，產生新模式的概率越大，序列越復雜，相應的近似熵也就越大。近似熵（ApEn）定義為：
 |
式中，預先設定模式維數為 m 和相似性容限為 r。一般來說，此極限的極值存在且為 1。實際工作中 n 不可能為 ∞，因此，當 n 為有限值時可以對近似熵進行估算，即為：
 |
式中 ApEn 的值與 m、r 的取值有關，Pincus 根據研究建議 m=2，r=0.1SD～0.25SD（SD 為信號序列的標準差），n 最好在 100～5 000 之間。近似熵值的大小與信號序列的復雜程度成正比，且利用較短的數據就可以得到比較穩定的估計值，可以很好地度量腦電序列的復雜性。
本文提取出音樂情感腦電 θ、δ、β、α 四種節律波的近似熵值作為度量腦電復雜性的特征。
2.3 Hurst 指數
Hurst 指數是一種衡量時間序列統計相關性的非線性指標，可用于腦電非線性特性的分析[18]。Hurst 指數的計算方法較多，其中最常用的是 R/S 分析方法（rescaled range analysis）[19]，它最初是由英國水文學家 Hurst 于 1965 年提出的，通常用來分析時間序列的分形特征和長程相關性，被用在各種時間序列的分析之中。R（m）為極差，S（m）為標準差，Hurst 認為 R（m）/S（m）與 k 之間存在著指數關系，即
 |
其中 α 為系數，H 為 Hurst 指數。
對上式兩邊取對數，可得
，因此對
和
進行最小二乘法擬合求斜率，即可得到 Hurst 指數 H。
Hurst 指數是一種度量分形時間序列的平滑性、表征腦電信號非平穩行為的分析方法，能夠較好地刻畫腦電序列的非線性行為特征。本文提取出音樂情感腦電 θ、δ、β、α 四種節律波的 Hurst 值作為統計相關性的特征。
2.4 特征融合
（1）假設原始特征矩陣 M 為 n×p 數據集，其均值為
，則對原始特征矩陣進行去均值處理，得到矩陣
。
（2）求
的協方差矩陣 C，
。
（3）對協方差矩陣 C 進行特征根分解，得到特征根及其特征向量。
 |
其中，
是協方差矩陣 C 的特征向量，特征根矩陣
為對角矩陣，特征根的大小表示新變量（主成分）方差的大小。
（4）求 PCA 的投影矩陣。每個主成分蘊含信息量的多少用對應特征根的大小來表示，其貢獻率 CR 定義為
 |
則前 k 個主成分的累積貢獻率定義為：
 |
根據累積貢獻率的大小來確定主成分的投影矩陣 W，一般而言，保留累積貢獻率大于 85% 的 m 個主成分，由于特征根向量 Λ 是由特征根大小順序排列的，所以投影坐標系 W 為矩陣 U 的前 m 個特征向量，即
 |
（5）根據投影矩陣 W 可以計算出原特征量 M 在新特征空間中的低維特征量
。
PCA 的目的在于壓縮變量的個數，剔除冗余信息，使降維后的特征更好地反映信號的實用特征。本文利用 PCA 方法將提取的小波變換特征、四種節律波的近似熵值和 Hurst 指數共計 14 個特征量進行降維，保留累積貢獻率大于 85% 的主成分，所得主成分的特征根和累積貢獻率變化如圖 2 所示。
圖2
主成分的特征根和累積貢獻率變化
Figure2.
Changes of the characteristic root and cumulative contribution rate of PCA
從圖 2 的左圖中可以看出，14 個特征量的累積貢獻率均大于 85%，第一主成分的累積貢獻率在 87% 左右，而第三主成分累積貢獻率已經達到 100%。右圖是對應主成分的特征根大小，從圖中可以看出前三個主成分特征根的差異比較大，而后 11 個主成分的特征根差異不明顯且值很小，接近于零。一般而言，方差矩陣的特征根差異較大時，對應的貢獻率相對較大，特征區分度就相對較高。差異性較大的主成分對情感特征分類效果起決定性作用，因此，在保留累積貢獻率在 85% 以上的主成分的基礎上，選擇方差矩陣的特征根差異性較大的主成分作為新的特征量。不同情感分類時最終特征量數目統計如表 3 所示。
表3
不同情感分類中最優特征量數量
Table3.
Number of the best features in different emotion
2.5 支持向量機分類
支持向量機（support vector machine，SVM）的目標是基于訓練數據產出一個模型，用來預測只給出屬性的測試數據的目標值。本文選擇 SVM 分類模型為 C-support vector classification（C-SVC）類型。
C-SVC 分類模型算法[23-24]的基本原理：設給定的訓練集
，
，尋找函數 h（X），利用決策函數
來推斷出輸入向量 X 相對應的輸出 y 值。
本文選擇高斯徑向基核函數（Gaussian radial basis function，RBF）作為核函數，σ 是寬度參數。本文選用林智仁教授 2001 年開發的 LibSVM 分類器工具箱實現音樂腦電的分類。利用粒子群優化（particle swarm optimization，PSO）算法進行參數尋優，得到最佳的懲罰因子 c 和核函數參數 g。
本文懲罰因子 c 和核函數參數 g 的 PSO 搜索區間范圍分別設為[0.1 100]和[0.01 1 000]，PSO 的最大進化代數設為 200；粒子群最大數量為 20。圖 3 為粒子群優化算法對 SVM 分類器進行參數優化的適應度曲線，其中平均適應度為所有粒子在每一代中平均的適應度值，最佳適應度曲線為粒子群中所有粒子在每一代中的最大適應度值。從圖 3 中可以看到，適應度曲線在前 20 個進化周期內收斂較快，隨后逐漸趨于平緩，實現了參數的尋優。
圖3
粒子群優化參數的適應度曲線圖
Figure3.
Fitness curves of PSO
3 結果與分析
3.1 三種特征參數識別結果
本文提取了音樂情感腦電的小波變換特征、近似熵和 Hurst 指數這三類特征量，不同的特征量情感識別效果可能不同。因此，僅用單一特征量進行情感識別，發現這三類特征識別效果有一定的差異。為降低偶然性的影響，本文從 8 種情感中隨機抽取一種情感與其他 7 種情感識別，得到的識別結果如表 4 所示。
表4
三種特征參數情感識別結果（%）
Table4.
Emotion recognition results of the three kinds of features (%)
由表 4 數據可知，不同的特征量對情感識別效果有很大差異。隨機抽取一種與其他 7 種情感進行識別，從數據集中的趨勢來看，小波變換特征除個別情感識別結果外得到的識別效果是最好的，說明該特征與情感相關性較高，音樂情感腦電中信號的譜能量變化可能比較明顯，因此，在綜合所有指標中所占的權重應該是最大的；而近似熵和 Hurst 指數的分類準確率均值則相差不大。就與單個情感進行識別而言，這三類特征量分類效果差異較大。利用小波變換特征進行情感識別，分類準確率最大能達到 87.50%，最低僅有 50.00%，說明如果兩種不同情感的譜能量分布情況相似，僅利用譜能量特征不能很好地將這兩種情感區別開來。僅利用近似熵特征進行情感識別，得到的準確率最高為 68.75%，最低 37.75%，表明不同音樂情感腦電信號的復雜性差異并不是特別明顯。同樣地，對 Hurst 指數特征來說，分類結果和近似熵差不多。從表格橫向數據比較可得，與同一種情感識別時，不同特征量得到的識別效果有一定差異。比如，第一行數據中，小波變換特征的識別率能達到 71.34%，近似熵特征有 43.75%，而 Hurst 指數特征僅有 37.50%；第六行數據中，Hurst 指數的識別率能達到 56.25%，近似熵為 68.75%，而小波變換僅有 50.00%，說明同一情感與兩種不同情感識別時，相同的特征量識別效果也有可能差異很大。也就是說，同一特征量對不同情感腦電信號的特異性不同。因此，在進行不同情感識別時，同一特征量對不同情感的特異性大小不同，不同特征量對同一情感腦電的識別效果也有一定的差異。
研究表明，不同情感引起的腦電信號變化不同，所引起的某種節律波活躍程度也不同[25]。小波變換特征是從能量角度上對頻域音樂情感腦電信號能量分布特性進行定量分析；θ、δ、β、α 四種節律波的近似熵特征，度量不同音樂情感所引起的節律波復雜性的變化；四種節律波的 Hurst 指數可以顯現出不同情感節律波的非線性平穩性的變化。這三類特征量從不同角度揭示情感腦電的變化，但從表 4 可以看出，不同特征量與不同情感的相關性高低不同，如果僅將這些特征量組合在一起，得到的識別效果很差。因此，需對初步提取的特征量進行融合，將這些特征量融合成一個或幾個總的指標量，這樣可突出不同情感的相關腦電特征，提高情感的識別效果。
3.2 改進算法識別結果
改進算法基于 PCA，實現全方位特征融合。為降低偶然因素的影響，本文利用 3.1 中隨機抽取的一種情感與其他 7 種情感進行分類識別，不同通道情感識別結果如表 5 所示。
表5
改進算法情感識別結果（%）
Table5.
Emotion recognition results of the improved algorithm (%)
由表 5 可知，從數據集中程度來看，隨機抽取一種情感與其他 7 種情感識別時，分類準確率比單一特征量識別效果均有提高，且各個通道之間分類效果差異不大。由表中第一列數據可以看出，情感識別結果最低為 74.55%，最高能達到 95.98%，均比單一腦電特征量識別效果要好。然而，當識別兩種情感時，不同區域腦電通道特征數據識別效果有所差異，可能是不同情感引起的腦電信號變化所在的關鍵腦區不同所引起的。從表中每列數據來看，情感分類結果絕大部分都在 80% 以上，最好的識別結果能達到 97.77%，而且通道準確率均值比單一特征量的效果有大幅度提升，說明融合指標比單一特征量能更好地體現不同音樂情感腦電的特異性。表 5 中的數據絕大部分的識別效果達到 80% 以上，與其他 7 種情感的分類準確率均值在 85% 左右，而且分類準確率較表 4 中的三種特征量單純組合進行情感識別的結果提升了 20%～30%，表明特征融合后的指標的情感識別效果比特征量單純組合在一起要好，算法改進后的特征量能體現出情感腦電信號的總體特性。
表 5 中每行數據表示所選通道算法改進后的特征量音樂情感識別結果，行與行之間的數據有所不同，可能也是因為不同情感腦電所在的關鍵腦區不同所致。但就某一行數據來看，分類結果相差不大，比如，FP2 通道情感識別結果均為 80%～90%，F7 通道分類結果均在 90% 以上，說明將一種情感與不同情感進行識別時，利用本文改進算法所提取的腦電特征量不僅能得到較好的分類準確率，而且對情感的識別有一定的普適性。
本文利用改進算法所提出的特征量進行 8 種情感兩兩分類，得出的通道分類準確率均值結果如表 6 所示。從表中數據可以看出，利用此算法特征量能夠使得正負性情感分類正確率達到 85% 左右，正性情感之間識別結果在 78%～83% 之間，負性情感之間識別結果絕大部分在 80% 以上。說明這些特征量能夠表征不同情感腦電信號的差異性，利用本方法可以將不同情感有效地識別出來。
表6
改進算法兩兩分類識別結果（%）
Table6.
Classification results of the improved algorithm for any two of the 8 emotions (%)
4 討論
情感特征提取是情感識別的關鍵問題，針對這一問題，研究人員從不同角度做了大量工作，比如分別提取能量特征量、功率譜特征量、熵值等非線性參數以及統計特性量等，目的都是希望提取有效的情感特征，得到良好的情感識別效果。基于能量特征提取，如 Murugappan 等[26]提取了五種情感腦電 α 波能量、熵值以及均值方差特征量，得到的情感分類準確率為 79% 左右。基于非線性動力學參數，如 Wang 等[27]采用小波變換、近似熵、分形指數分析提取情感腦電特征，對比三種特征量分類效果，小波變換特征的情感分類準確率達到 77% 左右，近似熵特征量的情感分類結果為 65.12%，Hurst 指數分類準確率為 71.38%。從節律分析的角度，如 Heraz 等[28]利用四種節律的波幅特征量對八種情感進行分類，最優的分類結果達到 82.27%，最低分類準確率為 73.10%。該結果與本文小波變換特征量得出的結果類似，說明這四種節律能在一定程度上表現出相應的情感特征狀態。以上這些研究成果中近似熵特征量分類結果與本文單一特征得出的結果接近，而 Hurst 指數特征量的分類結果高于本文單一特征所得結果，這與所要識別的情感類別有關。本文基于 PCA 改進算法，融合腦電信號的能量分布、節律波的復雜性和統計相關性三個不同角度的特征參數，更好地實現了情感分類，將單一特征量與融合指標分類結果對比，希望可以提取有效的音樂情感特征參數，為音樂情感特征提取與情感識別研究提供參考。
5 結論
本文采用多模態 DEAP 音樂情感數據庫中的數據，提取出 8 種正負性音樂情感腦電信號，每種情感選擇代表各腦區的 14 個通道數據。先用小波變換分解重構出 θ、δ、β、α 四種節律波，并計算出小波系數能量和小波熵值，其次提取出這四種節律波的近似熵值和 Husrt 指數，最后用單一類型的特征量進行情感識別，對比這三類特征量的音樂情感分類效果。結果顯示，僅用單一類型的特征量進行音樂情感識別效果不好，并且不同類型音樂情感腦電信號的特異性不同。有的情感識別用近似熵特征的分類效果較好，有的情感識別用小波變換特征得到的分類結果較好，也就是說這三類特征量在不同的情感特征中所占比重不同，因此可以將這些特征量進行整合。
本文利用 PCA 將三類特征量整合成一個或幾個綜合指標代替原來的特征量進行情感識別，發現整合后的特征量分類準確率至少能提升 10%，并且 8 種情感兩兩識別分類準確率多在 80% 以上。說明這種方法不僅能得到較好的分類準確率，而且也體現出這種特征綜合的方法對情感的識別有一定的普適性。
引言
音樂治療是一個系統的干預過程，是治療師利用音樂體驗的各種形式，結合醫療手段，通過音樂來緩解某些疾病（如阿爾茨海默癥、腦損傷等）的病情和解決一些特定的身心健康問題（如兒童心理障礙、自閉癥、抑郁癥等）[1]。在音樂治療中，音樂對人的情感影響是巨大的，強調情感決定認知行為，并且情感能在不同程度上影響患者的感知、思維、記憶與決策，因此音樂情感識別結果直接影響著音樂治療的效果。與外圍生理信號相比，腦電（electroencephalogram，EEG）信號作為中樞神經生理信號[2]，不受人的主觀控制，能夠真實準確地體現人的情感狀態變化，基于腦電的情感識別將為音樂治療及其他相關領域研究提供幫助。
提取有效的腦電特征參數，是音樂情感狀態識別的關鍵。Lin 等[3]利用短時傅里葉變換把時域腦電信號轉換到頻域內，將 δ、θ、α、β、γ 這五種頻段的能量譜作為情感的腦電特征。Duan 等[4]提取腦電信號的微分熵特征用于情感識別，發現微分熵特征對于正、負情感識別具有較高的準確率。Petran tonakis 等[5]提取了 4 個通道的統計特征作為腦電特征對 6 種基本情感進行了分類。Murugappan 等[6]將小波變換 α 波能量、熵、均值方差作為情感腦電特征進行五種情感識別，達到 78.04% 的分類效果。李立[7]將提取出的情感腦電信號的樣本熵特征、近似熵（approximate entropy，ApEn）、Lempel-Ziv（LZ）復雜度和 Hurst 指數特征用于情感識別。謝康[8]將五種腦電節律下的功率譜密度信息和腦網絡屬性特征作為音樂情感腦電特征進行情感識別。張迪[9]分析了情感腦電信號的頻域功率譜能量特征和不對稱特征，得到了 80.42% 的情感識別率。
本文首先提取音樂情感腦電的全方位特征參數，即四種節律波的近似熵、小波系數能量、小波熵（wavelet entropy，WE）和 Hurst 指數特征，其中近似熵測量情感腦電信號的復雜性，小波系數能量表征信號在各階頻段能量的分布情況，小波熵反映信號譜能量在各個空間分布的有無序程度，Hurst 指數衡量時間序列的統計相關性特征，這幾種特征從不同的方面反映音樂情感腦電的特征變化。再基于主成分分析（principal component analysis，PCA），融合全方位特征，選取與情感狀態高度相關的特征參數，實現情感識別。本文充分利用了不同特征量在音樂情感腦電有效特征中所占的權重不同，綜合特征參數能夠更有效地反映情感腦電的本質特征，降低冗余特征量，提高情感識別效果。
1 數據
采用 Koelstra 等[10]提出的分析人類情感狀態的多模態數據庫 DEAP。該數據庫記錄了 32 位健康受試者觀看 40 個時長為 1 min 的不同音樂視頻時的腦電信號和外周生理信號。受試者的平均年齡為 26.9 歲，男女各半，實驗前被告知實驗的各個細節。該實驗記錄的腦電信號采樣頻率為 512 Hz，腦電的采集使用 32 導 AgCl 電極，電極的分布根據國際通用的標準 10-20 系統，同時采集 8 個電極的外周生理信號，共 40 個通道。每位受試者每次實驗信號采集過程如表 1 所示。
表1
信號采集過程表
Table1.
Signal acquisition procedure
本文所選的腦電信號實驗數據是經過預處理（降采樣，去除眼電等噪聲，經過 4.0～45 Hz 的濾波等）的數據，采樣頻率為 128 Hz。每個受試者數據形式為 40×40×8 064，其中第一個 40 代表音頻，第二個 40 代表腦電常用通道。按照國際標準 10-20 系統，分別提取前額區（FP1、FP2）、額區（F3、F4、F7、F8）、中央（C3、C4）、顳區（T7、T8）、頂區（P3、P4）和枕區（O1、O2）的通道數據。DEAP 數據庫是應用“效價-喚醒度”二維度的情感模型，該情感模型依據效價將情感分為正、負兩極，位于正極的稱正性情感，通常帶來愉悅感受，位于負極的稱負性情感。本文選擇 8 種常見的正負性情感：高興、激動、歡樂、喜愛、憎恨、抑郁、難過、恐懼。所選的腦電信號數據都按時間隨機截取長度為 8 s 的數據段，即 1 024 個數據點，則每個通道中每種情感有 32 個數據段，即 32 個樣本。
2 方法
本文選取 DEAP 數據庫中 8 種情感的 14 個通道數據，基于小波變換、近似熵、Hurst 指數這三種腦電信號分析方法提取出每種情感的腦電特征。小波變換是一種時頻域腦電信號分析方法，近似熵是對腦電信號進行序列規律性和復雜性測度分析的非線性動力學方法，而 Hurst 指數則是從時間序列統計相關性方面對腦電信號進行非線性特性分析。本文所提出的改進算法從這三個不同特征提取角度出發，充分提取腦電特征信息并進行融合，算法流程如圖 1 所示。
圖1
算法流程圖
Figure1.
The algorithm flowchart
首先，利用小波變換分解重構出情感腦電的 δ、θ、α、β 四種節律波，提取出小波系數能量和小波熵作為小波變換特征，表征情感腦電的能量分布情況。其次，基于近似熵提取出四種節律波的熵值，測量情感腦電的復雜性。同時，基于 R/S 分析方法求出四種節律波的 Hurst 指數，作為分形特征。然后基于 PCA 融合這三類特征參數，從而更有效地實現情感識別。
2.1 小波變換特征
小波變換[11-15]是一種典型的用于腦電信號分析的時頻域分析方法。小波變換將信號分解成一系列小波函數的疊加，小波窗口大小隨頻率改變，在低頻時，時間分辨率較低但頻率分辨率較高；在高頻時，時間分辨率較高但頻率分辨率較低。由于小波變換的這種多分辨率特點，特別適合提取像腦電這樣的非平穩信號局部特征。
本文選擇四階的 Daubechies 小波基函數將采樣頻率為 128 Hz 的信號 s（t）劃分為不同頻段的子帶信號，經過 4 層離散小波變換分解后，可得：
|
式中，l 為分解層數，Al 為低頻分量，Dj 為不同尺度下的細節分量，各分量所對應的子頻帶范圍如表 2 所示。
表2
子帶信號對應的不同頻率范圍
Table2.
Different frequency range of sub-band signals
對應的近似系數為 cAl，各層小波系數為 cDj，
，單一尺度下的小波能量是這個尺度下小波系數的平方和，記為 Ei，
，那么總的小波能量定義為：
|
相對小波能量定義為：
，
，根據香農熵理論和相對小波能量的定義，小波熵（We）的定義如下：
|
小波熵反映了對信號譜能量在各個空間分布的有序或無序程度的一種測度，能夠對時頻域上的能量分布特性進行定量描述[16]。本文利用小波分解重構出 θ、δ、β、α 四種節律波，并提取出 7 個小波系數能量特征 Ei 和 1 個小波熵 We 作為小波變換特征。
2.2 近似熵
近似熵[6, 16-17]是由 Pincus 在 1991 年提出來的，可以測量時間序列的復雜性和規律性的一種無需粗粒化的復雜性測度分析方法。其物理意義是當維數變化時時間序列中產生新模式的概率的大小，產生新模式的概率越大，序列越復雜，相應的近似熵也就越大。近似熵（ApEn）定義為：
|
式中，預先設定模式維數為 m 和相似性容限為 r。一般來說，此極限的極值存在且為 1。實際工作中 n 不可能為 ∞，因此，當 n 為有限值時可以對近似熵進行估算，即為：
|
式中 ApEn 的值與 m、r 的取值有關，Pincus 根據研究建議 m=2，r=0.1SD～0.25SD（SD 為信號序列的標準差），n 最好在 100～5 000 之間。近似熵值的大小與信號序列的復雜程度成正比，且利用較短的數據就可以得到比較穩定的估計值，可以很好地度量腦電序列的復雜性。
本文提取出音樂情感腦電 θ、δ、β、α 四種節律波的近似熵值作為度量腦電復雜性的特征。
2.3 Hurst 指數
Hurst 指數是一種衡量時間序列統計相關性的非線性指標，可用于腦電非線性特性的分析[18]。Hurst 指數的計算方法較多，其中最常用的是 R/S 分析方法（rescaled range analysis）[19]，它最初是由英國水文學家 Hurst 于 1965 年提出的，通常用來分析時間序列的分形特征和長程相關性，被用在各種時間序列的分析之中。R（m）為極差，S（m）為標準差，Hurst 認為 R（m）/S（m）與 k 之間存在著指數關系，即
|
其中 α 為系數，H 為 Hurst 指數。
對上式兩邊取對數，可得
，因此對
和
進行最小二乘法擬合求斜率，即可得到 Hurst 指數 H。
Hurst 指數是一種度量分形時間序列的平滑性、表征腦電信號非平穩行為的分析方法，能夠較好地刻畫腦電序列的非線性行為特征。本文提取出音樂情感腦電 θ、δ、β、α 四種節律波的 Hurst 值作為統計相關性的特征。
2.4 特征融合
（1）假設原始特征矩陣 M 為 n×p 數據集，其均值為
，則對原始特征矩陣進行去均值處理，得到矩陣
。
（2）求
的協方差矩陣 C，
。
（3）對協方差矩陣 C 進行特征根分解，得到特征根及其特征向量。
|
其中，
是協方差矩陣 C 的特征向量，特征根矩陣
為對角矩陣，特征根的大小表示新變量（主成分）方差的大小。
（4）求 PCA 的投影矩陣。每個主成分蘊含信息量的多少用對應特征根的大小來表示，其貢獻率 CR 定義為
|
則前 k 個主成分的累積貢獻率定義為：
|
根據累積貢獻率的大小來確定主成分的投影矩陣 W，一般而言，保留累積貢獻率大于 85% 的 m 個主成分，由于特征根向量 Λ 是由特征根大小順序排列的，所以投影坐標系 W 為矩陣 U 的前 m 個特征向量，即
|
（5）根據投影矩陣 W 可以計算出原特征量 M 在新特征空間中的低維特征量
。
PCA 的目的在于壓縮變量的個數，剔除冗余信息，使降維后的特征更好地反映信號的實用特征。本文利用 PCA 方法將提取的小波變換特征、四種節律波的近似熵值和 Hurst 指數共計 14 個特征量進行降維，保留累積貢獻率大于 85% 的主成分，所得主成分的特征根和累積貢獻率變化如圖 2 所示。
圖2
主成分的特征根和累積貢獻率變化
Figure2.
Changes of the characteristic root and cumulative contribution rate of PCA
從圖 2 的左圖中可以看出，14 個特征量的累積貢獻率均大于 85%，第一主成分的累積貢獻率在 87% 左右，而第三主成分累積貢獻率已經達到 100%。右圖是對應主成分的特征根大小，從圖中可以看出前三個主成分特征根的差異比較大，而后 11 個主成分的特征根差異不明顯且值很小，接近于零。一般而言，方差矩陣的特征根差異較大時，對應的貢獻率相對較大，特征區分度就相對較高。差異性較大的主成分對情感特征分類效果起決定性作用，因此，在保留累積貢獻率在 85% 以上的主成分的基礎上，選擇方差矩陣的特征根差異性較大的主成分作為新的特征量。不同情感分類時最終特征量數目統計如表 3 所示。
表3
不同情感分類中最優特征量數量
Table3.
Number of the best features in different emotion
2.5 支持向量機分類
支持向量機（support vector machine，SVM）的目標是基于訓練數據產出一個模型，用來預測只給出屬性的測試數據的目標值。本文選擇 SVM 分類模型為 C-support vector classification（C-SVC）類型。
C-SVC 分類模型算法[23-24]的基本原理：設給定的訓練集
，
，尋找函數 h（X），利用決策函數
來推斷出輸入向量 X 相對應的輸出 y 值。
本文選擇高斯徑向基核函數（Gaussian radial basis function，RBF）作為核函數，σ 是寬度參數。本文選用林智仁教授 2001 年開發的 LibSVM 分類器工具箱實現音樂腦電的分類。利用粒子群優化（particle swarm optimization，PSO）算法進行參數尋優，得到最佳的懲罰因子 c 和核函數參數 g。
本文懲罰因子 c 和核函數參數 g 的 PSO 搜索區間范圍分別設為[0.1 100]和[0.01 1 000]，PSO 的最大進化代數設為 200；粒子群最大數量為 20。圖 3 為粒子群優化算法對 SVM 分類器進行參數優化的適應度曲線，其中平均適應度為所有粒子在每一代中平均的適應度值，最佳適應度曲線為粒子群中所有粒子在每一代中的最大適應度值。從圖 3 中可以看到，適應度曲線在前 20 個進化周期內收斂較快，隨后逐漸趨于平緩，實現了參數的尋優。
圖3
粒子群優化參數的適應度曲線圖
Figure3.
Fitness curves of PSO
3 結果與分析
3.1 三種特征參數識別結果
本文提取了音樂情感腦電的小波變換特征、近似熵和 Hurst 指數這三類特征量，不同的特征量情感識別效果可能不同。因此，僅用單一特征量進行情感識別，發現這三類特征識別效果有一定的差異。為降低偶然性的影響，本文從 8 種情感中隨機抽取一種情感與其他 7 種情感識別，得到的識別結果如表 4 所示。
表4
三種特征參數情感識別結果（%）
Table4.
Emotion recognition results of the three kinds of features (%)
由表 4 數據可知，不同的特征量對情感識別效果有很大差異。隨機抽取一種與其他 7 種情感進行識別，從數據集中的趨勢來看，小波變換特征除個別情感識別結果外得到的識別效果是最好的，說明該特征與情感相關性較高，音樂情感腦電中信號的譜能量變化可能比較明顯，因此，在綜合所有指標中所占的權重應該是最大的；而近似熵和 Hurst 指數的分類準確率均值則相差不大。就與單個情感進行識別而言，這三類特征量分類效果差異較大。利用小波變換特征進行情感識別，分類準確率最大能達到 87.50%，最低僅有 50.00%，說明如果兩種不同情感的譜能量分布情況相似，僅利用譜能量特征不能很好地將這兩種情感區別開來。僅利用近似熵特征進行情感識別，得到的準確率最高為 68.75%，最低 37.75%，表明不同音樂情感腦電信號的復雜性差異并不是特別明顯。同樣地，對 Hurst 指數特征來說，分類結果和近似熵差不多。從表格橫向數據比較可得，與同一種情感識別時，不同特征量得到的識別效果有一定差異。比如，第一行數據中，小波變換特征的識別率能達到 71.34%，近似熵特征有 43.75%，而 Hurst 指數特征僅有 37.50%；第六行數據中，Hurst 指數的識別率能達到 56.25%，近似熵為 68.75%，而小波變換僅有 50.00%，說明同一情感與兩種不同情感識別時，相同的特征量識別效果也有可能差異很大。也就是說，同一特征量對不同情感腦電信號的特異性不同。因此，在進行不同情感識別時，同一特征量對不同情感的特異性大小不同，不同特征量對同一情感腦電的識別效果也有一定的差異。
研究表明，不同情感引起的腦電信號變化不同，所引起的某種節律波活躍程度也不同[25]。小波變換特征是從能量角度上對頻域音樂情感腦電信號能量分布特性進行定量分析；θ、δ、β、α 四種節律波的近似熵特征，度量不同音樂情感所引起的節律波復雜性的變化；四種節律波的 Hurst 指數可以顯現出不同情感節律波的非線性平穩性的變化。這三類特征量從不同角度揭示情感腦電的變化，但從表 4 可以看出，不同特征量與不同情感的相關性高低不同，如果僅將這些特征量組合在一起，得到的識別效果很差。因此，需對初步提取的特征量進行融合，將這些特征量融合成一個或幾個總的指標量，這樣可突出不同情感的相關腦電特征，提高情感的識別效果。
3.2 改進算法識別結果
改進算法基于 PCA，實現全方位特征融合。為降低偶然因素的影響，本文利用 3.1 中隨機抽取的一種情感與其他 7 種情感進行分類識別，不同通道情感識別結果如表 5 所示。
表5
改進算法情感識別結果（%）
Table5.
Emotion recognition results of the improved algorithm (%)
由表 5 可知，從數據集中程度來看，隨機抽取一種情感與其他 7 種情感識別時，分類準確率比單一特征量識別效果均有提高，且各個通道之間分類效果差異不大。由表中第一列數據可以看出，情感識別結果最低為 74.55%，最高能達到 95.98%，均比單一腦電特征量識別效果要好。然而，當識別兩種情感時，不同區域腦電通道特征數據識別效果有所差異，可能是不同情感引起的腦電信號變化所在的關鍵腦區不同所引起的。從表中每列數據來看，情感分類結果絕大部分都在 80% 以上，最好的識別結果能達到 97.77%，而且通道準確率均值比單一特征量的效果有大幅度提升，說明融合指標比單一特征量能更好地體現不同音樂情感腦電的特異性。表 5 中的數據絕大部分的識別效果達到 80% 以上，與其他 7 種情感的分類準確率均值在 85% 左右，而且分類準確率較表 4 中的三種特征量單純組合進行情感識別的結果提升了 20%～30%，表明特征融合后的指標的情感識別效果比特征量單純組合在一起要好，算法改進后的特征量能體現出情感腦電信號的總體特性。
表 5 中每行數據表示所選通道算法改進后的特征量音樂情感識別結果，行與行之間的數據有所不同，可能也是因為不同情感腦電所在的關鍵腦區不同所致。但就某一行數據來看，分類結果相差不大，比如，FP2 通道情感識別結果均為 80%～90%，F7 通道分類結果均在 90% 以上，說明將一種情感與不同情感進行識別時，利用本文改進算法所提取的腦電特征量不僅能得到較好的分類準確率，而且對情感的識別有一定的普適性。
本文利用改進算法所提出的特征量進行 8 種情感兩兩分類，得出的通道分類準確率均值結果如表 6 所示。從表中數據可以看出，利用此算法特征量能夠使得正負性情感分類正確率達到 85% 左右，正性情感之間識別結果在 78%～83% 之間，負性情感之間識別結果絕大部分在 80% 以上。說明這些特征量能夠表征不同情感腦電信號的差異性，利用本方法可以將不同情感有效地識別出來。
表6
改進算法兩兩分類識別結果（%）
Table6.
Classification results of the improved algorithm for any two of the 8 emotions (%)
4 討論
情感特征提取是情感識別的關鍵問題，針對這一問題，研究人員從不同角度做了大量工作，比如分別提取能量特征量、功率譜特征量、熵值等非線性參數以及統計特性量等，目的都是希望提取有效的情感特征，得到良好的情感識別效果。基于能量特征提取，如 Murugappan 等[26]提取了五種情感腦電 α 波能量、熵值以及均值方差特征量，得到的情感分類準確率為 79% 左右。基于非線性動力學參數，如 Wang 等[27]采用小波變換、近似熵、分形指數分析提取情感腦電特征，對比三種特征量分類效果，小波變換特征的情感分類準確率達到 77% 左右，近似熵特征量的情感分類結果為 65.12%，Hurst 指數分類準確率為 71.38%。從節律分析的角度，如 Heraz 等[28]利用四種節律的波幅特征量對八種情感進行分類，最優的分類結果達到 82.27%，最低分類準確率為 73.10%。該結果與本文小波變換特征量得出的結果類似，說明這四種節律能在一定程度上表現出相應的情感特征狀態。以上這些研究成果中近似熵特征量分類結果與本文單一特征得出的結果接近，而 Hurst 指數特征量的分類結果高于本文單一特征所得結果，這與所要識別的情感類別有關。本文基于 PCA 改進算法，融合腦電信號的能量分布、節律波的復雜性和統計相關性三個不同角度的特征參數，更好地實現了情感分類，將單一特征量與融合指標分類結果對比，希望可以提取有效的音樂情感特征參數，為音樂情感特征提取與情感識別研究提供參考。
5 結論
本文采用多模態 DEAP 音樂情感數據庫中的數據，提取出 8 種正負性音樂情感腦電信號，每種情感選擇代表各腦區的 14 個通道數據。先用小波變換分解重構出 θ、δ、β、α 四種節律波，并計算出小波系數能量和小波熵值，其次提取出這四種節律波的近似熵值和 Husrt 指數，最后用單一類型的特征量進行情感識別，對比這三類特征量的音樂情感分類效果。結果顯示，僅用單一類型的特征量進行音樂情感識別效果不好，并且不同類型音樂情感腦電信號的特異性不同。有的情感識別用近似熵特征的分類效果較好，有的情感識別用小波變換特征得到的分類結果較好，也就是說這三類特征量在不同的情感特征中所占比重不同，因此可以將這些特征量進行整合。
本文利用 PCA 將三類特征量整合成一個或幾個綜合指標代替原來的特征量進行情感識別，發現整合后的特征量分類準確率至少能提升 10%，并且 8 種情感兩兩識別分類準確率多在 80% 以上。說明這種方法不僅能得到較好的分類準確率，而且也體現出這種特征綜合的方法對情感的識別有一定的普適性。
