近年來,從神經網絡層面探索腦功能整合的相關生理病理機制已經成為神經科學領域研究關注的焦點之一。由于神經信號具有非平穩和非線性的特性,其線性特征不足以充分解釋復雜腦功能執行過程中潛在的神經生理活動機制。為克服線性算法無法有效分析信號非線性特征的局限性,研究人員提出了傳遞熵(TE)算法。近年來,隨著腦功能網絡概念的引入,TE作為非線性時間序列多元分析的有力工具被不斷優化。本文先介紹了TE算法的原理以及相關改進算法的研究進展,探討比較了它們各自的特點,然后總結了TE算法在電生理信號分析領域的應用。最后,結合近幾年的研究進展,探討了TE目前存在的問題,并展望了其未來的發展方向。
引用本文: 李天翔, 李雙燕. 傳遞熵算法研究進展及其應用. 生物醫學工程學雜志, 2022, 39(3): 612-619. doi: 10.7507/1001-5515.202109067 復制
引言
人腦中約有數十億神經元通過突觸連接在一起,神經元間通過電化學信號傳遞信息,形成復雜的結構及功能網絡,從而實現復雜腦功能。網絡中的神經元電活動狀態與神經系統的生理、病理狀態息息相關,對其特征的提取和分析是目前神經系統功能相關疾病診斷、防治以及康復評估的重要方法之一。神經元的活動可以通過基于侵入或非侵入式電極等從相關腦區或頭皮獲取的電信號來反映[1],因此,發展相關算法,對神經電活動信號的特征進行有效表征和分析,一直是神經科學領域研究的熱點和難點之一。
近年來,從神經網絡層面探索腦功能整合的相關生理病理機制已經成為神經科學領域研究關注的焦點之一。為實現對腦網絡連接特性的定量表征,科學家們提出并發展了相關腦連接分析的模型和算法,主要包括:功能連接和有效(因效)連接等[2]。由于人腦是時刻對外界刺激進行響應的復雜動態系統,在腦功能實現過程中,相關腦區之間時刻存在著信息的交互協同。因此,能反映相關腦區瞬時信息流向的有效連接在近年來得到了更為廣泛的關注和應用。現有的有效連接算法可以分為基于模型和無模型算法兩種類型。目前,基于模型的算法主要有:格蘭杰因果[3](Granger causality,GC)、定向傳遞函數[4]、動態因果模型[5](dynamic causal model,DCM)等。上述方法均能夠對記錄所得多通道神經信號之間的有向功能連接進行估計,但使用時存在一定的局限性,如使用GC對所得信號進行分析時,為保證分析結果的有效性,要求所分析的信號應具有高信噪比[6]。此外,上述方法多是通過線性方法建立模型,進而對變量之間的潛在因果關系進行分析,從而無法有效分析信號的非線性特征[7]。
神經信號具有非線性、非平穩的特征,其線性特征不足以充分解釋復雜腦功能執行過程中潛在的神經生理活動機制,而該問題有望通過分析其非線性特征得到改善[8]。因此,發展相關非線性的有效連接分析方法將成為上述方法的有力補充。此外,該類方法還應滿足以下幾點要求:① 無需先驗知識預定義觀測系統的交互類型,以便作為探索性分析工具(這也是無模型有效連接算法提出的初衷)。② 可有效觀測到系統中的非線性相互作用。③ 觀測信號間存在相互作用延遲時仍可檢測其中的有效連接[9]。④ 可克服觀測單元間的串擾[10]。在此需求背景下,2000年Schreiber[11]結合信息論(information theory,IT)和圖論相關理論提出傳遞熵(transfer entropy,TE)算法。該方法以IT相關理論為基礎,適用于監測分析信號中的非線性特征,并且能夠檢測變量間的定向和動態信息傳遞,在具有非線性特性的時間序列因果分析的研究中展現出較為顯著的優勢。近來,隨著記錄技術的發展,所采集的神經信號呈現出多維、高時空分辨率、海量等發展趨勢。為滿足對此類信號特征分析的需求,研究者們提出了一系列的TE相關改進算法。
因此,本文主要對近年來已應用或有望應用于神經電生理信號分析的TE及其相關改進算法進行了綜述。文中先介紹了TE算法的原理以及相關改進算法的研究進展,并對其特點和不足進行了探討,隨后總結了上述算法在電生理信號分析領域的應用。最后,對TE相關算法可能的發展方向進行了展望。
1 傳遞熵算法原理及相關算法研究進展
1.1 傳遞熵算法
為了度量具有非線性特性的變量之間的有效連接,Schreiber[11]于2000年提出了TE算法。由于TE本質上是不對稱的且是基于轉移概率的,因此它能夠有效表征變量之間的動態信息傳遞。其基本原理如下:假設存在X和Y兩個系統,用x和y代表對應系統隨時間變化的變量,用 和
描述在
時刻變量x和y的值,
則代表從n時刻到
時刻對應的x變量值組成的向量。此時,從x到y的TE值定義為:
![]() |
其中 代表條件熵,例如
表示在已知隨機變量
的條件下,隨機變量
的不確定性。由上述可知,TE算法的核心思想是如果在已知變量y過去時刻值的基礎上引入變量x的過去值信息,能夠降低估計變量y的當前值的不確定性,則認為變量x是變量y的因。Schreiber將TE算法用于分析睡眠呼吸暫停綜合征患者睡眠時呼吸頻率和瞬時心率之間的相互作用,觀察到從心率到呼吸頻率方向的因果性的增強,證明了TE算法的可行性及有效性。
1.2 改進的傳遞熵算法
1.2.1 多變量傳遞熵算法
傳統的TE算法僅可用于研究兩變量間的有效連接,該算法在分析較短的時間序列時表現出較高的靈敏度,但隨著數據長度的增加和信噪比的降低,其分析結果的可靠性會顯著降低,進而影響聚類系數、最短路徑長度等參數估計的準確性。因此,相關研究人員提出了多變量傳遞熵(multivariate transfer entropy,MTE)算法[12],其原理如下:在上述雙變量TE算法的基礎上引入鏈式法則[13],依據此法經時間延遲分解即可得高維TE公式[13],之后可用圖論模型解決估計中的無限維度問題[14]。與二元TE相比,MTE用于分析較長的時間序列時仍具有較高的可靠性。在存在其余系統Z的條件下從源系統X到目標系統Y的MTE算法如下:
![]() |
其中 和
與式(1)中定義相同,
為其余系統在
時刻的變量值。2017年Olejarczyk等[15]將MTE算法用于分析對比睜眼與閉眼狀態下腦電圖(electroencephalogram,EEG)信號網絡的連通性變化。結果顯示,兩種狀態下腦網絡的特性存在明顯差異。研究探索了兩種狀態下不同腦區間信息傳遞與大腦同步化程度的關系,對揭示腦網絡信息交互模式具有重要意義。2021年Wang等[16]將MTE算法與心電圖(electrocardiogram,ECG)的特征提取相結合,研究了睡眠呼吸暫停低通氣綜合征(sleep apnea–hypopnea syndrome,SAHS)患者睡眠期間中樞—自主神經系統網絡的相互作用,結果表明SAHS患者的兩系統網絡雙向信息傳輸強度變化與呼吸頻率密切相關。這些發現對于理解SAHS如何逐漸增加患者心血管疾病的患病率或其他功能障礙的風險提供了新的見解。
客觀復雜的生物系統由多層次子系統組成,研究腦網絡間的作用也需要從多個變量、多個尺度進行綜合分析,這也對應著MTE算法的一個改進方向。2021年Zhang等[17]對MTE算法進行改進,提出了多尺度多元傳遞熵算法(multiscale multivariate transfer entropy,MSMVTE),并將其應用于功能性皮質耦合,分析驗證了皮層運動區被廣泛激活時的相互作用,為更好地理解腦網絡動力學提供了支持。
1.2.2 符號傳遞熵
對于龐大且復雜的信號,直接通過時間序列估計TE時對數據要求較高,且噪聲影響顯著[18]。為克服此類局限性,Staniek等[19]在傳統TE算法的基礎上進行改進提出了符號傳遞熵(symbolic transfer entropy,STE)算法。此算法先將原始數據轉換為符號化序列,然后通過對符號序列進行分析以獲取相應的動態特性。該方法在保留信號非線性動態特征的同時,可以去除大量冗余信息。STE的計算式定義如下:
![]() |
其中 和
表示在 t 時刻來自系統X和Y對應變量x和y的值,
表示將信號序列通過相應的映射準則轉化為符號化序列。2020年Zhang等[20]將靜態符號化法[21]與TE相結合,成功驗證了抑郁癥患者存在負性認知偏向以及腦半球情緒功能的不對稱性。但此算法需要根據數據類型調節符號化的映射參數,平衡原始數據的動態特性和信息冗余,穩定性較低。2020年Ye等[22]將STE算法應用于經顱磁刺激—EEG數據的分析,成功地在視覺區域檢測到來自經顱磁刺激目標的信息流,證實STE算法可以有效分析認知功能及靜息狀態下的全腦活動。此外,針對大腦區域之間存在神經信息傳輸延遲問題,Wang等[23]在STE算法基礎上進行優化,提出延遲符號相位傳遞熵算法(delay symbolic phase transfer entropy,dSPTE),并將此算法應用于功能性近紅外光譜數據的分析,結果顯示該算法對具有不同耦合時延的復雜腦網絡構建與分析有很強的適用性。
1.2.3 離散傳遞熵算法
所需處理數據的復雜化和海量化使得傳統TE算法在實際應用中計算負擔較大,并可能在計算結果中含有大量的虛假連接[24]。STE算法雖然可以在一定程度上解決這一問題,但其局限性在于:① 將原始時間序列轉化成符號序列會導致信息的丟失。② 對于大多數系統沒有通用的方法來創建最合適符號化分區[25]。2020年Zhang等[26]提出離散傳遞熵(dispersion transfer entropy,DTE)算法對符號化過程進行優化。該算法依據Ragwitz準則[27],使用離散模式動態地選擇參數,解決了序列符號化過程中的上述兩個主要問題。主要算法步驟如下:① 數據的處理。用正態累積分布函數將時間序列標準化到[0, 1]。② 生成嵌入向量。每一個標準化向量都有一個可能的離散模式,據此則可得出相應的符號序列,此序列將用于計算TE。③ 計算嵌入維度。利用Ragwitz準則通過最小化預測偏差來尋找合適的嵌入維數。④ 計算DTE。
![]() |
其中是標準化的
,
和
為嵌入維度,
為預測延遲,通常適當選擇為等于信號間交互延遲的一個值。在該文章中還提出兩種DTE的擴展——離散多元傳遞熵(dispersion multivariate transfer entropy,DMTE)和離散部分傳遞熵(dispersion partial transfer entropy,DPTE)。其中,DMTE在很大程度上削弱了數據的同步性和相似性對因果關系檢測的影響。這些算法可以聯合起來從多個角度測量大腦內部復雜多變量系統之間的因果關系,獲得更全面、準確的分析結果。
1.2.4 補償傳遞熵算法
體積傳導問題一直是研究多通道神經信號相互作用時的難題之一,即未測量源信號的瞬時耦合效應會導致被測傳感器數據間的顯著干擾。這也極大地影響了進一步對所采集的信號進行連通性分析的有效性和可靠性,尤其是會影響對虛假連接的檢測與排除[28]。例如,受到體積傳導效應的影響,傳統TE算法對來自不同系統的變量間的因果性進行分析時,會將變量間的瞬時相關誤認為是存在因果關系,從而產生在沒有因果連接的變量間檢測出信息傳輸的情況。為了解決這個問題,Faes等[29]對傳統TE算法進行改進,提出了補償傳遞熵(compensated transfer entropy,cTE)算法。此算法能夠提高對虛假連接的檢測能力,在一定程度上抑制體積傳導問題。cTE具體算法如下:當只考慮兩個分別來自系統X和Y的隨機過程x和y時,從X到Y的TE計算式可化為多個條件熵項。Faes等[29]采用將瞬時效應的影響納入到計算TE的兩個條件熵項中的解決方案,只有x過去值的信息有助于解釋y時cTE的理論值才為非零,在不存在瞬時相關的情況下cTE與傳統TE類似。cTE的計算式如下:
![]() |
其中 和
表示在 t 時刻來自系統X和Y對應變量x和y的值,
代表條件熵。cTE算法在視觸覺認知任務中記錄的真實腦磁圖數據上進行測試時,成功檢測到視覺皮層到體感區域的信息流,證明了算法的可行性。與傳統TE算法相比,在沒有信號串擾的情況下cTE與TE性能類似,但在非因果信號存在瞬時耦合的情況下cTE降低了假陽性連接的比例。2021年Gu等[30]結合前文中提到的符號化法及多尺度分析法的優勢,將時延因子和時間尺度因子納入至cTE算法中提出了時滯多尺度符號相位補償傳遞熵(time-delay multiscale symbolic phase compensated transfer entropy,SpcTE)算法,不僅消除了瞬時效應的影響,還突出了信號間不同時間尺度上的相互作用。此算法在成人睡眠呼吸障礙、快速眼動行為障礙、失眠等睡眠障礙臨床病例的循環交替模式的研究中效果顯著[31-33],成功檢測到上述病癥患者不同方向上的心電-肌電(electromyogram,EMG)和EEG-EMG信息流,使我們能夠從一個新的角度理解病理系統。
1.2.5 Gabor小波-傳遞熵算法
隨著對神經電生理信號研究的深入,人們逐漸認識到其中所包含的信息涉及多個時間尺度與維度。為詳細研究相關生理功能的運行機制,研究人員逐漸采用分頻的方法將問題轉入至頻域進行研究[34]。此前已有研究借助TE算法的優勢應用于EEG-EMG 信號間的非線性耦合特征的探索,但由于此類信號不同特征頻段的耦合特征存在明顯差異,因此有必要將信號分解為不同頻段信號后進行進一步分析。2017年張園園等[35]利用Gabor小波變換將包含不同頻率成分的EEG、EMG信號分解至局部頻帶,利用其具有高頻率分辨率的特性提出Gabor-TE算法。該算法首先將預處理后的EEG-EMG信號經Gabor小波變換進行時頻分解和重構,隨后通過計算信號序列的TE值來分析其因果性。具體算法如下:
![]() |
其中 和
分別對應EEG和EMG信號序列,t 為離散的時間指標,u為預測時間,m和n分別為延遲向量。將此算法應用于手部不同恒定握力輸出下特征頻段EEG-EMG 信號非線性同步耦合特性的研究時,成功驗證了皮層肌肉耦合的方向性。與傳統TE算法相比,Gabor-TE可更好地提取信號的局部特征且利于不同耦合方向上以及不同頻段間的耦合分析。
1.2.6 瞬時點過程傳遞熵算法
盡管TE算法在之前的發展中彌補了大部分不足,但此前所提出的相關算法都無法準確跟蹤高時間分辨率條件下系統間非平穩信息的傳遞。為解決此類問題,Valenza等[36]基于應用于心血管動力學的點過程概率理論提出一種具有時變特性的TE算法——瞬時點過程傳遞熵算法(instantaneous point process transfer entropy,ipTE)。此算法避免了對原始生理時間序列的插值處理,有較高的時間分辨率,很好地克服了傳統TE算法執行估計時要求數據在短時間窗內保持靜止的局限性。ipTE定義式的標準形式如下:
![]() |
其中 和
表示在
時刻來自系統X和Y對應變量x和y的值,
為條件概率密度函數。與傳統TE算法相比,ipTE定義靈活且不局限于雙變量模型,適用于多元信息傳遞的瞬時測量,在一些復雜的多系統生理學檢測諸如腦電—肌電、腦電—心電等相互作用研究上有著廣泛的應用前景。
1.2.7 以TE算法為核心的IDTxl
對算法的模擬驗證需要相關模型的構建,在模型構建中存在的問題也為算法的發展指明了方向。近年來關于相關模型構建存在諸多挑戰,其中有兩個較為顯著:① 網絡模型的狀態空間隨著網絡規模的增加呈現出甚于指數式增長的趨勢。② 基于信息論框架的估計器在多變量集上易遭受“維數災難”問題[37]。
此前的諸多研究[38-39]曾提出用貪婪算法解決以上問題,此類算法是通過貪婪地選擇隨機變量來減輕所謂的“維數詛咒”問題[40]。盡管這些方案對解決此前提出的兩大難題有所幫助,但多元TE估計帶來的計算挑戰嚴重限制了在一般情況下研究問題的規模。比如:2016年Kim等[41]用了6個節點和100個樣本進行研究;2018年Runge[40]用了10個節點和500個樣本進行研究。而現代的神經信號采集設備記錄的數據往往有數百個節點和數萬個樣本,此前的方案難以奏效。2019年Wollstadt等[42]提出用嚴格的統計檢驗法來解決上述挑戰,用基于時間序列替代項的零分布比較自動確定最優停止條件,降低了計算量,并將這些算法實現做成了程序包IDTxl(information dynamics toolkit xl),可對100個節點、10 000個樣本的非線性系統進行研究,能夠滿足絕大多數EEG、腦磁圖(magnetoencephalography,MEG)等數據的研究規模,為復雜腦網絡的分析提供了堅實的算法基礎。
1.3 TE及其相關算法小結
TE及其相關改進算法在非線性時間序列的多元分析上展現出各自的優勢,也仍存在一定的局限性。結合前文所述,對文中所介紹的各種TE及相關改進算法特點進行匯總和比較,如表1所示。

傳統的TE算法用于腦網絡連接分析時主要存在以下幾個問題:無法利用數據的所有可用信息導致對虛假有向鏈路的錯誤識別,估計精度較低;不適用于長時程數據的分析;體積傳導效應嚴重,抗噪聲干擾能力差;無法分析多變量數據。此后陸續提出的改進算法對上述不足之處進行了改進,其中:① ipTE和IDTxl在時間分辨率等方面進行改進,在精確度方面表現優異。② DTE、DMTE、DPTE和IDTxl從決策檢驗、優化符號化分區、增強時變特性捕捉等方面進行優化,在防信息丟失方面表現優異。③ cTE和IDTxl在插值處理等方面進行改進,提高了算法的魯棒性,抗噪聲干擾能力較強。④ STE、DTE、DMTE、DPTE和IDTxl分別通過符號化處理、引入預測延遲等方法,提高了算法對高維長時程數據的處理能力,其中IDTxl在數百甚至上百萬次的大規模觀測數據分析中表現尤為優異。⑤ MTE、STE、DMTE、cTE、Gabor-TE、ipTE及IDTxl等算法可以用于多變量數據。
2 TE及相關算法在電生理信號分析領域的應用
TE及相關算法已被證明是用于測量非線性神經信號有效連通性的重要指標,并且可以應用于MEG、EEG等多種神經信號,為各種疾病的診斷、防治以及療效的評估提供了有效的方法。目前,TE及相關算法在腦網絡分析、機器學習和大數據分析等方面均得到了廣泛的應用。
2.1 腦網絡分析
人的大腦通過不同神經元集群間的動態調節來實現目標導向行為,不同腦區或功能網絡間的同步或失同步與相應的生理狀態相對應[43]。TE算法作為非線性腦功能網絡有效連接的分析方法,其結果可闡明在外界因素影響下不同腦區間連接狀態的變化,所蘊含的大量有意義的生理信息為疾病的早期診斷與檢測提供了科學的依據[44]。2020年Harmah等[45]通過MTE算法基于精神分裂癥(schizophrenia,SCZ)患者EEG信號來構建有效網絡,結果顯示:與健康對照組相比,SCZ患者的事件相關EEG腦網絡連接強度等網絡參數降低,為進一步理解SCZ患者疾病誘發的腦網絡機制提供了幫助。2020年Zhang等[20]將STE算法用于抑郁癥患者的MEG分析,通過計算熵值來對比抑郁癥患者和健康對照組被試在不同情緒類圖像刺激時腦網絡特性的差異。結果表明,抑郁癥患者存在消極認知偏差及腦半球情緒功能的不對稱性。2020年Li等[46]將STE算法與加權概率分布相結合來度量兩個神經元群體之間信息傳輸的方向性。當應用于癲癇皮層腦電圖數據時,在癲癇發作過程中成功檢測到從丘腦前核到癲癇起始區的神經振蕩耦合。此方法在抗噪聲能力方面表現良好,但局限性在于不能直接應用于兩個以上的神經振蕩,有待在未來的研究中進一步探索和完善。
2.2 機器學習
隨著計算機性能的提升、大數據的積累以及神經網絡算法的興起,人工智能的發展如火如荼,在各個領域應用廣泛。人工智能的核心技術是機器學習算法,用基于神經信號和機器學習的技術發現生物特征用以輔助診斷、解碼大腦狀態、開發腦機接口應用是當前神經科學領域極為熱門的研究方向。2021年Ciprian等[47]將STE算法與機器學習算法相結合用以診斷SCZ,其主要思路是先采用STE方法檢測SCZ患者腦區之間的有效連接,構建腦網絡,然后應用機器學習算法對網絡特征進行識別分類。與以往研究相比,該方法可利用更少量的特征和更簡單的機器學習算法,更精確地完成SCZ患者與健康對照組的識別,分類精度高達96.92%。這意味著應用STE構建的腦網絡特征可能是SCZ臨床診斷的極有應用前景的判斷指標[48]。如果將機器學習看成一種任務,那么神經網絡則是實現機器學習任務的一種方法。當前的神經網絡結構由于所用數據集的規模和復雜度不斷增大,訓練難度大了很多倍。之前也有研究從各個角度對其進行優化,但TE的引入則提供了一個新的思路。2020年Moldovan等[49]提出一種利用TE反饋連接來提高神經網絡性能的反向傳播型訓練算法,此算法大大減少了優化超參數和隱含層神經元數目的工作量,并且可以方便地利用因果范式從訓練好的網絡中提取有效信息,具有廣泛的應用前景。
2.3 大數據分析
大數據技術的意義不在于對于龐大信息量的掌握,而在于對其中有意義信息的提取與解釋。其中電生理大數據的一類重要隱藏信息則是信號間的因果關系。鑒于TE在信息傳輸與因果檢測中的優勢,其有望在生理大數據分析中發揮更大的作用。2019年Dourado等[50]基于延遲TE優異的因果信息處理能力對其進行改進,研究比較了使用異構Beowulf集群從大數據序列中計算延遲TE的不同并行策略。分析顯示任務并行比數據并行明顯更為快速,為更大數據集的分析提供了有力的統計證據。神經生理信號大多發作迅速且持續時間較短,易受噪聲影響,若想持續觀測無疑會帶來極大的計算負擔。2021年Silini等[51]將改進的TE算法與時移替代檢驗相結合,進一步降低了大數據集分析時的計算成本,當從大量短時序列的分析中推斷因果網絡時效果顯著。此外,上文中提到的IDTxl算法在數百甚至上百萬次的大規模觀測數據條件下表現優異,在諸如健康大數據分析等方面有著非常廣闊的應用前景。
結合前文所述,對于TE及相關算法在腦網絡分析、機器學習和大數據分析等方面的應用,總結如表2所示。

3 總結與展望
綜上所述,TE算法的發展歷程也是信號采集與分析技術發展過程的一個體現,為適應所需分析信號多元、高維、海量、非平穩、高冗余以及強混合等特點,國內外眾多研究者基于傳統TE算法提出了諸多的改進算法,在不同程度上對TE算法進行了繼承和發展。本文主要對近年提出的應用于電生理信號分析的TE相關算法的原理及特點進行了介紹和對比,并列舉了相關算法在實際中的應用。隨著研究的深入和神經電信號采集技術的不斷革新,TE算法在未來的發展與應用中仍面臨著一些問題和挑戰,例如:
(1)TE這種無模型的方法有助于量化非線性神經元相互作用,但是與有模型的分析方法相比,其對于結果的解釋稍顯困難。例如,近年來提出的DCM算法,基于神經動力學模型進行建模,并結合貝葉斯估計對模型進行驗證,因此被認為具備了天然的生理可解釋性。與此相對,無模型的TE算法雖然不會受到復雜模型所造成的大量參數估計和優化困難等相關問題的困擾,卻難以提出具有生理合理性的結果解釋。如何使結果更具有可解釋性,是目前乃至今后很長一段時間TE算法應用于神經電生理數據分析時的重要問題,有待進一步探討。
(2)峰電位(spikes)信號為一個或多個神經元的離散動作電位發放序列,多個功能相關的神經元通過峰電位等信號相互交互構成特定的功能網絡。隨著微電極陣列的廣泛應用,對神經元集群鋒電位信號間的因果分析引起越來越多研究者的關注。此前已有研究通過分析神經峰電位機制來估計它的因果效應[52]。目前,現有的多元時間序列分析方法(如TE、GC、DCM等)已被證明在連續神經信號(如EEG信號)的建模和分析中非常有效,然而,這些方法通常沒有很好地適應離散信號的分析。因此,如何對TE算法進行改進,在保留其因果分析優勢的同時,使其適用于諸如峰電位信號的離散時間序列的因果分析,將是一個有益的探究方向。
重要聲明
利益沖突聲明:本文全體作者均聲明不存在利益沖突。
作者貢獻聲明:李天翔為綜述主要撰寫人,完成文獻資料的整理、收集與分析,以及綜述初稿的撰寫;李雙燕為論文的構思者及負責人,指導論文寫作,參與論文修改和審校。
引言
人腦中約有數十億神經元通過突觸連接在一起,神經元間通過電化學信號傳遞信息,形成復雜的結構及功能網絡,從而實現復雜腦功能。網絡中的神經元電活動狀態與神經系統的生理、病理狀態息息相關,對其特征的提取和分析是目前神經系統功能相關疾病診斷、防治以及康復評估的重要方法之一。神經元的活動可以通過基于侵入或非侵入式電極等從相關腦區或頭皮獲取的電信號來反映[1],因此,發展相關算法,對神經電活動信號的特征進行有效表征和分析,一直是神經科學領域研究的熱點和難點之一。
近年來,從神經網絡層面探索腦功能整合的相關生理病理機制已經成為神經科學領域研究關注的焦點之一。為實現對腦網絡連接特性的定量表征,科學家們提出并發展了相關腦連接分析的模型和算法,主要包括:功能連接和有效(因效)連接等[2]。由于人腦是時刻對外界刺激進行響應的復雜動態系統,在腦功能實現過程中,相關腦區之間時刻存在著信息的交互協同。因此,能反映相關腦區瞬時信息流向的有效連接在近年來得到了更為廣泛的關注和應用。現有的有效連接算法可以分為基于模型和無模型算法兩種類型。目前,基于模型的算法主要有:格蘭杰因果[3](Granger causality,GC)、定向傳遞函數[4]、動態因果模型[5](dynamic causal model,DCM)等。上述方法均能夠對記錄所得多通道神經信號之間的有向功能連接進行估計,但使用時存在一定的局限性,如使用GC對所得信號進行分析時,為保證分析結果的有效性,要求所分析的信號應具有高信噪比[6]。此外,上述方法多是通過線性方法建立模型,進而對變量之間的潛在因果關系進行分析,從而無法有效分析信號的非線性特征[7]。
神經信號具有非線性、非平穩的特征,其線性特征不足以充分解釋復雜腦功能執行過程中潛在的神經生理活動機制,而該問題有望通過分析其非線性特征得到改善[8]。因此,發展相關非線性的有效連接分析方法將成為上述方法的有力補充。此外,該類方法還應滿足以下幾點要求:① 無需先驗知識預定義觀測系統的交互類型,以便作為探索性分析工具(這也是無模型有效連接算法提出的初衷)。② 可有效觀測到系統中的非線性相互作用。③ 觀測信號間存在相互作用延遲時仍可檢測其中的有效連接[9]。④ 可克服觀測單元間的串擾[10]。在此需求背景下,2000年Schreiber[11]結合信息論(information theory,IT)和圖論相關理論提出傳遞熵(transfer entropy,TE)算法。該方法以IT相關理論為基礎,適用于監測分析信號中的非線性特征,并且能夠檢測變量間的定向和動態信息傳遞,在具有非線性特性的時間序列因果分析的研究中展現出較為顯著的優勢。近來,隨著記錄技術的發展,所采集的神經信號呈現出多維、高時空分辨率、海量等發展趨勢。為滿足對此類信號特征分析的需求,研究者們提出了一系列的TE相關改進算法。
因此,本文主要對近年來已應用或有望應用于神經電生理信號分析的TE及其相關改進算法進行了綜述。文中先介紹了TE算法的原理以及相關改進算法的研究進展,并對其特點和不足進行了探討,隨后總結了上述算法在電生理信號分析領域的應用。最后,對TE相關算法可能的發展方向進行了展望。
1 傳遞熵算法原理及相關算法研究進展
1.1 傳遞熵算法
為了度量具有非線性特性的變量之間的有效連接,Schreiber[11]于2000年提出了TE算法。由于TE本質上是不對稱的且是基于轉移概率的,因此它能夠有效表征變量之間的動態信息傳遞。其基本原理如下:假設存在X和Y兩個系統,用x和y代表對應系統隨時間變化的變量,用 和
描述在
時刻變量x和y的值,
則代表從n時刻到
時刻對應的x變量值組成的向量。此時,從x到y的TE值定義為:
![]() |
其中 代表條件熵,例如
表示在已知隨機變量
的條件下,隨機變量
的不確定性。由上述可知,TE算法的核心思想是如果在已知變量y過去時刻值的基礎上引入變量x的過去值信息,能夠降低估計變量y的當前值的不確定性,則認為變量x是變量y的因。Schreiber將TE算法用于分析睡眠呼吸暫停綜合征患者睡眠時呼吸頻率和瞬時心率之間的相互作用,觀察到從心率到呼吸頻率方向的因果性的增強,證明了TE算法的可行性及有效性。
1.2 改進的傳遞熵算法
1.2.1 多變量傳遞熵算法
傳統的TE算法僅可用于研究兩變量間的有效連接,該算法在分析較短的時間序列時表現出較高的靈敏度,但隨著數據長度的增加和信噪比的降低,其分析結果的可靠性會顯著降低,進而影響聚類系數、最短路徑長度等參數估計的準確性。因此,相關研究人員提出了多變量傳遞熵(multivariate transfer entropy,MTE)算法[12],其原理如下:在上述雙變量TE算法的基礎上引入鏈式法則[13],依據此法經時間延遲分解即可得高維TE公式[13],之后可用圖論模型解決估計中的無限維度問題[14]。與二元TE相比,MTE用于分析較長的時間序列時仍具有較高的可靠性。在存在其余系統Z的條件下從源系統X到目標系統Y的MTE算法如下:
![]() |
其中 和
與式(1)中定義相同,
為其余系統在
時刻的變量值。2017年Olejarczyk等[15]將MTE算法用于分析對比睜眼與閉眼狀態下腦電圖(electroencephalogram,EEG)信號網絡的連通性變化。結果顯示,兩種狀態下腦網絡的特性存在明顯差異。研究探索了兩種狀態下不同腦區間信息傳遞與大腦同步化程度的關系,對揭示腦網絡信息交互模式具有重要意義。2021年Wang等[16]將MTE算法與心電圖(electrocardiogram,ECG)的特征提取相結合,研究了睡眠呼吸暫停低通氣綜合征(sleep apnea–hypopnea syndrome,SAHS)患者睡眠期間中樞—自主神經系統網絡的相互作用,結果表明SAHS患者的兩系統網絡雙向信息傳輸強度變化與呼吸頻率密切相關。這些發現對于理解SAHS如何逐漸增加患者心血管疾病的患病率或其他功能障礙的風險提供了新的見解。
客觀復雜的生物系統由多層次子系統組成,研究腦網絡間的作用也需要從多個變量、多個尺度進行綜合分析,這也對應著MTE算法的一個改進方向。2021年Zhang等[17]對MTE算法進行改進,提出了多尺度多元傳遞熵算法(multiscale multivariate transfer entropy,MSMVTE),并將其應用于功能性皮質耦合,分析驗證了皮層運動區被廣泛激活時的相互作用,為更好地理解腦網絡動力學提供了支持。
1.2.2 符號傳遞熵
對于龐大且復雜的信號,直接通過時間序列估計TE時對數據要求較高,且噪聲影響顯著[18]。為克服此類局限性,Staniek等[19]在傳統TE算法的基礎上進行改進提出了符號傳遞熵(symbolic transfer entropy,STE)算法。此算法先將原始數據轉換為符號化序列,然后通過對符號序列進行分析以獲取相應的動態特性。該方法在保留信號非線性動態特征的同時,可以去除大量冗余信息。STE的計算式定義如下:
![]() |
其中 和
表示在 t 時刻來自系統X和Y對應變量x和y的值,
表示將信號序列通過相應的映射準則轉化為符號化序列。2020年Zhang等[20]將靜態符號化法[21]與TE相結合,成功驗證了抑郁癥患者存在負性認知偏向以及腦半球情緒功能的不對稱性。但此算法需要根據數據類型調節符號化的映射參數,平衡原始數據的動態特性和信息冗余,穩定性較低。2020年Ye等[22]將STE算法應用于經顱磁刺激—EEG數據的分析,成功地在視覺區域檢測到來自經顱磁刺激目標的信息流,證實STE算法可以有效分析認知功能及靜息狀態下的全腦活動。此外,針對大腦區域之間存在神經信息傳輸延遲問題,Wang等[23]在STE算法基礎上進行優化,提出延遲符號相位傳遞熵算法(delay symbolic phase transfer entropy,dSPTE),并將此算法應用于功能性近紅外光譜數據的分析,結果顯示該算法對具有不同耦合時延的復雜腦網絡構建與分析有很強的適用性。
1.2.3 離散傳遞熵算法
所需處理數據的復雜化和海量化使得傳統TE算法在實際應用中計算負擔較大,并可能在計算結果中含有大量的虛假連接[24]。STE算法雖然可以在一定程度上解決這一問題,但其局限性在于:① 將原始時間序列轉化成符號序列會導致信息的丟失。② 對于大多數系統沒有通用的方法來創建最合適符號化分區[25]。2020年Zhang等[26]提出離散傳遞熵(dispersion transfer entropy,DTE)算法對符號化過程進行優化。該算法依據Ragwitz準則[27],使用離散模式動態地選擇參數,解決了序列符號化過程中的上述兩個主要問題。主要算法步驟如下:① 數據的處理。用正態累積分布函數將時間序列標準化到[0, 1]。② 生成嵌入向量。每一個標準化向量都有一個可能的離散模式,據此則可得出相應的符號序列,此序列將用于計算TE。③ 計算嵌入維度。利用Ragwitz準則通過最小化預測偏差來尋找合適的嵌入維數。④ 計算DTE。
![]() |
其中是標準化的
,
和
為嵌入維度,
為預測延遲,通常適當選擇為等于信號間交互延遲的一個值。在該文章中還提出兩種DTE的擴展——離散多元傳遞熵(dispersion multivariate transfer entropy,DMTE)和離散部分傳遞熵(dispersion partial transfer entropy,DPTE)。其中,DMTE在很大程度上削弱了數據的同步性和相似性對因果關系檢測的影響。這些算法可以聯合起來從多個角度測量大腦內部復雜多變量系統之間的因果關系,獲得更全面、準確的分析結果。
1.2.4 補償傳遞熵算法
體積傳導問題一直是研究多通道神經信號相互作用時的難題之一,即未測量源信號的瞬時耦合效應會導致被測傳感器數據間的顯著干擾。這也極大地影響了進一步對所采集的信號進行連通性分析的有效性和可靠性,尤其是會影響對虛假連接的檢測與排除[28]。例如,受到體積傳導效應的影響,傳統TE算法對來自不同系統的變量間的因果性進行分析時,會將變量間的瞬時相關誤認為是存在因果關系,從而產生在沒有因果連接的變量間檢測出信息傳輸的情況。為了解決這個問題,Faes等[29]對傳統TE算法進行改進,提出了補償傳遞熵(compensated transfer entropy,cTE)算法。此算法能夠提高對虛假連接的檢測能力,在一定程度上抑制體積傳導問題。cTE具體算法如下:當只考慮兩個分別來自系統X和Y的隨機過程x和y時,從X到Y的TE計算式可化為多個條件熵項。Faes等[29]采用將瞬時效應的影響納入到計算TE的兩個條件熵項中的解決方案,只有x過去值的信息有助于解釋y時cTE的理論值才為非零,在不存在瞬時相關的情況下cTE與傳統TE類似。cTE的計算式如下:
![]() |
其中 和
表示在 t 時刻來自系統X和Y對應變量x和y的值,
代表條件熵。cTE算法在視觸覺認知任務中記錄的真實腦磁圖數據上進行測試時,成功檢測到視覺皮層到體感區域的信息流,證明了算法的可行性。與傳統TE算法相比,在沒有信號串擾的情況下cTE與TE性能類似,但在非因果信號存在瞬時耦合的情況下cTE降低了假陽性連接的比例。2021年Gu等[30]結合前文中提到的符號化法及多尺度分析法的優勢,將時延因子和時間尺度因子納入至cTE算法中提出了時滯多尺度符號相位補償傳遞熵(time-delay multiscale symbolic phase compensated transfer entropy,SpcTE)算法,不僅消除了瞬時效應的影響,還突出了信號間不同時間尺度上的相互作用。此算法在成人睡眠呼吸障礙、快速眼動行為障礙、失眠等睡眠障礙臨床病例的循環交替模式的研究中效果顯著[31-33],成功檢測到上述病癥患者不同方向上的心電-肌電(electromyogram,EMG)和EEG-EMG信息流,使我們能夠從一個新的角度理解病理系統。
1.2.5 Gabor小波-傳遞熵算法
隨著對神經電生理信號研究的深入,人們逐漸認識到其中所包含的信息涉及多個時間尺度與維度。為詳細研究相關生理功能的運行機制,研究人員逐漸采用分頻的方法將問題轉入至頻域進行研究[34]。此前已有研究借助TE算法的優勢應用于EEG-EMG 信號間的非線性耦合特征的探索,但由于此類信號不同特征頻段的耦合特征存在明顯差異,因此有必要將信號分解為不同頻段信號后進行進一步分析。2017年張園園等[35]利用Gabor小波變換將包含不同頻率成分的EEG、EMG信號分解至局部頻帶,利用其具有高頻率分辨率的特性提出Gabor-TE算法。該算法首先將預處理后的EEG-EMG信號經Gabor小波變換進行時頻分解和重構,隨后通過計算信號序列的TE值來分析其因果性。具體算法如下:
![]() |
其中 和
分別對應EEG和EMG信號序列,t 為離散的時間指標,u為預測時間,m和n分別為延遲向量。將此算法應用于手部不同恒定握力輸出下特征頻段EEG-EMG 信號非線性同步耦合特性的研究時,成功驗證了皮層肌肉耦合的方向性。與傳統TE算法相比,Gabor-TE可更好地提取信號的局部特征且利于不同耦合方向上以及不同頻段間的耦合分析。
1.2.6 瞬時點過程傳遞熵算法
盡管TE算法在之前的發展中彌補了大部分不足,但此前所提出的相關算法都無法準確跟蹤高時間分辨率條件下系統間非平穩信息的傳遞。為解決此類問題,Valenza等[36]基于應用于心血管動力學的點過程概率理論提出一種具有時變特性的TE算法——瞬時點過程傳遞熵算法(instantaneous point process transfer entropy,ipTE)。此算法避免了對原始生理時間序列的插值處理,有較高的時間分辨率,很好地克服了傳統TE算法執行估計時要求數據在短時間窗內保持靜止的局限性。ipTE定義式的標準形式如下:
![]() |
其中 和
表示在
時刻來自系統X和Y對應變量x和y的值,
為條件概率密度函數。與傳統TE算法相比,ipTE定義靈活且不局限于雙變量模型,適用于多元信息傳遞的瞬時測量,在一些復雜的多系統生理學檢測諸如腦電—肌電、腦電—心電等相互作用研究上有著廣泛的應用前景。
1.2.7 以TE算法為核心的IDTxl
對算法的模擬驗證需要相關模型的構建,在模型構建中存在的問題也為算法的發展指明了方向。近年來關于相關模型構建存在諸多挑戰,其中有兩個較為顯著:① 網絡模型的狀態空間隨著網絡規模的增加呈現出甚于指數式增長的趨勢。② 基于信息論框架的估計器在多變量集上易遭受“維數災難”問題[37]。
此前的諸多研究[38-39]曾提出用貪婪算法解決以上問題,此類算法是通過貪婪地選擇隨機變量來減輕所謂的“維數詛咒”問題[40]。盡管這些方案對解決此前提出的兩大難題有所幫助,但多元TE估計帶來的計算挑戰嚴重限制了在一般情況下研究問題的規模。比如:2016年Kim等[41]用了6個節點和100個樣本進行研究;2018年Runge[40]用了10個節點和500個樣本進行研究。而現代的神經信號采集設備記錄的數據往往有數百個節點和數萬個樣本,此前的方案難以奏效。2019年Wollstadt等[42]提出用嚴格的統計檢驗法來解決上述挑戰,用基于時間序列替代項的零分布比較自動確定最優停止條件,降低了計算量,并將這些算法實現做成了程序包IDTxl(information dynamics toolkit xl),可對100個節點、10 000個樣本的非線性系統進行研究,能夠滿足絕大多數EEG、腦磁圖(magnetoencephalography,MEG)等數據的研究規模,為復雜腦網絡的分析提供了堅實的算法基礎。
1.3 TE及其相關算法小結
TE及其相關改進算法在非線性時間序列的多元分析上展現出各自的優勢,也仍存在一定的局限性。結合前文所述,對文中所介紹的各種TE及相關改進算法特點進行匯總和比較,如表1所示。

傳統的TE算法用于腦網絡連接分析時主要存在以下幾個問題:無法利用數據的所有可用信息導致對虛假有向鏈路的錯誤識別,估計精度較低;不適用于長時程數據的分析;體積傳導效應嚴重,抗噪聲干擾能力差;無法分析多變量數據。此后陸續提出的改進算法對上述不足之處進行了改進,其中:① ipTE和IDTxl在時間分辨率等方面進行改進,在精確度方面表現優異。② DTE、DMTE、DPTE和IDTxl從決策檢驗、優化符號化分區、增強時變特性捕捉等方面進行優化,在防信息丟失方面表現優異。③ cTE和IDTxl在插值處理等方面進行改進,提高了算法的魯棒性,抗噪聲干擾能力較強。④ STE、DTE、DMTE、DPTE和IDTxl分別通過符號化處理、引入預測延遲等方法,提高了算法對高維長時程數據的處理能力,其中IDTxl在數百甚至上百萬次的大規模觀測數據分析中表現尤為優異。⑤ MTE、STE、DMTE、cTE、Gabor-TE、ipTE及IDTxl等算法可以用于多變量數據。
2 TE及相關算法在電生理信號分析領域的應用
TE及相關算法已被證明是用于測量非線性神經信號有效連通性的重要指標,并且可以應用于MEG、EEG等多種神經信號,為各種疾病的診斷、防治以及療效的評估提供了有效的方法。目前,TE及相關算法在腦網絡分析、機器學習和大數據分析等方面均得到了廣泛的應用。
2.1 腦網絡分析
人的大腦通過不同神經元集群間的動態調節來實現目標導向行為,不同腦區或功能網絡間的同步或失同步與相應的生理狀態相對應[43]。TE算法作為非線性腦功能網絡有效連接的分析方法,其結果可闡明在外界因素影響下不同腦區間連接狀態的變化,所蘊含的大量有意義的生理信息為疾病的早期診斷與檢測提供了科學的依據[44]。2020年Harmah等[45]通過MTE算法基于精神分裂癥(schizophrenia,SCZ)患者EEG信號來構建有效網絡,結果顯示:與健康對照組相比,SCZ患者的事件相關EEG腦網絡連接強度等網絡參數降低,為進一步理解SCZ患者疾病誘發的腦網絡機制提供了幫助。2020年Zhang等[20]將STE算法用于抑郁癥患者的MEG分析,通過計算熵值來對比抑郁癥患者和健康對照組被試在不同情緒類圖像刺激時腦網絡特性的差異。結果表明,抑郁癥患者存在消極認知偏差及腦半球情緒功能的不對稱性。2020年Li等[46]將STE算法與加權概率分布相結合來度量兩個神經元群體之間信息傳輸的方向性。當應用于癲癇皮層腦電圖數據時,在癲癇發作過程中成功檢測到從丘腦前核到癲癇起始區的神經振蕩耦合。此方法在抗噪聲能力方面表現良好,但局限性在于不能直接應用于兩個以上的神經振蕩,有待在未來的研究中進一步探索和完善。
2.2 機器學習
隨著計算機性能的提升、大數據的積累以及神經網絡算法的興起,人工智能的發展如火如荼,在各個領域應用廣泛。人工智能的核心技術是機器學習算法,用基于神經信號和機器學習的技術發現生物特征用以輔助診斷、解碼大腦狀態、開發腦機接口應用是當前神經科學領域極為熱門的研究方向。2021年Ciprian等[47]將STE算法與機器學習算法相結合用以診斷SCZ,其主要思路是先采用STE方法檢測SCZ患者腦區之間的有效連接,構建腦網絡,然后應用機器學習算法對網絡特征進行識別分類。與以往研究相比,該方法可利用更少量的特征和更簡單的機器學習算法,更精確地完成SCZ患者與健康對照組的識別,分類精度高達96.92%。這意味著應用STE構建的腦網絡特征可能是SCZ臨床診斷的極有應用前景的判斷指標[48]。如果將機器學習看成一種任務,那么神經網絡則是實現機器學習任務的一種方法。當前的神經網絡結構由于所用數據集的規模和復雜度不斷增大,訓練難度大了很多倍。之前也有研究從各個角度對其進行優化,但TE的引入則提供了一個新的思路。2020年Moldovan等[49]提出一種利用TE反饋連接來提高神經網絡性能的反向傳播型訓練算法,此算法大大減少了優化超參數和隱含層神經元數目的工作量,并且可以方便地利用因果范式從訓練好的網絡中提取有效信息,具有廣泛的應用前景。
2.3 大數據分析
大數據技術的意義不在于對于龐大信息量的掌握,而在于對其中有意義信息的提取與解釋。其中電生理大數據的一類重要隱藏信息則是信號間的因果關系。鑒于TE在信息傳輸與因果檢測中的優勢,其有望在生理大數據分析中發揮更大的作用。2019年Dourado等[50]基于延遲TE優異的因果信息處理能力對其進行改進,研究比較了使用異構Beowulf集群從大數據序列中計算延遲TE的不同并行策略。分析顯示任務并行比數據并行明顯更為快速,為更大數據集的分析提供了有力的統計證據。神經生理信號大多發作迅速且持續時間較短,易受噪聲影響,若想持續觀測無疑會帶來極大的計算負擔。2021年Silini等[51]將改進的TE算法與時移替代檢驗相結合,進一步降低了大數據集分析時的計算成本,當從大量短時序列的分析中推斷因果網絡時效果顯著。此外,上文中提到的IDTxl算法在數百甚至上百萬次的大規模觀測數據條件下表現優異,在諸如健康大數據分析等方面有著非常廣闊的應用前景。
結合前文所述,對于TE及相關算法在腦網絡分析、機器學習和大數據分析等方面的應用,總結如表2所示。

3 總結與展望
綜上所述,TE算法的發展歷程也是信號采集與分析技術發展過程的一個體現,為適應所需分析信號多元、高維、海量、非平穩、高冗余以及強混合等特點,國內外眾多研究者基于傳統TE算法提出了諸多的改進算法,在不同程度上對TE算法進行了繼承和發展。本文主要對近年提出的應用于電生理信號分析的TE相關算法的原理及特點進行了介紹和對比,并列舉了相關算法在實際中的應用。隨著研究的深入和神經電信號采集技術的不斷革新,TE算法在未來的發展與應用中仍面臨著一些問題和挑戰,例如:
(1)TE這種無模型的方法有助于量化非線性神經元相互作用,但是與有模型的分析方法相比,其對于結果的解釋稍顯困難。例如,近年來提出的DCM算法,基于神經動力學模型進行建模,并結合貝葉斯估計對模型進行驗證,因此被認為具備了天然的生理可解釋性。與此相對,無模型的TE算法雖然不會受到復雜模型所造成的大量參數估計和優化困難等相關問題的困擾,卻難以提出具有生理合理性的結果解釋。如何使結果更具有可解釋性,是目前乃至今后很長一段時間TE算法應用于神經電生理數據分析時的重要問題,有待進一步探討。
(2)峰電位(spikes)信號為一個或多個神經元的離散動作電位發放序列,多個功能相關的神經元通過峰電位等信號相互交互構成特定的功能網絡。隨著微電極陣列的廣泛應用,對神經元集群鋒電位信號間的因果分析引起越來越多研究者的關注。此前已有研究通過分析神經峰電位機制來估計它的因果效應[52]。目前,現有的多元時間序列分析方法(如TE、GC、DCM等)已被證明在連續神經信號(如EEG信號)的建模和分析中非常有效,然而,這些方法通常沒有很好地適應離散信號的分析。因此,如何對TE算法進行改進,在保留其因果分析優勢的同時,使其適用于諸如峰電位信號的離散時間序列的因果分析,將是一個有益的探究方向。
重要聲明
利益沖突聲明:本文全體作者均聲明不存在利益沖突。
作者貢獻聲明:李天翔為綜述主要撰寫人,完成文獻資料的整理、收集與分析,以及綜述初稿的撰寫;李雙燕為論文的構思者及負責人,指導論文寫作,參與論文修改和審校。