為探究生物神經網絡的自組織抗擾特性, 進而為電子系統的電磁仿生防護提供新的思路和方法, 本文基于神經網絡中信息傳遞的機制和脈沖時間依賴突觸可塑性(STDP)機制, 探討了突觸可塑性與生物自適應特性的關系, 然后選取Izhikevich神經元模型作為基本單元, 以STDP機制調節的突觸為橋梁, 構建了四層的前饋神經網絡模型, 最后分析了該網絡的自適應抗擾能力。仿真結果表明, 基于STDP機制的神經網絡具有很好的抗擾能力, 且這種特性與STDP機制密切相關。基于此仿真工作將進一步進行領域轉換, 搭建模擬生物神經系統信息處理機制的神經元及突觸的單元電路, 并以該單元電路為基礎設計具有自適應抗擾的電子電路。
引用本文： 陳云芝, 徐桂芝, 周茜, 郭苗苗, 郭磊, 萬曉偉. 基于脈沖時間依賴可塑性的自適應神經網絡抗擾能力研究. 生物醫學工程學雜志, 2015, 32(1): 25-31. doi: 10.7507/1001-5515.20150005 復制
引言
近年來，各種基礎學科的發展和理論突破以及多種交叉學科的誕生，人們意識到經過幾十億年進化而來的生物系統是新技術創新的知識寶庫。1960年誕生的仿生學，是基于生物學科和工程技術學科發展起來的一門新興學科，通過研究生物系統的結構、特質、功能、能量轉換、信息控制等各種優異的特征，把它們應用到技術系統，改善已有的技術工程設備，并創造出新的工藝過程、建筑構型、自動化裝置等技術系統的綜合性科學。例如，人們根據蒼蠅的復眼包含4 000個可獨立成像的單眼，能看清幾乎360°范圍內的物體，制成了由1 329塊小透鏡組成的一次可拍1 329張高分辨率照片的蠅眼照相機，在軍事、醫學、航空、航天上被廣泛應用。諸如此類，從蝙蝠的回聲定位原理到雷達、從青蛙到電子蛙眼等實例，無不驗證了仿生學科的重要性以及廣闊的應用前景。
功能電路由多個基本電路單元或器件按照特定的拓撲結構連接而成。若將電路輸入和輸出分別映射為神經網絡的輸入和輸出，基本電路單元映射為神經元，電路連接映射為突觸權值連接，電路拓撲映射為神經網絡拓撲，則電子電路與神經網絡具有較好的對等映射關系[1]如圖 1所示。而蜥蜴斷尾求生、蝙蝠的回聲抗擾捕食，人體經受靜電刺激而未受損傷等諸多現象，說明了生物在復雜電磁環境下具有一定的可靠性、抗擾性、自適應和自修復的優勢。因此，基于電磁環境下生物系統表現出的各種優勢以及電子系統和生物系統的相似性，2009年劉尚合等[2]基于仿生學、生理學、工程學等多學科交叉提出了電磁仿生學的概念。電磁仿生是通過研究生物系統運行機制建立仿生模型，采用新的思路、方法和技術深入進行電磁干擾、防護等方面的理論研究，對傳統的抗擾方式進行強化、完善，從而構造出適用于復雜多變的電磁環境的、具有冗余機制和自修復功能的電路拓撲，尋找能夠自適應、自學習的控制方法以及設計自診斷、自免疫檢測系統。
圖1
電子電路與神經網絡的對等映射
Figure1.
Mapping between the electronic circuit and the neural networks
類比生物的自適應抗擾特性，本文通過研究生物體神經系統中神經元之間的信息傳遞的機制，揭示了脈沖時間依賴突觸可塑性(spike timing-dependent plasticity, STDP)機制與神經網絡自適應特性密切相關；然后基于STDP機制及其數學模型[3-5]，構建基于STDP機制的自適應神經網絡模型，進而通過模擬外界干擾造成的損傷，對網絡模型進行了自適應抗擾能力的相關仿真分析。
1 原理和方法
1.1 STDP機制與自適應特性
生物神經網絡中，突觸是神經元之間相互聯系的結構基礎，對神經元間的信息傳遞及處理起著關鍵性的作用。而突觸的連接強度是會隨著突觸前后神經元的活動而變化的，其變化的量與兩個神經元的活性之和成正比，這就是著名的Hebb假說[6]。生理學上有關長時程增強(long-term potentiation，LTP)和長時程抑制(long-term depression，LTD)的實驗研究也證實了Hebb規則關于突觸權值的變化與突觸前后神經元的電活動有關的理論[7-9]。通過生理實驗發現的STDP機制是Hebb規則的一種延伸，通過突觸前后神經元的放電時刻差來調節神經元之間的突觸權重，并導致不同突觸前神經元對同一突觸后神經元放電時刻控制權的競爭。STDP機制本身具備的這種競爭性能夠調控整個神經網絡的權重分布，使得與同一個突觸后神經元連接的一些突觸權重增大，其余突觸權重減小，使其達到一種穩定的分布狀態，從而使整個網絡達到穩定狀態。
突觸電導值可以用來表征突觸傳遞信息的能力大小，也是突觸權重變化的直接表征量。在STDP機制的調控下，突觸電導值的分布最終會趨于一種穩定的兩端分布[10-11]。本文中突觸電導值的修正規則服從如下數學描述：
| $ g\left(\Delta t \right)\left\{ \begin{align} & {{A}_{+}}\exp \left(\Delta t/{{\tau }_{+}} \right)\ \ \ \ \ \ if\Delta t < 0 \\ &-{{A}_{-}}\exp \left(\Delta t/{{\tau }_{-}} \right)\ \ \ \ \ if\Delta t\ge 0 \\ \end{align} \right., $ |
其中g(Δt)為突觸電導值的改變量，Δt為突觸前后神經元放電時刻間隔，參數τ+和τ-分別為突觸增強和減弱時突觸前后神經元放電時間間隔的范圍，A+和A-分別是突觸權值改變的最大值和最小值。本文中設定突觸增強時的電導值的修正百分比不超過10%，設定A-／A+=1.05；τ+=τ-=20 ms。上述方程提供了生理實驗中由突觸前后時刻差引起的突觸修正的合理估計。
對于一個突觸來說，當突觸前神經元的峰電位先于突觸后神經元產生，則二者之間的突觸連接強度增大，即電導值g增加；反之，當突觸前神經元的峰電位滯后于突觸后神經元，則二者之間的突觸強度g減小，電導值減小。根據STDP函數，每一對突觸前后神經元的放電時刻差所引起的電導值的改變量為g(Δt)，那么經過這一放電時間對后突觸電導的值為g=g+g(Δt)[12]。
自組織和自適應是生物神經系統的一個基本現象，是生物體實現自我能力修復、維持生命體征的最重要的途徑。為了調節各種適應性反應，神經系統的回路都是可變、可修飾或稱為可塑的。學習和記憶作為腦的基本功能，是人和動物改變自身的行為、適應不斷變化的外界環境的途徑和方法，換句話說，學習和記憶也是生物自適應的一種外在表現和實現方式。近年來，神經形態學和神經生理學的相關研究逐步證實突觸的可塑性是學習記憶的神經基礎，即學習和記憶的過程就是神經網絡的突觸可塑性機制來實現的。由此可以看出，神經系統的自適應現象與突觸可塑性密切相關[13-15]。
自適應現象雖然是一種整體行為，但是其遵循的規則一般是局部性的，整個自適應過程是通過所有神經元之間的協作來完成的。一方面，突觸權重的調節，影響了整個神經網絡的拓撲結構。另一方面，競爭特性使各單元之間發生競爭，從而抑制其他神經元，選擇出最強的神經元，這一作用既可使資源充分利用，同時使系統達到穩定。圖 2給出了突觸可塑性與網絡的自適應特性之間的關系。突觸STDP機制既具備競爭特性，也能自動調節網絡的突觸權值，適合作為自組織神經網絡模型的局部規則。
圖2
STDP機制與自適應的關系
Figure2.
Relationship between STDP mechanism and adaptivity
1.2 基于STDP機制的自適應神經網絡模型的構建
1.2.1 神經元模型的選取
生物神經系統中，神經元之間的信息傳遞以神經沖動為載體，神經元通過傳遞神經沖動對外界環境中的刺激信息進行編碼，使得隱含在動作電位中的信息得以傳遞，這是神經系統信息傳遞與處理的關鍵。2004年Izhikevich[15]提出了二階Izhikevich神經元模型，該模型結合了IF神經元模型和H-H神經元模型的優點，能夠精確地模擬真實神經元的多種放電模式，生物合理性較好，計算簡單比較適合進行大規模的仿真。從后續的自適應神經網絡構建、抗擾能力研究等角度考慮，選取Izhikevich神經元模型作為自適應神經網絡模型的基本單元。Izhikevich神經元模型的數學方程為
| $ \begin{matrix} \frac{\text{d}v}{\text{d}t}=0.04{{v}^{2}}+5v+140-u+I \\ \frac{\text{d}u}{\text{d}t}=a\left(bv-u \right)\\若v\ge 30\text{mV, 則}v\leftarrow c; u\leftarrow u+d \\ \end{matrix}, $ |
其中v為神經元的膜電壓，u為恢復變量，反映了K+、Na+的活動，并給膜電壓v提供一個負反饋；I為突觸電流或者外部輸入電流。參數a、b、c、d是無量綱參數，a為電壓恢復變量的時間尺度，a的值越小，表明恢復的越慢；b為電壓恢復變量u對v低于閾值時隨機波動的敏感程度；c為神經元放電后v的復位值；d為神經元放電后u的復位值。調節參數a、b、c、d的值，Izhikevich神經元模型能夠模擬神經元的多種放電狀態。本文構建的神經網絡模型中均采用興奮性Izhikevich神經元，如圖 3所示，神經元模型中參數a=0.02；b=0.2；c=-65；d=8；I=30 mA[16]。
圖3
興奮性Izhikevich神經元放電圖
Figure3.
Firing patterns of Izhikevich excitable neuron
1.2.2 自適應前饋神經網絡模型構建
生理學資料顯示，真實的大腦神經網絡是由約1×1011個相互連接的神經元形成的復雜網絡，每個神經元通過數以千計的突觸與周圍其他神經元互連。復雜的大腦神經網絡以單個神經元為基本單元對信息進行加工處理、存儲，最終實現神經系統的自適應調控功能。從20世紀40年代至今，研究者們通過各種不同的人工神經元網絡(artificial neural network，ANN)來模擬大腦神經網絡的結構與功能，并將其應用在不同的領域。
由于網絡中神經元數目多，在不影響仿真結果、保持神經網絡基本結構(輸入、輸出、中間層)并簡化仿真過程和后續的硬件電路實現的條件下，本文以興奮性Izhikevich神經元為節點，以STDP機制調節的突觸為橋梁，構建了四層的全連接自適應前饋神經網絡模型。其中第一層為輸入層(X層)，由頻率相同的泊松輸入序列組成；第二層(A層)和第三層為中間層(B層)，均由相同數目的Izhikevich神經元構成；第四層為輸出層(C層)，由1個興奮性Izhikevich神經元組成。各層神經元之間突觸權重的變化我們通過突觸電導值的變化來體現。所構建的神經網絡模型的數學方程為
| $ \begin{matrix} \frac{\text{d}{{v}_{i}}}{\text{d}{{t}_{i}}}=0.04v_{i}^{2}+5{{v}_{i}}+140-{{u}_{i}}+I+{{I}_{syn}} \\ \frac{\text{d}{{u}_{i}}}{\text{d}{{t}_{i}}}=a\left(b{{v}_{i}}-{{u}_{i}} \right)\\若{{v}_{i}}\ge 30\text{mV, 則}{{v}_{i}}\leftarrow c; {{u}_{i}}\leftarrow {{u}_{i}}+d \\ \end{matrix}, $ |
其中，表示神經元接收到的前一層神經元的輸入總和；g為突觸電導值。本文中限定所有興奮性的突觸電導g的范圍為[0，0.015]。
2 結果與分析
2.1 網絡輸入對輸出的影響
對于所構建的自適應前饋神經網絡模型，我們首先研究了輸入層泊松序列的頻率和數目對輸出層頻率的影響，仿真結果表明，隨著泊松輸入序列頻率的增大，網絡輸出的頻率隨之增大；而隨著泊松輸入序列數目的增加，輸出層的頻率隨之減小。這是因為相同數目的輸入，頻率越大，同等長度的仿真時段內，突觸前放電時刻越多，對突觸后神經元的作用也越大，導致突觸后神經元放電次數增多，頻率增大。因此，在構建的神經網絡模型中，輸入層選擇了30個頻率為40 Hz的泊松輸入。
2.2 網絡模型的抗擾仿真
生物體的大腦神經網絡在受到外界電磁干擾刺激或病變時，可能導致網絡中某些連接或者某些神經元損傷，如果該損傷在生物體自身可承受的損傷程度范圍或者可調控范圍內，生物體就會通過自身的自適應調節，根據突觸可塑性改變一些神經連接，維持大腦神經網絡的正常調控功能，這也體現了生物體神經系統的自適應抗擾特性。類比于電子系統在電磁干擾下，某些功能模塊或器件被損壞，我們通過損傷某些突觸連接或神經元來模擬生物神經網絡可能受到的損傷或破壞，進而電子系統的電磁仿生防護提供生理機制支撐。
2.2.1 中間層突觸連接損傷的仿真實驗
當外界環境改變或生物體受到一定電磁刺激時，神經系統中一些神經元之間的突觸連接可能受損，或者一些神經元之間的連接強度發生改變。本文假設所構建的網絡模型中間層A層的某些神經元與中間層B層的某些神經元之間一些突觸連接受損，通過隨機去除A、B層之間的某些神經元之間的突觸連接來模擬上述可能的損傷，依次增加損傷的突觸連接數目，觀察損傷前后網絡輸出頻率的變化，結果如圖 4中“—▲—”所示。從圖中可以看出，隨著損傷的突觸連接數目的增加，網絡的輸出頻率略微增大。當損傷的突觸連接占該層所有突觸連接總數的比例小于等于30%時，網絡輸出頻率的波動幅度均小于3.5%，即一定損傷程度時，網絡的輸出相對比較穩定。
圖4
STDP調節權重時，網絡輸出頻率隨損傷數目增加的變化曲線
Figure4.
Curves of network output frequency with the increasing number of damages based on STDP mechanism
2.2.2 中間層神經元損傷仿真實驗
復雜的外界環境中，大腦神經網絡不斷地接受各種不同程度的隨機干擾，有些干擾或刺激宏觀上沒有影響機體的正常功能，但是在神經元層面已經產生異常。基于此，我們在損傷神經元間突觸連接的仿真實驗基礎上，繼續加大對網絡模型的損傷程度。假設網絡的第一個中間層(A層)中若干神經元被損傷，通過隨機選取并去除A層的若干神經元來模擬真實神經網絡可能的損傷，然后依次增加損傷神經元的數目，觀察損傷前后網絡輸出頻率的變化，進而分析網絡的抗擾能力。
當網絡中神經元之間的權重均由STDP機制調控時，網絡的輸出頻率隨A層神經元損傷數目增加的變化曲線如圖 4中“—■—”所示。可以看出，當損傷神經元的數目小于等于A層神經元總數目的10.0%時，輸出頻率的波動幅度小于3.2%；當損傷神經元數目小于等于A層神經元總數目的26.7%時，輸出頻率的波動幅度小于6.1%；損傷神經元比例大于30.0%時，輸出頻率的波動幅度大于10%。由此可以推斷，當網絡中損傷神經元的比例小于一定值時，網絡的輸出頻率小于預先設定的10%，網絡是穩定的，即所構建的前饋神經網絡模型具有一定程度的抗擾能力。
另外，如圖 4中兩條曲線和表 1所示，發現損傷神經元間突觸連接的仿真實驗的損傷程度比損傷某些神經元的損傷程度要小很多，所以損傷突觸連接的網絡輸出的波動幅度比損傷神經元的網絡輸出的波動幅度小。但是，二者均說明了所構建的基于STDP機制的全連接前饋神經網絡能夠承受一定程度的損傷，即該網絡模型具有一定程度的抗擾能力。
表1
突觸連接受損和神經元受損時網絡輸出波動的對比
Table1.
Network output contrast between impaired synaptic connections and neuron damage
2.2.3 網絡抗擾能力的驗證
通過以上仿真實驗，我們得出了STDP機制調節的全連接前饋神經網絡具有一定程度抗擾能力的結論。為了驗證這種抗擾能力是突觸權重在STDP機制調節下的結果，我們將相同網絡結構和初始條件下，具有STDP機制和兩種不具備STDP機制的網絡的抗擾能力進行了對比，這兩種不具備STDP機制的網絡分別為隨機突觸權重網絡和固定突觸權重網絡。
圖 5中，“—■—”表示STDP機制調節網絡中突觸權重，網絡輸出頻率隨A層被損傷神經元數目改變時的變化曲線；“—▲—”和“—●—”分別表示網絡中突觸電導值為[0, 0.015]之間的隨機數和固定值0.007 5時，網絡輸出頻率隨A層損傷神經元數目增加的變化曲線。后兩種情況下，網絡不具備STDP調節機制。
圖5
網絡輸出頻率隨A層被損傷神經元數目變化的曲線
Figure5.
Curves of network output frequency with the increasing number of damaged neurons in A layer
從圖 5和表 2可以看出，A層一些神經元被損傷后，不具備STDP調節機制的網絡輸出明顯比具備STDP機制的網絡輸出的變化大。當A層損傷神經元比例小于30.0%時，具備STDP機制的網絡輸出頻率變化幅度小于10.0%，權重為固定值和權重為隨機數的網絡輸出頻率變化均大于20%。這是因為網絡中A層的一些神經元被損傷時，第二層中間層(B層)中的神經元接收的輸入數目減少，此時具有隨機權重的網絡、固定權重的網絡不能根據結構的改變做出適當的調整；而具備STDP機制的網絡則能夠根據網絡結構的改變通過STDP調控機制自動調整突觸權重值的分布，從而動態補償了由于連接減少對突觸后神經元的影響，進而增加了突觸后神經元的放電可能性，穩定其放電頻率[17-18]。
表2
A層中間層神經元受損時三種網絡輸出波動的對比
Table2.
Network output contrast between the three networks with damaged neuron in A layer
另外，采取同圖 5相同的方法，我們進一步將所構建的網絡去除了B層的某些神經元，并將具備STDP機制和不具備STDP機制的網絡進行了對比分析，結果如圖 6所示。
圖6
網絡輸出頻率隨B層被損傷神經元數目變化的曲線
Figure6.
Curves of output frequency with the increasing number of damaged neurons in B layer
圖 6所示為網絡輸出頻率隨B層被損傷神經元數目改變時的變化曲線。當B層損傷神經元數目占該層神經元總數目的36.7%(即去除11個神經元)時，隨機權重網絡和固定權重網絡輸出層的頻率變化幅度大于29.4%，而STDP機制調控網絡輸出層的頻率變化幅度小于17.6%。表 3所示為相同損傷比例下三種權重網絡輸出波動的對比，可以看出對于B層相同的結構改變，STDP機制調控的網絡輸出頻率變化幅度比不具備STDP機制的網絡要小，此結論與去除A層神經元得到的結論一致。另外，對比圖 5和圖 6可以看出，基于STDP機制的神經網絡在A層神經元被去除時的抗擾能力比B層神經元被去除時的抗擾能力要強。這可能是由于距離輸出層C，A層比B層多了一層突觸調控，從而使傳遞到輸出層的損傷程度減少。
表3
B層神經元受損時三種網絡輸出波動的對比
Table3.
Network output contrast between three networks with damaged neuron in B layer
綜上所述，對于具備STDP機制和不具備STDP機制的網絡的中間層(A層、B層)進行相同的結構改變，具備STDP機制的神經網絡的抗擾能力比不具備STDP機制的網絡的抗擾能力要好。這是因為具有STDP機制調控的網絡，在網絡拓撲結構發生改變后，能夠自適應的調整突觸電導值的分布，使其呈現穩定的兩端分布的狀態，進而改變神經元與神經元之間的突觸連接強度，使得網絡輸出在一定程度上穩定。這也證實了網絡的自適應抗擾能力與STDP機制的調控密切相關。
3 討論和結論
本文揭示了突觸STDP機制與自適應特性的關系，構建了基于STDP機制的四層自適應前饋神經網絡模型。針對所構建的網絡模型，我們首先分析了網絡的輸入頻率、數目對網絡輸出的影響；然后進行了模擬突觸連接損傷的實驗和模擬神經元損傷的實驗；最后進行了有無STDP機制調控的網絡抗擾能力的對比分析，得到如下結論：①隨著輸入層中泊松輸入序列頻率的增加，網絡的輸出頻率增加；隨著泊松輸入序列數目的增加，網絡的輸出頻率減小；②在模擬突觸連接損傷的仿真實驗中，當損傷的突觸連接數目比例小于36.7%時，網絡輸出頻率的波動小于10%，即所構建的網絡模型在一定損傷下是穩定的，具有一定程度的抗擾能力；③在模擬神經元損傷的仿真實驗中，當損傷神經元的數目與該層神經元總數的比例小于30%時，網絡輸出頻率的波動小于10%，即所構建的自適應網絡模型在一定損傷程度下是穩定的，具有一定程度的抗擾能力；④比較中間層A、B層的損傷神經元仿真結果，損傷神經元距離輸出層越遠，網絡的輸出頻率波動越小，即網絡的穩定性越好；⑤具有STDP機制的網絡和不具有STDP機制的網絡進行相同程度的損傷神經元實驗，結果表明具有STDP機制的網絡的抗擾能力明顯優于不具有STDP機制的網絡，從而驗證了所構建的神經網絡表現出的抗擾能力是STDP機制調控的結果。
本文進行的STDP機制與生物自適應特性的關系研究，以及基于突觸STDP機制的自適應神經網絡模型的構建及抗擾能力仿真分析，為模擬生物神經系統信息處理機制的神經元及突觸的單元電路[19]的研究工作奠定仿真基礎，為構建包含神經元和突觸的自適應抗擾集成電路提供依據，進而為將生物神經系統抗擾機制運用到電子系統的電磁仿生防護領域的研究提供了新思路、新方法。
引言
近年來，各種基礎學科的發展和理論突破以及多種交叉學科的誕生，人們意識到經過幾十億年進化而來的生物系統是新技術創新的知識寶庫。1960年誕生的仿生學，是基于生物學科和工程技術學科發展起來的一門新興學科，通過研究生物系統的結構、特質、功能、能量轉換、信息控制等各種優異的特征，把它們應用到技術系統，改善已有的技術工程設備，并創造出新的工藝過程、建筑構型、自動化裝置等技術系統的綜合性科學。例如，人們根據蒼蠅的復眼包含4 000個可獨立成像的單眼，能看清幾乎360°范圍內的物體，制成了由1 329塊小透鏡組成的一次可拍1 329張高分辨率照片的蠅眼照相機，在軍事、醫學、航空、航天上被廣泛應用。諸如此類，從蝙蝠的回聲定位原理到雷達、從青蛙到電子蛙眼等實例，無不驗證了仿生學科的重要性以及廣闊的應用前景。
功能電路由多個基本電路單元或器件按照特定的拓撲結構連接而成。若將電路輸入和輸出分別映射為神經網絡的輸入和輸出，基本電路單元映射為神經元，電路連接映射為突觸權值連接，電路拓撲映射為神經網絡拓撲，則電子電路與神經網絡具有較好的對等映射關系[1]如圖 1所示。而蜥蜴斷尾求生、蝙蝠的回聲抗擾捕食，人體經受靜電刺激而未受損傷等諸多現象，說明了生物在復雜電磁環境下具有一定的可靠性、抗擾性、自適應和自修復的優勢。因此，基于電磁環境下生物系統表現出的各種優勢以及電子系統和生物系統的相似性，2009年劉尚合等[2]基于仿生學、生理學、工程學等多學科交叉提出了電磁仿生學的概念。電磁仿生是通過研究生物系統運行機制建立仿生模型，采用新的思路、方法和技術深入進行電磁干擾、防護等方面的理論研究，對傳統的抗擾方式進行強化、完善，從而構造出適用于復雜多變的電磁環境的、具有冗余機制和自修復功能的電路拓撲，尋找能夠自適應、自學習的控制方法以及設計自診斷、自免疫檢測系統。
圖1
電子電路與神經網絡的對等映射
Figure1.
Mapping between the electronic circuit and the neural networks
類比生物的自適應抗擾特性，本文通過研究生物體神經系統中神經元之間的信息傳遞的機制，揭示了脈沖時間依賴突觸可塑性(spike timing-dependent plasticity, STDP)機制與神經網絡自適應特性密切相關；然后基于STDP機制及其數學模型[3-5]，構建基于STDP機制的自適應神經網絡模型，進而通過模擬外界干擾造成的損傷，對網絡模型進行了自適應抗擾能力的相關仿真分析。
1 原理和方法
1.1 STDP機制與自適應特性
生物神經網絡中，突觸是神經元之間相互聯系的結構基礎，對神經元間的信息傳遞及處理起著關鍵性的作用。而突觸的連接強度是會隨著突觸前后神經元的活動而變化的，其變化的量與兩個神經元的活性之和成正比，這就是著名的Hebb假說[6]。生理學上有關長時程增強(long-term potentiation，LTP)和長時程抑制(long-term depression，LTD)的實驗研究也證實了Hebb規則關于突觸權值的變化與突觸前后神經元的電活動有關的理論[7-9]。通過生理實驗發現的STDP機制是Hebb規則的一種延伸，通過突觸前后神經元的放電時刻差來調節神經元之間的突觸權重，并導致不同突觸前神經元對同一突觸后神經元放電時刻控制權的競爭。STDP機制本身具備的這種競爭性能夠調控整個神經網絡的權重分布，使得與同一個突觸后神經元連接的一些突觸權重增大，其余突觸權重減小，使其達到一種穩定的分布狀態，從而使整個網絡達到穩定狀態。
突觸電導值可以用來表征突觸傳遞信息的能力大小，也是突觸權重變化的直接表征量。在STDP機制的調控下，突觸電導值的分布最終會趨于一種穩定的兩端分布[10-11]。本文中突觸電導值的修正規則服從如下數學描述：
| $ g\left(\Delta t \right)\left\{ \begin{align} & {{A}_{+}}\exp \left(\Delta t/{{\tau }_{+}} \right)\ \ \ \ \ \ if\Delta t < 0 \\ &-{{A}_{-}}\exp \left(\Delta t/{{\tau }_{-}} \right)\ \ \ \ \ if\Delta t\ge 0 \\ \end{align} \right., $ |
其中g(Δt)為突觸電導值的改變量，Δt為突觸前后神經元放電時刻間隔，參數τ+和τ-分別為突觸增強和減弱時突觸前后神經元放電時間間隔的范圍，A+和A-分別是突觸權值改變的最大值和最小值。本文中設定突觸增強時的電導值的修正百分比不超過10%，設定A-／A+=1.05；τ+=τ-=20 ms。上述方程提供了生理實驗中由突觸前后時刻差引起的突觸修正的合理估計。
對于一個突觸來說，當突觸前神經元的峰電位先于突觸后神經元產生，則二者之間的突觸連接強度增大，即電導值g增加；反之，當突觸前神經元的峰電位滯后于突觸后神經元，則二者之間的突觸強度g減小，電導值減小。根據STDP函數，每一對突觸前后神經元的放電時刻差所引起的電導值的改變量為g(Δt)，那么經過這一放電時間對后突觸電導的值為g=g+g(Δt)[12]。
自組織和自適應是生物神經系統的一個基本現象，是生物體實現自我能力修復、維持生命體征的最重要的途徑。為了調節各種適應性反應，神經系統的回路都是可變、可修飾或稱為可塑的。學習和記憶作為腦的基本功能，是人和動物改變自身的行為、適應不斷變化的外界環境的途徑和方法，換句話說，學習和記憶也是生物自適應的一種外在表現和實現方式。近年來，神經形態學和神經生理學的相關研究逐步證實突觸的可塑性是學習記憶的神經基礎，即學習和記憶的過程就是神經網絡的突觸可塑性機制來實現的。由此可以看出，神經系統的自適應現象與突觸可塑性密切相關[13-15]。
自適應現象雖然是一種整體行為，但是其遵循的規則一般是局部性的，整個自適應過程是通過所有神經元之間的協作來完成的。一方面，突觸權重的調節，影響了整個神經網絡的拓撲結構。另一方面，競爭特性使各單元之間發生競爭，從而抑制其他神經元，選擇出最強的神經元，這一作用既可使資源充分利用，同時使系統達到穩定。圖 2給出了突觸可塑性與網絡的自適應特性之間的關系。突觸STDP機制既具備競爭特性，也能自動調節網絡的突觸權值，適合作為自組織神經網絡模型的局部規則。
圖2
STDP機制與自適應的關系
Figure2.
Relationship between STDP mechanism and adaptivity
1.2 基于STDP機制的自適應神經網絡模型的構建
1.2.1 神經元模型的選取
生物神經系統中，神經元之間的信息傳遞以神經沖動為載體，神經元通過傳遞神經沖動對外界環境中的刺激信息進行編碼，使得隱含在動作電位中的信息得以傳遞，這是神經系統信息傳遞與處理的關鍵。2004年Izhikevich[15]提出了二階Izhikevich神經元模型，該模型結合了IF神經元模型和H-H神經元模型的優點，能夠精確地模擬真實神經元的多種放電模式，生物合理性較好，計算簡單比較適合進行大規模的仿真。從后續的自適應神經網絡構建、抗擾能力研究等角度考慮，選取Izhikevich神經元模型作為自適應神經網絡模型的基本單元。Izhikevich神經元模型的數學方程為
| $ \begin{matrix} \frac{\text{d}v}{\text{d}t}=0.04{{v}^{2}}+5v+140-u+I \\ \frac{\text{d}u}{\text{d}t}=a\left(bv-u \right)\\若v\ge 30\text{mV, 則}v\leftarrow c; u\leftarrow u+d \\ \end{matrix}, $ |
其中v為神經元的膜電壓，u為恢復變量，反映了K+、Na+的活動，并給膜電壓v提供一個負反饋；I為突觸電流或者外部輸入電流。參數a、b、c、d是無量綱參數，a為電壓恢復變量的時間尺度，a的值越小，表明恢復的越慢；b為電壓恢復變量u對v低于閾值時隨機波動的敏感程度；c為神經元放電后v的復位值；d為神經元放電后u的復位值。調節參數a、b、c、d的值，Izhikevich神經元模型能夠模擬神經元的多種放電狀態。本文構建的神經網絡模型中均采用興奮性Izhikevich神經元，如圖 3所示，神經元模型中參數a=0.02；b=0.2；c=-65；d=8；I=30 mA[16]。
圖3
興奮性Izhikevich神經元放電圖
Figure3.
Firing patterns of Izhikevich excitable neuron
1.2.2 自適應前饋神經網絡模型構建
生理學資料顯示，真實的大腦神經網絡是由約1×1011個相互連接的神經元形成的復雜網絡，每個神經元通過數以千計的突觸與周圍其他神經元互連。復雜的大腦神經網絡以單個神經元為基本單元對信息進行加工處理、存儲，最終實現神經系統的自適應調控功能。從20世紀40年代至今，研究者們通過各種不同的人工神經元網絡(artificial neural network，ANN)來模擬大腦神經網絡的結構與功能，并將其應用在不同的領域。
由于網絡中神經元數目多，在不影響仿真結果、保持神經網絡基本結構(輸入、輸出、中間層)并簡化仿真過程和后續的硬件電路實現的條件下，本文以興奮性Izhikevich神經元為節點，以STDP機制調節的突觸為橋梁，構建了四層的全連接自適應前饋神經網絡模型。其中第一層為輸入層(X層)，由頻率相同的泊松輸入序列組成；第二層(A層)和第三層為中間層(B層)，均由相同數目的Izhikevich神經元構成；第四層為輸出層(C層)，由1個興奮性Izhikevich神經元組成。各層神經元之間突觸權重的變化我們通過突觸電導值的變化來體現。所構建的神經網絡模型的數學方程為
| $ \begin{matrix} \frac{\text{d}{{v}_{i}}}{\text{d}{{t}_{i}}}=0.04v_{i}^{2}+5{{v}_{i}}+140-{{u}_{i}}+I+{{I}_{syn}} \\ \frac{\text{d}{{u}_{i}}}{\text{d}{{t}_{i}}}=a\left(b{{v}_{i}}-{{u}_{i}} \right)\\若{{v}_{i}}\ge 30\text{mV, 則}{{v}_{i}}\leftarrow c; {{u}_{i}}\leftarrow {{u}_{i}}+d \\ \end{matrix}, $ |
其中，表示神經元接收到的前一層神經元的輸入總和；g為突觸電導值。本文中限定所有興奮性的突觸電導g的范圍為[0，0.015]。
2 結果與分析
2.1 網絡輸入對輸出的影響
對于所構建的自適應前饋神經網絡模型，我們首先研究了輸入層泊松序列的頻率和數目對輸出層頻率的影響，仿真結果表明，隨著泊松輸入序列頻率的增大，網絡輸出的頻率隨之增大；而隨著泊松輸入序列數目的增加，輸出層的頻率隨之減小。這是因為相同數目的輸入，頻率越大，同等長度的仿真時段內，突觸前放電時刻越多，對突觸后神經元的作用也越大，導致突觸后神經元放電次數增多，頻率增大。因此，在構建的神經網絡模型中，輸入層選擇了30個頻率為40 Hz的泊松輸入。
2.2 網絡模型的抗擾仿真
生物體的大腦神經網絡在受到外界電磁干擾刺激或病變時，可能導致網絡中某些連接或者某些神經元損傷，如果該損傷在生物體自身可承受的損傷程度范圍或者可調控范圍內，生物體就會通過自身的自適應調節，根據突觸可塑性改變一些神經連接，維持大腦神經網絡的正常調控功能，這也體現了生物體神經系統的自適應抗擾特性。類比于電子系統在電磁干擾下，某些功能模塊或器件被損壞，我們通過損傷某些突觸連接或神經元來模擬生物神經網絡可能受到的損傷或破壞，進而電子系統的電磁仿生防護提供生理機制支撐。
2.2.1 中間層突觸連接損傷的仿真實驗
當外界環境改變或生物體受到一定電磁刺激時，神經系統中一些神經元之間的突觸連接可能受損，或者一些神經元之間的連接強度發生改變。本文假設所構建的網絡模型中間層A層的某些神經元與中間層B層的某些神經元之間一些突觸連接受損，通過隨機去除A、B層之間的某些神經元之間的突觸連接來模擬上述可能的損傷，依次增加損傷的突觸連接數目，觀察損傷前后網絡輸出頻率的變化，結果如圖 4中“—▲—”所示。從圖中可以看出，隨著損傷的突觸連接數目的增加，網絡的輸出頻率略微增大。當損傷的突觸連接占該層所有突觸連接總數的比例小于等于30%時，網絡輸出頻率的波動幅度均小于3.5%，即一定損傷程度時，網絡的輸出相對比較穩定。
圖4
STDP調節權重時，網絡輸出頻率隨損傷數目增加的變化曲線
Figure4.
Curves of network output frequency with the increasing number of damages based on STDP mechanism
2.2.2 中間層神經元損傷仿真實驗
復雜的外界環境中，大腦神經網絡不斷地接受各種不同程度的隨機干擾，有些干擾或刺激宏觀上沒有影響機體的正常功能，但是在神經元層面已經產生異常。基于此，我們在損傷神經元間突觸連接的仿真實驗基礎上，繼續加大對網絡模型的損傷程度。假設網絡的第一個中間層(A層)中若干神經元被損傷，通過隨機選取并去除A層的若干神經元來模擬真實神經網絡可能的損傷，然后依次增加損傷神經元的數目，觀察損傷前后網絡輸出頻率的變化，進而分析網絡的抗擾能力。
當網絡中神經元之間的權重均由STDP機制調控時，網絡的輸出頻率隨A層神經元損傷數目增加的變化曲線如圖 4中“—■—”所示。可以看出，當損傷神經元的數目小于等于A層神經元總數目的10.0%時，輸出頻率的波動幅度小于3.2%；當損傷神經元數目小于等于A層神經元總數目的26.7%時，輸出頻率的波動幅度小于6.1%；損傷神經元比例大于30.0%時，輸出頻率的波動幅度大于10%。由此可以推斷，當網絡中損傷神經元的比例小于一定值時，網絡的輸出頻率小于預先設定的10%，網絡是穩定的，即所構建的前饋神經網絡模型具有一定程度的抗擾能力。
另外，如圖 4中兩條曲線和表 1所示，發現損傷神經元間突觸連接的仿真實驗的損傷程度比損傷某些神經元的損傷程度要小很多，所以損傷突觸連接的網絡輸出的波動幅度比損傷神經元的網絡輸出的波動幅度小。但是，二者均說明了所構建的基于STDP機制的全連接前饋神經網絡能夠承受一定程度的損傷，即該網絡模型具有一定程度的抗擾能力。
表1
突觸連接受損和神經元受損時網絡輸出波動的對比
Table1.
Network output contrast between impaired synaptic connections and neuron damage
2.2.3 網絡抗擾能力的驗證
通過以上仿真實驗，我們得出了STDP機制調節的全連接前饋神經網絡具有一定程度抗擾能力的結論。為了驗證這種抗擾能力是突觸權重在STDP機制調節下的結果，我們將相同網絡結構和初始條件下，具有STDP機制和兩種不具備STDP機制的網絡的抗擾能力進行了對比，這兩種不具備STDP機制的網絡分別為隨機突觸權重網絡和固定突觸權重網絡。
圖 5中，“—■—”表示STDP機制調節網絡中突觸權重，網絡輸出頻率隨A層被損傷神經元數目改變時的變化曲線；“—▲—”和“—●—”分別表示網絡中突觸電導值為[0, 0.015]之間的隨機數和固定值0.007 5時，網絡輸出頻率隨A層損傷神經元數目增加的變化曲線。后兩種情況下，網絡不具備STDP調節機制。
圖5
網絡輸出頻率隨A層被損傷神經元數目變化的曲線
Figure5.
Curves of network output frequency with the increasing number of damaged neurons in A layer
從圖 5和表 2可以看出，A層一些神經元被損傷后，不具備STDP調節機制的網絡輸出明顯比具備STDP機制的網絡輸出的變化大。當A層損傷神經元比例小于30.0%時，具備STDP機制的網絡輸出頻率變化幅度小于10.0%，權重為固定值和權重為隨機數的網絡輸出頻率變化均大于20%。這是因為網絡中A層的一些神經元被損傷時，第二層中間層(B層)中的神經元接收的輸入數目減少，此時具有隨機權重的網絡、固定權重的網絡不能根據結構的改變做出適當的調整；而具備STDP機制的網絡則能夠根據網絡結構的改變通過STDP調控機制自動調整突觸權重值的分布，從而動態補償了由于連接減少對突觸后神經元的影響，進而增加了突觸后神經元的放電可能性，穩定其放電頻率[17-18]。
表2
A層中間層神經元受損時三種網絡輸出波動的對比
Table2.
Network output contrast between the three networks with damaged neuron in A layer
另外，采取同圖 5相同的方法，我們進一步將所構建的網絡去除了B層的某些神經元，并將具備STDP機制和不具備STDP機制的網絡進行了對比分析，結果如圖 6所示。
圖6
網絡輸出頻率隨B層被損傷神經元數目變化的曲線
Figure6.
Curves of output frequency with the increasing number of damaged neurons in B layer
圖 6所示為網絡輸出頻率隨B層被損傷神經元數目改變時的變化曲線。當B層損傷神經元數目占該層神經元總數目的36.7%(即去除11個神經元)時，隨機權重網絡和固定權重網絡輸出層的頻率變化幅度大于29.4%，而STDP機制調控網絡輸出層的頻率變化幅度小于17.6%。表 3所示為相同損傷比例下三種權重網絡輸出波動的對比，可以看出對于B層相同的結構改變，STDP機制調控的網絡輸出頻率變化幅度比不具備STDP機制的網絡要小，此結論與去除A層神經元得到的結論一致。另外，對比圖 5和圖 6可以看出，基于STDP機制的神經網絡在A層神經元被去除時的抗擾能力比B層神經元被去除時的抗擾能力要強。這可能是由于距離輸出層C，A層比B層多了一層突觸調控，從而使傳遞到輸出層的損傷程度減少。
表3
B層神經元受損時三種網絡輸出波動的對比
Table3.
Network output contrast between three networks with damaged neuron in B layer
綜上所述，對于具備STDP機制和不具備STDP機制的網絡的中間層(A層、B層)進行相同的結構改變，具備STDP機制的神經網絡的抗擾能力比不具備STDP機制的網絡的抗擾能力要好。這是因為具有STDP機制調控的網絡，在網絡拓撲結構發生改變后，能夠自適應的調整突觸電導值的分布，使其呈現穩定的兩端分布的狀態，進而改變神經元與神經元之間的突觸連接強度，使得網絡輸出在一定程度上穩定。這也證實了網絡的自適應抗擾能力與STDP機制的調控密切相關。
3 討論和結論
本文揭示了突觸STDP機制與自適應特性的關系，構建了基于STDP機制的四層自適應前饋神經網絡模型。針對所構建的網絡模型，我們首先分析了網絡的輸入頻率、數目對網絡輸出的影響；然后進行了模擬突觸連接損傷的實驗和模擬神經元損傷的實驗；最后進行了有無STDP機制調控的網絡抗擾能力的對比分析，得到如下結論：①隨著輸入層中泊松輸入序列頻率的增加，網絡的輸出頻率增加；隨著泊松輸入序列數目的增加，網絡的輸出頻率減小；②在模擬突觸連接損傷的仿真實驗中，當損傷的突觸連接數目比例小于36.7%時，網絡輸出頻率的波動小于10%，即所構建的網絡模型在一定損傷下是穩定的，具有一定程度的抗擾能力；③在模擬神經元損傷的仿真實驗中，當損傷神經元的數目與該層神經元總數的比例小于30%時，網絡輸出頻率的波動小于10%，即所構建的自適應網絡模型在一定損傷程度下是穩定的，具有一定程度的抗擾能力；④比較中間層A、B層的損傷神經元仿真結果，損傷神經元距離輸出層越遠，網絡的輸出頻率波動越小，即網絡的穩定性越好；⑤具有STDP機制的網絡和不具有STDP機制的網絡進行相同程度的損傷神經元實驗，結果表明具有STDP機制的網絡的抗擾能力明顯優于不具有STDP機制的網絡，從而驗證了所構建的神經網絡表現出的抗擾能力是STDP機制調控的結果。
本文進行的STDP機制與生物自適應特性的關系研究，以及基于突觸STDP機制的自適應神經網絡模型的構建及抗擾能力仿真分析，為模擬生物神經系統信息處理機制的神經元及突觸的單元電路[19]的研究工作奠定仿真基礎，為構建包含神經元和突觸的自適應抗擾集成電路提供依據，進而為將生物神經系統抗擾機制運用到電子系統的電磁仿生防護領域的研究提供了新思路、新方法。
