生物神經網絡具有小世界屬性和無標度屬性的雙重特性，目前神經網絡的研究大多基于小世界網絡或聚類系數較低的無標度網絡，而真實腦網絡為具有小世界屬性的無標度網絡。為此本文構建了一個聚類系數較高的具有小世界屬性的無標度脈沖神經網絡，并從突觸調節過程、放電特性和復雜網絡特性三個方面分析了網絡的動態演化過程。實驗結果表明，隨著時間的進行，突觸強度逐漸減小并趨于穩定，導致網絡的連接強度減弱并趨于穩定；神經元的放電率逐漸減小并趨于穩定，同步性逐漸變差；網絡局部信息傳輸效率穩定，全局信息傳輸效率降低并趨于穩定，小世界屬性比較穩定。無標度神經網絡的動態特性隨時間變化且相互影響，突觸的調節是基于神經元放電時刻的，突觸的調節會影響神經元放電情況和網絡的復雜特性。本文構建了具有生物真實性的無標度脈沖神經網絡，為人工神經網絡的研究及其工程應用奠定了基礎。
引用本文： 郭磊, 呂歡, 黃鳳榮, 石洪溢. 基于突觸可塑性的無標度脈沖神經網絡的動態特性研究. 生物醫學工程學雜志, 2019, 36(6): 902-910. doi: 10.7507/1001-5515.201807027 復制
引言
人工神經網絡從信息處理的角度模擬了人腦的結構及其功能，人腦自組織、自適應、自學習的特點在信息、經濟、醫學、控制等領域有重要應用，對推動人工智能的發展有重要意義。無標度網絡的度分布服從冪律分布[1]，即只有少數節點度較高，大多數節點的度相對較低。大量研究表明腦網絡具有高聚類系數和低路徑長度的小世界屬性，而且度分布服從冪律分布，即腦網絡是一種具有小世界屬性的無標度網絡[2-3]，因此構建一個具有高聚類系數的無標度神經網絡對神經網絡的研究尤為重要。突觸可塑性是大腦學習和記憶的基礎[4-6]。陳云芝等[7]基于脈沖時間依賴可塑性（spike timing-dependent plasticity，STDP）機制構建了前饋神經網絡，該模型具有較好的抗擾能力，且這種特性與 STDP 機制密切相關。王蕾等[8]將脈沖神經網絡的高效處理能力與自組織映射神經網絡相結合，構造了一種基于 STDP 規則的自組織映射（self-organization map，SOM）脈沖神經網絡模型。興奮性突觸可塑性根據 STDP 規則動態調控，這些研究大多是基于興奮性突觸可塑性，然而抑制性突觸可塑性在神經網絡的動態調控中同樣具有重要作用[9]。本研究采用的是興奮性與抑制性突觸共存的更為完備的突觸可塑性調節機制。目前，人工神經網絡的模型、算法越來越豐富，在工程領域的應用也越來越廣泛。Kim 等[10]通過改變噪聲強度來研究小世界神經網絡中 STDP 對隨機脈沖同步的影響，發現在突觸可塑性中存在“Matthew”效應是因為有正反饋，原來同步性較好的通過突觸強度的長期增強可以變得更好，而原來同步性較差的則因長期的抑制而變得更差。楊剛等[11]提出以小世界網絡連接模式進行初始稀疏化的連接自組織發育稀疏跨越–側抑制神經網絡設計方法實現網絡智力的自組織發育，證明了在同等連接復雜度的情況下，稀疏連接的跨越–側抑制神經網絡具有更好的泛化能力。Baysal 等[12]基于無標度神經元網絡，研究了神經元軸突或胞體與自身樹突形成的一種突觸對弱信號傳遞的影響。弭元元等[13]提出了一個具有無標度拓撲結構的神經網絡模型，很好地再現了實驗中觀察到的長時程周期性同步發放現象，證明神經系統能通過局部網絡動力學分布式地處理時序信息。這些研究大多基于小世界網絡或者聚類系數較低的無標度網絡，而真實的腦網絡為聚類系數較高的具有小世界屬性的無標度網絡。本文基于 Izhikevich 神經元模型與興奮性突觸和抑制性突觸共存的突觸可塑性模型，構建了聚類系數較高的具有小世界屬性的無標度脈沖神經網絡，在突觸模型與拓撲結構方面能夠較全面地呈現腦網絡的屬性，網絡具有生物真實性。
1 無標度脈沖神經網絡的構建
神經網絡的三個基本要素是拓撲結構、神經元模型和突觸調節機制。網絡的拓撲結構決定了神經元之間的連接，神經元模型是神經網絡的基本單元，而突觸調節機制則是神經元間信息傳遞的基礎。
1.1 無標度網絡的生成及分析
1.1.1 無標度網絡的生成
本文采用高聚類系數的無標度網絡模型生成 500 個節點的網絡拓撲，模型演化機制如下[14]：
（1）初始網絡：網絡初始狀態含有 m0 個完全連接的節點，邊初始權值設置為 w0 = 1。
（2）加入新節點：按概率 p 在網絡中加入一個新的節點 v，其中 
。新增節點攜帶 m 條邊，并與網絡中已存在的節點按照權重優先選擇相連，即一個舊節點 i 被選擇的概率為：
 |
（3）加入新邊：按照概率 1 ? p，網絡不斷增加新的邊，僅增加 mt 條邊。新增邊的兩個端點按照三角機制選取。首先隨機選取網絡的一個邊 
，然后選取節點 j 的另外一個鄰節點（排除節點 i），設其為 k，選取節點 k 時按照如下概率進行，即按照邊的權值大小選取：
 |
如果節點 i 和節點 k 之間不存在連接，則建立新邊，如果存在連接，則權值增加 σ。兩種情況下，邊 wij 和 wjk 的權值均增加 σ。其中 σ = 1。
本文中，m0 = 4，m = 3，mt = 2。最后將生成的網絡轉化為無權網絡，即有連邊的邊權值設置為 1，沒有連邊的邊權值設置為 0，得到無標度網絡的拓撲結構。
1.1.2 復雜網絡特性分析
網絡是由節點和連線組成的，并具有一定的拓撲性質。復雜網絡的拓撲性質主要包括節點度、聚類系數、最短路徑長度、全局效率、小世界屬性等，針對本文的研究，對所構建的無標度拓撲從如下六個方面進行復雜網絡特性分析：
（1）節點度
度定義為與節點直接相連的邊數，節點的度越大，節點在網絡中的地位也就越重要，其數學表達式如下：
 |
兩個節點之間有連接則 hij 為 1，無連接則為 0。平均度為網絡中所有節點的度的平均值。
（2）聚類系數
聚類系數表示某一節點 i 的鄰節點之間也是鄰居的可能性，與節點實際連邊數 ei 和可能出現的最大連邊數
有關，其數學表達式如下：
 |
用平均聚類系數來表征網絡的聚集特性，其數學表達式如下：
 |
（3）最短路徑長度
最短路徑長度 dij 為兩個節點 i、j 之間邊數最少的一條通路經過的邊數。平均最短路徑長度為網絡中任意兩個節點之間距離的平均值，其數學表達式如下：
 |
（4）全局效率
一般對連通圖進行最短路徑長度的計算，對于不連通的網絡，最短路徑長度就會無窮大，因此有人提出了全局效率，其數學表達式如下：
 |
（5）小世界屬性
根據 Humphries 等提出的統一指標 σ 判定，σ > 1 的網絡具有小世界屬性，且 σ 越大網絡的小世界屬性越強[15]，其數學表達式如下：
 |
（6）無標度屬性
無標度網絡的度分布服從冪律分布，冪律指數的大小可以說明無標度中度大小的差異程度，且冪律指數越大，節點度的差異越明顯。冪律指數在 1～2 之間的為亞標度，在 2～3 之間的為無標度。
本文設置的節點個數為 500，通過調節加點概率 p，可以得到不同的無標度拓撲。本文將加點概率 p 在[0.1 1]范圍進行調節，步長為 0.1，不同拓撲下網絡的復雜網絡特性如表 1 所示。
表1
無標度網絡特性參數
Table1.
Characteristic parameters of scale-free network
從表 1 可以看出，隨著 p 的增大，網絡的平均度越來越小，平均聚類系數越來越小，平均最短路徑越來越大，全局效率越來越低，冪律指數越來越大，網絡的小世界屬性均遠遠大于 1，說明本文構建的網絡是具有小世界屬性的無標度網絡。
根據文獻中對人腦功能特性的研究結果，腦網絡無標度屬性的冪律指數在 2 左右[16]，因此本文選取 p = 0.3 的無標度拓撲進行下面的實驗研究。p = 0.3 時無標度網絡的拓撲和度分布圖如圖 1 所示，度分布圖中橫坐標為節點的度值，縱坐標為相應的度值出現的頻率。
圖1
網絡拓撲以及度分布圖
Figure1.
Network topology and degree distribution
1.2 Izhikevich 神經元模型
神經網絡構建的基本單元就是神經元，本文采用比較接近實際神經元放電特性、計算簡單且易于進行大規模仿真的 Izhikevich 神經元模型，其數學表達式如下：
 |
其中，v 表示神經元膜電位；u 表示膜電壓恢復變量，反映生物神經元中鉀離子通道電流的激活和鈉離子通道電流的失活，同時為膜電壓提供一個負反饋；I 表示外部輸入電流和經多個突觸傳導來的突觸電流的總和。a、b、c、d 是無量綱參數，通過調節模型中 a、b、c、d 四個參數，可以將神經元調節為興奮性神經元和抑制性神經元。本文采用典型的規則放電模式（regular spiking，RS）作為神經網絡中興奮性神經元的放電模式，采用低閾值放電模式（low-threshold spiking，LTS）作為抑制性神經元的放電模式，如圖 2 所示。其中 RS 模式的參數設置為：a = 0.02，b = 0.2，c = ? 65，d = 8；LTS 模式的參數設置為：a = 0.02，b = 0.25，c = ? 65，d = 2。
圖2
Izhikevich 神經元放電模式
Figure2.
The firing patterns of Izhikevich neuron
1.3 突觸可塑性調節機制
突觸是神經元之間信息傳遞的基礎，處理和儲存信息的能力是中樞神經系統最顯著的特性之一。本研究中采用興奮性突觸和抑制性突觸共同作用的完備的突觸可塑性調節機制。在突觸模型中，其突觸輸出電流與輸入電壓近似呈線性關系，可表示為：
 |
其中，Isyn 為突觸電流；gsyn 為突觸電導；
為突觸后神經元的膜電位；E 為反轉電位，本文設定興奮性反轉電位 Eex 為 0 mV，抑制性反轉電位 Ein 為 ? 70 mV。興奮性突觸和抑制性突觸都通過突觸電導的變化對神經元之間的信息傳遞效率進行調節，它們具有不同的調節規律，每種突觸都存在以下兩種不同的變化情況：
（1）當突觸后神經元 j 沒有接收到突觸前神經元 i 的動作電位時，興奮性突觸和抑制性突觸的權重會呈指數衰減，分別如下所示：
 |
 |
其中，τex 和 τin 分別為興奮性電導和抑制性電導的衰減常數，本文中設定 τex = τin = 5 ms。
（2）當突觸后神經元 j 接收到突觸前神經元 i 的動作電位時，興奮性突觸的權重 
和抑制性突觸的權重 
變化如下：
 |
 |
其中，
和 
分別為動作電位引起的興奮性電導增量和抑制性電導增量。興奮性突觸權重增量 
由 wij 進行調節，抑制性突觸權重增量 
由 mij 進行調節。本文中 gmax 設為 0.015，當突觸權重小于 0 時，則設置為 0，當突觸權重大于 gmax 時，規定突觸權重為 gmax。wij 和 mij 與突觸前神經元和突觸后神經元的脈沖放電有關，其數學表達式如下：
 |
 |
其中，Δt 為突觸前后神經元放電時刻間隔；τ+和 τ?為突觸增強和減弱時突觸前后神經元放電時刻間隔范圍，本文設定 τ+ = τ? = 20 ms；A+和 A-為興奮時突觸電導在增強和減弱時的最大修正值；B+和 B?為抑制時突觸電導在增強和減弱時的最大修正值。經查閱相關文獻，本文設定 A+ = 0.1,A? = 0.105，B+ = 0.02，B? = 0.03。
本文采用具有小世界屬性的無標度拓撲結構，以 Izhikevich 神經元模型為節點，基于興奮性突觸和抑制性突觸共存的更為完備的突觸可塑性機制，構建了 500 個節點的神經網絡，其中興奮性神經元與抑制性神經元的比例遵從神經解剖的實驗結果按 4∶1 分布[17]。
2 無標度神經網絡的動態特性分析
對無標度網絡的動態特性分析可以反映網絡的動態演化過程。突觸可塑性在神經網絡中起調節作用，因此本文從突觸動態調節入手，并對放電特性和網絡復雜特性進行分析來研究網絡動態特性。
2.1 突觸動態調節分析
突觸在神經網絡中起著重要的調節作用，突觸強度隨著時間不斷變化。為了觀察網絡演化過程中突觸強度的變化，采用 pajek 軟件對突觸權值按權重進行可視化，結果如圖 3 所示。灰度越高表示相應的突觸權重越大，灰度越低表示相應的突觸權重越小。
圖3
突觸權重灰度圖
Figure3.
Grayscale image of synaptic weight
從圖 3 可以看出，1～100 ms 期間顏色較深的較多，說明此時處于高權重的突觸較多，300～500 ms 期間顏色變淺，說明此時突觸強度減弱，700～900 ms 期間灰度差異不大，說明此時突觸強度變化較小，網絡突觸調節趨于穩定。結果表明突觸在不斷地調節，突觸耦合強度逐漸減小，700 ms 時突觸調節趨于穩定。
為了更準確地說明不同時刻的突觸強度變化，本文采用突觸權重總和代表突觸強度，對不同時刻的突觸強度以及各個時刻突觸強度相較于初始時刻的相對變化率進行了統計，結果如表 2 所示。
表2
不同時刻突觸強度
Table2.
Synaptic strength at different times
從表 2 中可以看出，隨著時間的進行，突觸強度逐漸減小。與初始時刻相比較，100～300 ms 期間相對變化率分別為 59.60%、77.91% 和 86.73%，波動非常大，說明此時突觸調節劇烈。在 700～1 000 ms 期間，相對變化率分別分布在 94.26%、94.53%、94.66% 和 94.81%，波動非常小，說明網絡在到達 700 ms 時基本穩定。
為了直觀地展示突觸強度的波動情況，本文計算了各個時刻的突觸強度相對于前一時刻的相對變化量，即該時刻與前一時刻的突觸強度差的絕對值，相對變化量越小，突觸調節越穩定，結果如表 3 所示。
表3
突觸強度相對變化量
Table3.
Relative changes of synaptic strength
從表 3 中可以看出，100～300 ms 期間相對變化量較大，說明此時突觸調節劇烈。400～600 ms 期間相對變化量較小，說明此時突觸調節逐漸趨于穩定。700～1 000 ms 期間相對變化量非常小，說明此時突觸調節基本穩定。
為了進一步說明突觸的調節過程，對突觸權重的分布和突觸均值隨時間變化進行了統計。圖 4a 為無標度神經網絡突觸權值的分布比重，定義權值 
的突觸為弱耦合突觸，
為強耦合突觸，其余為中等耦合突觸。從圖中可以看出，突觸耦合強度處于不斷調節的過程中，在 700 ms 左右趨于穩定。在調節過程中，中等耦合突觸的比重在 100 ms 內急速下降，之后緩慢下降直至平穩；弱耦合突觸的比重隨時間慢慢增長直至穩定；強耦合突觸在仿真開始劇增，之后緩慢下降直至穩定。穩定后，突觸強度集中在弱耦合和強耦合，分布出現兩極化。
圖4
突觸權值分布
a.突觸權重比重分布；b.突觸均值變化
Figure4. Distribution of synaptic weighta. distribution of synaptic weight ratio; b. changes of the mean value of synaptic weights
圖 4b 為突觸權值的均值隨時間的變化。從圖中可以看出，突觸權值的均值隨時間增長逐漸減小，在 700 ms 時趨于穩定，且均值比較小。圖 4a 也可以解釋這種現象，隨著時間的進行，弱耦合比重增大，強耦合和中等耦合比重減小，導致權值均值慢慢減小。穩定后弱耦合強度的突觸占 90% 左右，所以穩定后的突觸權值的均值較小。
2.2 放電特性分析
放電柵圖可以反映神經元放電同步狀況。無標度神經網絡的放電柵圖如圖 5 所示，橫坐標代表仿真時間，縱坐標代表神經元編號。從圖中可以看出，200 ms 內神經元放電時刻比較集中，放電同步性較好。200 ms 以后放電時刻分布比較分散，放電同步性變差。
圖5
無標度神經網絡放電柵圖
Figure5.
The firing spatiotemporal map of scale-free neural network
為了觀察神經元的放電情況，本文選取高等度、中等度和低等度節點進行放電序列分析，如圖 6 所示，實線表示神經元放電時刻的位置。從圖 6 可以看出，100 ms 內高等度節點的放電密集程度高于中等度節點，中等度節點的放電密集程度高于低等度節點。隨著時間的進行，在突觸可塑性的調節下，三種程度神經元的放電間隔均逐漸趨于穩定。
圖6
神經元放電序列圖
Figure6.
Firing sequence diagram of neurons
神經元的放電率反映了神經元在一段時間的放電快慢情況。本文分別計算了高等度節點、低等度節點與中等度節點的平均放電率，來反映不同程度節點的放電情況，結果如圖 7 所示。
圖7
放電率隨時間的變化
Figure7.
The change of firing rate with time
從圖 7 可以看出，高等度節點的放電率大于中等度節點和低等度的節點，中等度節點與低等度節點的放電率相差不大。隨著時間的進行，三種程度的神經元節點放電率均呈現逐漸減小并趨于穩定的趨勢。中等度節點和低等度節點的放電率穩定時間較早，高等度節點的放電率穩定時間較晚，在 700 ms 后三種程度節點放電率全部趨于穩定。
2.3 復雜網絡特性分析
對無標度神經網絡的復雜網絡特性的分析可以反映網絡的動態演化過程。本文通過計算網絡的平均度、聚類系數、平均最短路徑長度、全局效率、小世界屬性等復雜網絡特性隨時間的動態變化來研究網絡的動態演化過程。無標度脈沖神經網絡的復雜網絡特性隨仿真時間的變化如圖 8 所示。
圖8
無標度神經網絡的復雜網絡特性分析
Figure8.
Characteristic analysis of complex network of the scale-free neural network
2.3.1 平均度
平均度可以反映網絡的連接強度，平均度越大，網絡的連接強度越強。無標度神經網絡的平均度是所有節點之間突觸權值的平均值，變化如圖 8 所示。隨著時間的進行，無標度神經網絡的平均度急劇下降，600 ms 后，平均度變化比較小。實驗結果表明，在突觸可塑性的調節下，無標度神經網絡的連接強度逐漸減弱并趨于穩定。圖 4 可以解釋這種現象，突觸權重減小，網絡的平均度會減小，網絡的連接強度也會減弱。
2.3.2 聚類系數
聚類系數表征網絡的集團化程度和局部信息傳輸效率，也在一定程度上反映了網絡防御隨機攻擊的能力。聚類系數越大，網絡的局部信息傳輸效率越高。無標度神經網絡的聚類系數變化如圖 8 所示。從圖中可以看出，網絡的聚類系數隨時間變化較小，前 200 ms 聚類系數較高，隨著時間的進行，聚類系數減小，但波動較小。說明隨著時間的進行，網絡的局部信息傳輸效率減小并趨于穩定。整體來看，聚類系數分布較穩定，網絡局部信息傳輸效率較穩定。
2.3.3 平均最短路徑長度
最短路徑長度表征神經網絡的全局信息傳輸效率，最短路徑長度越短，網絡的信息傳輸效率越高，信息或能量在該網絡上進行交換所需的代價越小。無標度神經網絡的平均最短路徑長度變化如圖 8 所示。從圖中可以看出平均最短路徑長度在 100～500 ms 之內呈增長趨勢，600～1 000 ms 波動較小，說明隨著時間的進行，網絡的全局信息傳輸效率減小并趨于穩定。
2.3.4 全局效率
全局效率與最短路徑長度均可表征網絡的全局信息傳輸效率。全局效率越高，網絡的信息傳輸效率就越高。無標度神經網絡的全局效率變化如圖 8 所示。從圖中可以看出，無標度神經網絡的全局效率在 100～500 ms 之間呈下降趨勢，600～1 000 ms 之間波動較小，說明隨著時間的進行信息傳輸效率減小并趨于穩定。全局效率與最短路徑有關，最短路徑越長，全局效率越低，圖 8 全局效率與平均最短路徑長度的結果均反映了隨著時間的進行，全局信息傳輸效率減小并趨于穩定。
平均度可以反映網絡的連接強度，平均度越大，網絡的連接強度越強。無標度神經網絡的平均度是所有節點之間突觸權值的平均值，變化如圖 8 所示。隨著時間的進行，無標度神經網絡的平均度急劇下降，600 ms 后，平均度變化比較小。實驗結果表明，在突觸可塑性的調節下，無標度神經網絡的連接強度逐漸減弱并趨于穩定。圖 4 可以解釋這種現象，突觸權重減小，網絡的平均度會減小，網絡的連接強度也會減弱。
2.3.5 小世界屬性
小世界神經網絡的小世界屬性分布如圖 8 所示。從圖中可以看出無標度神經網絡的小世界屬性在 100 ms 時較強，在 200～1 000 ms 之間小世界屬性有波動但波動較小且小世界屬性值均大于 1，說明本文構建的無標度神經網絡具有小世界屬性。
課題組前期工作已經進行了小世界脈沖神經網絡的動態特性研究[18]，經過比較，發現無標度脈沖神經網絡的平均度低于小世界脈沖神經網絡，說明無標度脈沖神經網絡的連接強度低于小世界脈沖神經網絡；無標度脈沖神經網絡的聚類系數低于小世界脈沖神經網絡，說明網絡的局部信息傳輸效率低于小世界脈沖神經網絡；無標度脈沖神經網絡的平均最短路徑長度低于小世界脈沖神經網絡，即全局效率高于小世界脈沖神經網絡，說明全局信息傳輸效率高于小世界脈沖神經網絡。綜上所述，在局部信息傳輸方面小世界脈沖神經網絡更具優勢，而在全局信息傳輸方面無標度脈沖神經網絡更具優勢，兩者各有一定的適應性。
3 總結
本文基于 Izhikevich 神經元模型與興奮性突觸和抑制性突觸共存的突觸可塑性模型，構建了具有高聚類系數的無標度脈沖神經網絡，并從放電特性、突觸調節過程和復雜網絡特性三個方面對網絡進行了分析。實驗結果表明：① 突觸可塑性在實驗過程中不斷進行調節，強耦合和中等耦合突觸比重逐漸下降，弱耦合突觸比重上升，導致突觸均值逐漸減小，網絡耦合強度降低。② 神經元的放電時刻逐漸分散，同步性變差。放電率在突觸可塑性的調節下逐漸減小并趨于穩定。③ 在突觸可塑性的調節下，網絡的連接強度減弱并趨于穩定，網絡局部信息傳輸效率比較穩定，網絡的全局信息傳輸效率降低并趨于穩定，小世界屬性較為穩定。無標度神經網絡的動態特性隨時間變化且相互影響，突觸的調節基于神經元的放電時刻，且突觸的調節會影響神經元放電和網絡的復雜特性。④ 在局部信息傳輸方面小世界脈沖神經網絡更具優勢，在全局信息傳輸方面則無標度脈沖神經網絡更具優勢。基于已經構建的無標度脈沖神經網絡，本研究將進一步開展不同刺激以及損傷下的網絡抗擾特性的研究，為提高電子系統在復雜電磁環境下的防護能力奠定理論基礎。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
引言
人工神經網絡從信息處理的角度模擬了人腦的結構及其功能，人腦自組織、自適應、自學習的特點在信息、經濟、醫學、控制等領域有重要應用，對推動人工智能的發展有重要意義。無標度網絡的度分布服從冪律分布[1]，即只有少數節點度較高，大多數節點的度相對較低。大量研究表明腦網絡具有高聚類系數和低路徑長度的小世界屬性，而且度分布服從冪律分布，即腦網絡是一種具有小世界屬性的無標度網絡[2-3]，因此構建一個具有高聚類系數的無標度神經網絡對神經網絡的研究尤為重要。突觸可塑性是大腦學習和記憶的基礎[4-6]。陳云芝等[7]基于脈沖時間依賴可塑性（spike timing-dependent plasticity，STDP）機制構建了前饋神經網絡，該模型具有較好的抗擾能力，且這種特性與 STDP 機制密切相關。王蕾等[8]將脈沖神經網絡的高效處理能力與自組織映射神經網絡相結合，構造了一種基于 STDP 規則的自組織映射（self-organization map，SOM）脈沖神經網絡模型。興奮性突觸可塑性根據 STDP 規則動態調控，這些研究大多是基于興奮性突觸可塑性，然而抑制性突觸可塑性在神經網絡的動態調控中同樣具有重要作用[9]。本研究采用的是興奮性與抑制性突觸共存的更為完備的突觸可塑性調節機制。目前，人工神經網絡的模型、算法越來越豐富，在工程領域的應用也越來越廣泛。Kim 等[10]通過改變噪聲強度來研究小世界神經網絡中 STDP 對隨機脈沖同步的影響，發現在突觸可塑性中存在“Matthew”效應是因為有正反饋，原來同步性較好的通過突觸強度的長期增強可以變得更好，而原來同步性較差的則因長期的抑制而變得更差。楊剛等[11]提出以小世界網絡連接模式進行初始稀疏化的連接自組織發育稀疏跨越–側抑制神經網絡設計方法實現網絡智力的自組織發育，證明了在同等連接復雜度的情況下，稀疏連接的跨越–側抑制神經網絡具有更好的泛化能力。Baysal 等[12]基于無標度神經元網絡，研究了神經元軸突或胞體與自身樹突形成的一種突觸對弱信號傳遞的影響。弭元元等[13]提出了一個具有無標度拓撲結構的神經網絡模型，很好地再現了實驗中觀察到的長時程周期性同步發放現象，證明神經系統能通過局部網絡動力學分布式地處理時序信息。這些研究大多基于小世界網絡或者聚類系數較低的無標度網絡，而真實的腦網絡為聚類系數較高的具有小世界屬性的無標度網絡。本文基于 Izhikevich 神經元模型與興奮性突觸和抑制性突觸共存的突觸可塑性模型，構建了聚類系數較高的具有小世界屬性的無標度脈沖神經網絡，在突觸模型與拓撲結構方面能夠較全面地呈現腦網絡的屬性，網絡具有生物真實性。
1 無標度脈沖神經網絡的構建
神經網絡的三個基本要素是拓撲結構、神經元模型和突觸調節機制。網絡的拓撲結構決定了神經元之間的連接，神經元模型是神經網絡的基本單元，而突觸調節機制則是神經元間信息傳遞的基礎。
1.1 無標度網絡的生成及分析
1.1.1 無標度網絡的生成
本文采用高聚類系數的無標度網絡模型生成 500 個節點的網絡拓撲，模型演化機制如下[14]：
（1）初始網絡：網絡初始狀態含有 m0 個完全連接的節點，邊初始權值設置為 w0 = 1。
（2）加入新節點：按概率 p 在網絡中加入一個新的節點 v，其中 。新增節點攜帶 m 條邊，并與網絡中已存在的節點按照權重優先選擇相連，即一個舊節點 i 被選擇的概率為：
|
（3）加入新邊：按照概率 1 ? p，網絡不斷增加新的邊，僅增加 mt 條邊。新增邊的兩個端點按照三角機制選取。首先隨機選取網絡的一個邊 ，然后選取節點 j 的另外一個鄰節點（排除節點 i），設其為 k，選取節點 k 時按照如下概率進行，即按照邊的權值大小選取：
|
如果節點 i 和節點 k 之間不存在連接，則建立新邊，如果存在連接，則權值增加 σ。兩種情況下，邊 wij 和 wjk 的權值均增加 σ。其中 σ = 1。
本文中，m0 = 4，m = 3，mt = 2。最后將生成的網絡轉化為無權網絡，即有連邊的邊權值設置為 1，沒有連邊的邊權值設置為 0，得到無標度網絡的拓撲結構。
1.1.2 復雜網絡特性分析
網絡是由節點和連線組成的，并具有一定的拓撲性質。復雜網絡的拓撲性質主要包括節點度、聚類系數、最短路徑長度、全局效率、小世界屬性等，針對本文的研究，對所構建的無標度拓撲從如下六個方面進行復雜網絡特性分析：
（1）節點度
度定義為與節點直接相連的邊數，節點的度越大，節點在網絡中的地位也就越重要，其數學表達式如下：
|
兩個節點之間有連接則 hij 為 1，無連接則為 0。平均度為網絡中所有節點的度的平均值。
（2）聚類系數
聚類系數表示某一節點 i 的鄰節點之間也是鄰居的可能性，與節點實際連邊數 ei 和可能出現的最大連邊數有關，其數學表達式如下：
|
用平均聚類系數來表征網絡的聚集特性，其數學表達式如下：
|
（3）最短路徑長度
最短路徑長度 dij 為兩個節點 i、j 之間邊數最少的一條通路經過的邊數。平均最短路徑長度為網絡中任意兩個節點之間距離的平均值，其數學表達式如下：
|
（4）全局效率
一般對連通圖進行最短路徑長度的計算，對于不連通的網絡，最短路徑長度就會無窮大，因此有人提出了全局效率，其數學表達式如下：
|
（5）小世界屬性
根據 Humphries 等提出的統一指標 σ 判定，σ > 1 的網絡具有小世界屬性，且 σ 越大網絡的小世界屬性越強[15]，其數學表達式如下：
|
（6）無標度屬性
無標度網絡的度分布服從冪律分布，冪律指數的大小可以說明無標度中度大小的差異程度，且冪律指數越大，節點度的差異越明顯。冪律指數在 1～2 之間的為亞標度，在 2～3 之間的為無標度。
本文設置的節點個數為 500，通過調節加點概率 p，可以得到不同的無標度拓撲。本文將加點概率 p 在[0.1 1]范圍進行調節，步長為 0.1，不同拓撲下網絡的復雜網絡特性如表 1 所示。
表1
無標度網絡特性參數
Table1.
Characteristic parameters of scale-free network
從表 1 可以看出，隨著 p 的增大，網絡的平均度越來越小，平均聚類系數越來越小，平均最短路徑越來越大，全局效率越來越低，冪律指數越來越大，網絡的小世界屬性均遠遠大于 1，說明本文構建的網絡是具有小世界屬性的無標度網絡。
根據文獻中對人腦功能特性的研究結果，腦網絡無標度屬性的冪律指數在 2 左右[16]，因此本文選取 p = 0.3 的無標度拓撲進行下面的實驗研究。p = 0.3 時無標度網絡的拓撲和度分布圖如圖 1 所示，度分布圖中橫坐標為節點的度值，縱坐標為相應的度值出現的頻率。
圖1
網絡拓撲以及度分布圖
Figure1.
Network topology and degree distribution
1.2 Izhikevich 神經元模型
神經網絡構建的基本單元就是神經元，本文采用比較接近實際神經元放電特性、計算簡單且易于進行大規模仿真的 Izhikevich 神經元模型，其數學表達式如下：
|
其中，v 表示神經元膜電位；u 表示膜電壓恢復變量，反映生物神經元中鉀離子通道電流的激活和鈉離子通道電流的失活，同時為膜電壓提供一個負反饋；I 表示外部輸入電流和經多個突觸傳導來的突觸電流的總和。a、b、c、d 是無量綱參數，通過調節模型中 a、b、c、d 四個參數，可以將神經元調節為興奮性神經元和抑制性神經元。本文采用典型的規則放電模式（regular spiking，RS）作為神經網絡中興奮性神經元的放電模式，采用低閾值放電模式（low-threshold spiking，LTS）作為抑制性神經元的放電模式，如圖 2 所示。其中 RS 模式的參數設置為：a = 0.02，b = 0.2，c = ? 65，d = 8；LTS 模式的參數設置為：a = 0.02，b = 0.25，c = ? 65，d = 2。
圖2
Izhikevich 神經元放電模式
Figure2.
The firing patterns of Izhikevich neuron
1.3 突觸可塑性調節機制
突觸是神經元之間信息傳遞的基礎，處理和儲存信息的能力是中樞神經系統最顯著的特性之一。本研究中采用興奮性突觸和抑制性突觸共同作用的完備的突觸可塑性調節機制。在突觸模型中，其突觸輸出電流與輸入電壓近似呈線性關系，可表示為：
|
其中，Isyn 為突觸電流；gsyn 為突觸電導；為突觸后神經元的膜電位；E 為反轉電位，本文設定興奮性反轉電位 Eex 為 0 mV，抑制性反轉電位 Ein 為 ? 70 mV。興奮性突觸和抑制性突觸都通過突觸電導的變化對神經元之間的信息傳遞效率進行調節，它們具有不同的調節規律，每種突觸都存在以下兩種不同的變化情況：
（1）當突觸后神經元 j 沒有接收到突觸前神經元 i 的動作電位時，興奮性突觸和抑制性突觸的權重會呈指數衰減，分別如下所示：
|
|
其中，τex 和 τin 分別為興奮性電導和抑制性電導的衰減常數，本文中設定 τex = τin = 5 ms。
（2）當突觸后神經元 j 接收到突觸前神經元 i 的動作電位時，興奮性突觸的權重 和抑制性突觸的權重 變化如下：
|
|
其中， 和 分別為動作電位引起的興奮性電導增量和抑制性電導增量。興奮性突觸權重增量 由 wij 進行調節，抑制性突觸權重增量 由 mij 進行調節。本文中 gmax 設為 0.015，當突觸權重小于 0 時，則設置為 0，當突觸權重大于 gmax 時，規定突觸權重為 gmax。wij 和 mij 與突觸前神經元和突觸后神經元的脈沖放電有關，其數學表達式如下：
|
|
其中，Δt 為突觸前后神經元放電時刻間隔；τ+和 τ?為突觸增強和減弱時突觸前后神經元放電時刻間隔范圍，本文設定 τ+ = τ? = 20 ms；A+和 A-為興奮時突觸電導在增強和減弱時的最大修正值；B+和 B?為抑制時突觸電導在增強和減弱時的最大修正值。經查閱相關文獻，本文設定 A+ = 0.1,A? = 0.105，B+ = 0.02，B? = 0.03。
本文采用具有小世界屬性的無標度拓撲結構，以 Izhikevich 神經元模型為節點，基于興奮性突觸和抑制性突觸共存的更為完備的突觸可塑性機制，構建了 500 個節點的神經網絡，其中興奮性神經元與抑制性神經元的比例遵從神經解剖的實驗結果按 4∶1 分布[17]。
2 無標度神經網絡的動態特性分析
對無標度網絡的動態特性分析可以反映網絡的動態演化過程。突觸可塑性在神經網絡中起調節作用，因此本文從突觸動態調節入手，并對放電特性和網絡復雜特性進行分析來研究網絡動態特性。
2.1 突觸動態調節分析
突觸在神經網絡中起著重要的調節作用，突觸強度隨著時間不斷變化。為了觀察網絡演化過程中突觸強度的變化，采用 pajek 軟件對突觸權值按權重進行可視化，結果如圖 3 所示。灰度越高表示相應的突觸權重越大，灰度越低表示相應的突觸權重越小。
圖3
突觸權重灰度圖
Figure3.
Grayscale image of synaptic weight
從圖 3 可以看出，1～100 ms 期間顏色較深的較多，說明此時處于高權重的突觸較多，300～500 ms 期間顏色變淺，說明此時突觸強度減弱，700～900 ms 期間灰度差異不大，說明此時突觸強度變化較小，網絡突觸調節趨于穩定。結果表明突觸在不斷地調節，突觸耦合強度逐漸減小，700 ms 時突觸調節趨于穩定。
為了更準確地說明不同時刻的突觸強度變化，本文采用突觸權重總和代表突觸強度，對不同時刻的突觸強度以及各個時刻突觸強度相較于初始時刻的相對變化率進行了統計，結果如表 2 所示。
表2
不同時刻突觸強度
Table2.
Synaptic strength at different times
從表 2 中可以看出，隨著時間的進行，突觸強度逐漸減小。與初始時刻相比較，100～300 ms 期間相對變化率分別為 59.60%、77.91% 和 86.73%，波動非常大，說明此時突觸調節劇烈。在 700～1 000 ms 期間，相對變化率分別分布在 94.26%、94.53%、94.66% 和 94.81%，波動非常小，說明網絡在到達 700 ms 時基本穩定。
為了直觀地展示突觸強度的波動情況，本文計算了各個時刻的突觸強度相對于前一時刻的相對變化量，即該時刻與前一時刻的突觸強度差的絕對值，相對變化量越小，突觸調節越穩定，結果如表 3 所示。
表3
突觸強度相對變化量
Table3.
Relative changes of synaptic strength
從表 3 中可以看出，100～300 ms 期間相對變化量較大，說明此時突觸調節劇烈。400～600 ms 期間相對變化量較小，說明此時突觸調節逐漸趨于穩定。700～1 000 ms 期間相對變化量非常小，說明此時突觸調節基本穩定。
為了進一步說明突觸的調節過程，對突觸權重的分布和突觸均值隨時間變化進行了統計。圖 4a 為無標度神經網絡突觸權值的分布比重，定義權值 的突觸為弱耦合突觸， 為強耦合突觸，其余為中等耦合突觸。從圖中可以看出，突觸耦合強度處于不斷調節的過程中，在 700 ms 左右趨于穩定。在調節過程中，中等耦合突觸的比重在 100 ms 內急速下降，之后緩慢下降直至平穩；弱耦合突觸的比重隨時間慢慢增長直至穩定；強耦合突觸在仿真開始劇增，之后緩慢下降直至穩定。穩定后，突觸強度集中在弱耦合和強耦合，分布出現兩極化。
圖4
突觸權值分布
a.突觸權重比重分布；b.突觸均值變化
Figure4. Distribution of synaptic weighta. distribution of synaptic weight ratio; b. changes of the mean value of synaptic weights
圖 4b 為突觸權值的均值隨時間的變化。從圖中可以看出，突觸權值的均值隨時間增長逐漸減小，在 700 ms 時趨于穩定，且均值比較小。圖 4a 也可以解釋這種現象，隨著時間的進行，弱耦合比重增大，強耦合和中等耦合比重減小，導致權值均值慢慢減小。穩定后弱耦合強度的突觸占 90% 左右，所以穩定后的突觸權值的均值較小。
2.2 放電特性分析
放電柵圖可以反映神經元放電同步狀況。無標度神經網絡的放電柵圖如圖 5 所示，橫坐標代表仿真時間，縱坐標代表神經元編號。從圖中可以看出，200 ms 內神經元放電時刻比較集中，放電同步性較好。200 ms 以后放電時刻分布比較分散，放電同步性變差。
圖5
無標度神經網絡放電柵圖
Figure5.
The firing spatiotemporal map of scale-free neural network
為了觀察神經元的放電情況，本文選取高等度、中等度和低等度節點進行放電序列分析，如圖 6 所示，實線表示神經元放電時刻的位置。從圖 6 可以看出，100 ms 內高等度節點的放電密集程度高于中等度節點，中等度節點的放電密集程度高于低等度節點。隨著時間的進行，在突觸可塑性的調節下，三種程度神經元的放電間隔均逐漸趨于穩定。
圖6
神經元放電序列圖
Figure6.
Firing sequence diagram of neurons
神經元的放電率反映了神經元在一段時間的放電快慢情況。本文分別計算了高等度節點、低等度節點與中等度節點的平均放電率，來反映不同程度節點的放電情況，結果如圖 7 所示。
圖7
放電率隨時間的變化
Figure7.
The change of firing rate with time
從圖 7 可以看出，高等度節點的放電率大于中等度節點和低等度的節點，中等度節點與低等度節點的放電率相差不大。隨著時間的進行，三種程度的神經元節點放電率均呈現逐漸減小并趨于穩定的趨勢。中等度節點和低等度節點的放電率穩定時間較早，高等度節點的放電率穩定時間較晚，在 700 ms 后三種程度節點放電率全部趨于穩定。
2.3 復雜網絡特性分析
對無標度神經網絡的復雜網絡特性的分析可以反映網絡的動態演化過程。本文通過計算網絡的平均度、聚類系數、平均最短路徑長度、全局效率、小世界屬性等復雜網絡特性隨時間的動態變化來研究網絡的動態演化過程。無標度脈沖神經網絡的復雜網絡特性隨仿真時間的變化如圖 8 所示。
圖8
無標度神經網絡的復雜網絡特性分析
Figure8.
Characteristic analysis of complex network of the scale-free neural network
2.3.1 平均度
平均度可以反映網絡的連接強度，平均度越大，網絡的連接強度越強。無標度神經網絡的平均度是所有節點之間突觸權值的平均值，變化如圖 8 所示。隨著時間的進行，無標度神經網絡的平均度急劇下降，600 ms 后，平均度變化比較小。實驗結果表明，在突觸可塑性的調節下，無標度神經網絡的連接強度逐漸減弱并趨于穩定。圖 4 可以解釋這種現象，突觸權重減小，網絡的平均度會減小，網絡的連接強度也會減弱。
2.3.2 聚類系數
聚類系數表征網絡的集團化程度和局部信息傳輸效率，也在一定程度上反映了網絡防御隨機攻擊的能力。聚類系數越大，網絡的局部信息傳輸效率越高。無標度神經網絡的聚類系數變化如圖 8 所示。從圖中可以看出，網絡的聚類系數隨時間變化較小，前 200 ms 聚類系數較高，隨著時間的進行，聚類系數減小，但波動較小。說明隨著時間的進行，網絡的局部信息傳輸效率減小并趨于穩定。整體來看，聚類系數分布較穩定，網絡局部信息傳輸效率較穩定。
2.3.3 平均最短路徑長度
最短路徑長度表征神經網絡的全局信息傳輸效率，最短路徑長度越短，網絡的信息傳輸效率越高，信息或能量在該網絡上進行交換所需的代價越小。無標度神經網絡的平均最短路徑長度變化如圖 8 所示。從圖中可以看出平均最短路徑長度在 100～500 ms 之內呈增長趨勢，600～1 000 ms 波動較小，說明隨著時間的進行，網絡的全局信息傳輸效率減小并趨于穩定。
2.3.4 全局效率
全局效率與最短路徑長度均可表征網絡的全局信息傳輸效率。全局效率越高，網絡的信息傳輸效率就越高。無標度神經網絡的全局效率變化如圖 8 所示。從圖中可以看出，無標度神經網絡的全局效率在 100～500 ms 之間呈下降趨勢，600～1 000 ms 之間波動較小，說明隨著時間的進行信息傳輸效率減小并趨于穩定。全局效率與最短路徑有關，最短路徑越長，全局效率越低，圖 8 全局效率與平均最短路徑長度的結果均反映了隨著時間的進行，全局信息傳輸效率減小并趨于穩定。
平均度可以反映網絡的連接強度，平均度越大，網絡的連接強度越強。無標度神經網絡的平均度是所有節點之間突觸權值的平均值，變化如圖 8 所示。隨著時間的進行，無標度神經網絡的平均度急劇下降，600 ms 后，平均度變化比較小。實驗結果表明，在突觸可塑性的調節下，無標度神經網絡的連接強度逐漸減弱并趨于穩定。圖 4 可以解釋這種現象，突觸權重減小，網絡的平均度會減小，網絡的連接強度也會減弱。
2.3.5 小世界屬性
小世界神經網絡的小世界屬性分布如圖 8 所示。從圖中可以看出無標度神經網絡的小世界屬性在 100 ms 時較強，在 200～1 000 ms 之間小世界屬性有波動但波動較小且小世界屬性值均大于 1，說明本文構建的無標度神經網絡具有小世界屬性。
課題組前期工作已經進行了小世界脈沖神經網絡的動態特性研究[18]，經過比較，發現無標度脈沖神經網絡的平均度低于小世界脈沖神經網絡，說明無標度脈沖神經網絡的連接強度低于小世界脈沖神經網絡；無標度脈沖神經網絡的聚類系數低于小世界脈沖神經網絡，說明網絡的局部信息傳輸效率低于小世界脈沖神經網絡；無標度脈沖神經網絡的平均最短路徑長度低于小世界脈沖神經網絡，即全局效率高于小世界脈沖神經網絡，說明全局信息傳輸效率高于小世界脈沖神經網絡。綜上所述，在局部信息傳輸方面小世界脈沖神經網絡更具優勢，而在全局信息傳輸方面無標度脈沖神經網絡更具優勢，兩者各有一定的適應性。
3 總結
本文基于 Izhikevich 神經元模型與興奮性突觸和抑制性突觸共存的突觸可塑性模型，構建了具有高聚類系數的無標度脈沖神經網絡，并從放電特性、突觸調節過程和復雜網絡特性三個方面對網絡進行了分析。實驗結果表明：① 突觸可塑性在實驗過程中不斷進行調節，強耦合和中等耦合突觸比重逐漸下降，弱耦合突觸比重上升，導致突觸均值逐漸減小，網絡耦合強度降低。② 神經元的放電時刻逐漸分散，同步性變差。放電率在突觸可塑性的調節下逐漸減小并趨于穩定。③ 在突觸可塑性的調節下，網絡的連接強度減弱并趨于穩定，網絡局部信息傳輸效率比較穩定，網絡的全局信息傳輸效率降低并趨于穩定，小世界屬性較為穩定。無標度神經網絡的動態特性隨時間變化且相互影響，突觸的調節基于神經元的放電時刻，且突觸的調節會影響神經元放電和網絡的復雜特性。④ 在局部信息傳輸方面小世界脈沖神經網絡更具優勢，在全局信息傳輸方面則無標度脈沖神經網絡更具優勢。基于已經構建的無標度脈沖神經網絡，本研究將進一步開展不同刺激以及損傷下的網絡抗擾特性的研究，為提高電子系統在復雜電磁環境下的防護能力奠定理論基礎。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
