人工智能的快速發展對計算神經科學的計算速度、資源消耗和生物解釋性提出了更高的要求。脈沖神經網絡能夠攜帶大量信息，實現對大腦信息處理方式的模仿。它的硬件化是實現其強大計算能力的重要途徑，但也是極具挑戰性的技術難題。憶阻器是目前功能最接近神經元突觸的電子器件，能夠以與生物大腦高度相似的脈沖時間依賴可塑性（STDP）機制響應脈沖電壓，成為近幾年研究構建脈沖神經網絡硬件電路的熱點。本文通過查閱國內外相關文獻，對近幾年基于憶阻器的脈沖神經網絡的研究工作進行了深入了解和介紹。
引用本文： 徐桂芝, 姚林靜, 李子康. 基于憶阻器的脈沖神經網絡研究綜述. 生物醫學工程學雜志, 2018, 35(3): 475-480. doi: 10.7507/1001-5515.201703091 復制
引言
人工智能（artificial intelligence，AI）誕生的初衷是實現模擬、延伸和擴展人類智能[1]。大數據背景下，傳統計算機分離的計算模塊和存儲單元導致的命令執行延時和大量功耗，限制了人工智能的發展。在 Alpha Go 與李世石的一場對弈里使用了 1 920 個 CPU 和 280 個 GPU，耗電數千瓦，而李世石的大腦只消耗了 20 瓦，這說明我們距離真正的類人人工智能還很遙遠。于是研究者們致力于通過研究大腦體系中處理單元神經元和內存突觸物理相連的結構來改進計算機軟硬件的效率和性能。更具生物學基礎的第三代人工神經網絡[2-3]——脈沖神經網絡（spiking neuron networks，SNNs），以脈沖神經元作為處理單元，對信息進行并行加工和處理，網絡計算和信息傳遞能力比傳統人工神經網絡更強。但是許多需要進行現場實時處理的復雜數據（視頻、圖像等）信息，如果用軟件實現脈沖神經網絡算法來處理數據，不僅速度慢、并行程度低，難以滿足對大量數據信息的實時處理要求，還需要體積較大的計算機支持[4]。所以實現脈沖神經網絡硬件電路不僅是發揮其計算優勢的根本途徑，還是沖破馮·諾依曼計算機體系架構建立類腦計算機體系中硬件結構的關鍵技術。
接收和處理神經元外部輸入的突觸是整個神經網絡能夠正常工作的重要保證，因此突觸的硬件化對實現整個脈沖神經網絡的硬件電路具有重大意義。憶阻器的阻值依附于激勵電壓變化，可以看作是具有動態特性的電阻，阻值大小與歷史流經憶阻器的電荷或電流有關，改變流經它的電流的流向和大小就可以控制其阻值變化，而且即使電流中斷，記憶阻值也不會消失。這種特性正好類似于生物神經突觸連接強度隨外來信號變化的特性，所以人們用憶阻器來模擬生物突觸，存貯突觸權值并進行計算。憶阻器架構電路中將數據存儲與處理模塊合二為一，運用在線脈沖時間依賴可塑性（spike timing dependent plasticity，STDP）學習規則模擬大腦神經系統運算，省去了數據的調用過程，顯著降低了系統的資源消耗，提高了計算速度。運用憶阻器構建脈沖神經網絡具有以下優勢：① 可以實現突觸權值的連續更新；② 納米級憶阻器可以實現超高密度的集成網絡；③ 網絡具有學習和記憶的能力；④ 憶阻器是無源器件且掉電后信息的非易失性使系統能耗更低；⑤ 交叉陣列結構增強了信息處理能力并擴充了存儲空間。在近幾年，基于憶阻器的脈沖神經網絡硬件電路研究被廣泛關注，得到了迅速發展。
1 憶阻器工作原理
1971 年，加州大學伯克利分校的蔡少棠教授猜想存在著除電阻、電容、電感外的第四種無源電路器件——憶阻器
，表征了磁通量
與電荷量
之間的關系，其物理量綱與電阻相同，用符號“
”表示，憶阻器的提出完備了電路理論[5]，如圖 1 所示。
圖1
電路完備性理論
Figure1.
Theory of circuit completeness
惠普于 2008 年成功研制出納米級憶阻器物理模型，構建了一個三維憶阻器交叉陣列來模擬大腦皮層，隨后又將該陣列擴展到三維空間，模擬出真正的人腦突觸結構，證實了憶阻器的存在[6]。邊界遷移模型（理想模型）和自旋憶阻器模型是現在比較成熟的兩種憶阻器模型。惠普憶阻器的特性可用邊界遷移模型模擬，它能夠進行連續的輸入輸出。惠普憶阻器分為如圖 2 所示的摻雜區和非摻雜區兩部分。
圖2
憶阻器邊界遷移模型及等效模型
Figure2.
Boundary migration and equivalent model of memristor
用 w 表示摻雜區的厚度，D 表示整個二氧化鈦薄膜的厚度。當外加偏置電壓時，引起摻雜區與非摻雜區之間的邊界遷移，使 w 的大小發生改變，從而改變了憶阻器的阻值。當 w = D 時，憶阻器阻值為 Ron，當 w = 0 時阻值為 Roff。設憶阻器的阻值 M（q），則憶阻器的阻值表示為：
 |
 |
其中 w（t）是狀態控制變量，μv 是離子的平均遷移率。式（2）表明，邊界遷移速率與流經憶阻器的電流成線性關系，因此該模型又稱為線性漂移模型。對式（2）兩端積分再代入式（1），有
 |
憶阻器的初始電阻
D，令
，則
 |
式（4）揭示了憶阻器阻值與電荷之間的關系，稱為荷控憶阻器。式（3）還可以寫為：
 |
式（5）揭示了憶阻器阻值與電流之間的關系，稱為流控憶阻器。
神經元突觸是大腦認知活動的最基本單元，所以仿生突觸是實現神經形態硬件計算電路的基礎。研究發現憶阻器的記憶功能和可操控性，與生物神經元突觸在刺激下對信號進行判斷和記憶的過程類似。憶阻器的電阻值可以連續緩慢地變化，將憶阻器的阻值（導電性）視為突觸權重，通過在憶阻器兩端施加不同強度的電壓或控制流經憶阻器的電流可以使憶阻值從高到低或者從低到高地變化，這個過程可視作突觸的增強和抑制過程。研究證實憶阻器可以模擬生物突觸的許多重要特征，例如長時程增強（long term potentiation，LTP）、長時程抑制（long term depression，LTD）、短時程增強（short term potentiation，STP）和 STDP 機制[7-15]，實現對生物突觸如興奮性突觸后電流、非線性傳輸特性、刺激頻率響應特性等多種生物功能的模擬[16]。
2 憶阻器構建脈沖神經網絡
2.1 憶阻器實現 STDP 機制
Hebb[17]于 1949 年提出著名的突觸可塑性理論 Hebbian 假說：在生物的一個學習或記憶過程中，如果神經元 A 的軸突能夠反復或持續地刺激神經元 B 興奮并放電，神經元 A 與神經元 B 之間的突觸強度就會增強。STDP 機制是時間非對稱形式的 Hebbian 學習，被認為是與學習和記憶功能密切相關的腦神經突觸機制之一[18]，它與突觸前后神經元膜電位放電時刻有關。若神經元是興奮性神經元：則當突觸前神經元先于突觸后神經元放電時，兩神經元之間的突觸連接得到加強；若突觸后放電時刻先于突觸前時則突觸連接受到抑制。抑制性神經元恰恰相反。令 Δt 為突觸前神經元與突觸后神經元放電時刻的差值，突觸權重的改變量為 w（Δt）。
w（Δt）的數學表達式如下：
 |
其中參數 τ+ 和 τ– 分別表示突觸連接增強或減弱時突觸前后神經元峰電位間隔的范圍；A+ 和 A– 分別為突觸權重改變的最大量和最小量。
如果通過晶體管和電容、電阻相結合的互補金屬氧化物半導體（complementary metal oxide semiconductor，CMOS）集成的硬件電路去執行方程（6）的 STDP 規則，每個可塑性突觸需要大約 30 個晶體管，代價將是十分巨大的[19]，其復雜的制作工藝、高功耗、高集成度等必然會給大規模神經網絡的構建增加難度。與晶體管相比，憶阻器在網絡硬件電路中占用的空間更小，可以記憶存儲網絡不斷變化的迭代累加過程，簡化了網絡結構，減少了硬件消耗，有利于網絡的集成化和規模化。提供有效的 STDP 學習機制是憶阻器的一個關鍵屬性，憶阻器網絡中將突觸權值的存儲與計算整合在了一起，運用在線 STDP 學習規則模擬大腦神經系統運算，所以大大降低了系統功耗和加快了計算速度[20]。研究者從不同角度驗證和改善憶阻器對 STDP 學習規則的模擬效果，采用不同的方法改進電路設計來優化 STDP 學習算法的系統損耗和計算性能[21-25]。經過改進的憶阻器神經網絡可以通過 STDP 學習算法進行模式識別、邊緣檢測、優化系統資源損耗等[22-23]，而且具有良好的魯棒性，可以容忍電路器件參數的極端變化和自調整適應不同的信息編碼方式，為自適應電子電路的設計打開了新思路[24-25]。另外，憶阻器不僅可以執行單向的 STDP 學習規則，還能夠處理神經元發放的雙向傳播（向前和向后）脈沖，實現電突觸對突觸前或突觸后傳來的神經信號進行雙向傳遞的過程[26]。
2.2 脈沖神經元的構建
單個神經元可以看作是一個閾值可激發系統，只有當外界刺激強度高于閾值時，神經元才會產生興奮進而發放脈沖，再通過動作電位的傳導完成細胞與細胞間、同一細胞的不同部分之間信息的加工和傳遞。以硬件形式模擬出神經元的這種閾值特性，將是實現脈沖神經網絡硬件電路的關鍵。1952 年 Hodgkin 和 Huxley 依據槍烏賊巨軸突細胞膜表面電流與電壓時間的依賴關系，提出了著名的 Hodgkin-Huxley（H-H）方程，揭示了神經元膜電位與離子電導的變化規律。H-H 神經元方程奠定了電生理、膜生物物理和計算神經學科的基礎，成為后來所有描述神經元發放方程的結構基礎。由于 H-H 方程是四維動力學方程，參數太多，理論分析困難，人們為了滿足不同的研究需求，又建立了一系列形式各異的神經元模型方程。FitzHugh 在 H-H 方程可選擇的參數范圍內，從實驗角度有效模擬了 H-H 方程中所描述的神經元發放情形，將其化簡為了二維動力學方程——FitzHugh-Nagumo（FHN）方程。Hindmarsh-Rose（H-R）方程具有多重時間動力學行為，當改變外部輸入電流時，單一的 H-R 神經元可以展示出穩態、周期發放、周期性爆發以及混沌等不同的放電模式。脈沖響應模型（spike response model，SRM）表現出了與 H-H 神經元模型相似的動力學特性，經常用作脈沖神經網絡誤差反向傳播（back-propagation，BP）算法的計算單元。Integrate-and-Fire（IF）神經元模型是特殊情況下的 SRM 模型，它是只有一個變量的線性方程。相比于其他模型，IF 神經元模型數值模擬簡單，計算要求較低，更適合于數學分析。
文獻[27]構建了一個基于憶阻器的 IF 宏觀神經元模型，以憶阻器模型的非線性行為模擬神經元鈉、鉀離子通道的打開和關閉，IF 神經元的動作電位和細胞膜電位的不應期通過使用雙穩態憶阻器描述。文獻[28]研制出一種具有記憶能力的硅 IF 神經元，能夠完成包括電流輸送、模擬抑制和興奮性突觸、產生并發放脈沖等功能。文獻[29]分別構建了基于憶阻器的 FHN 神經元網絡和 H-R 神經元網絡，仿真出了神經元的分岔圖和混沌現象，揭示了耦合系統豐富的動態行為和同步現象。文獻[22]改進憶阻器一般確定性模型，阻值在外加電壓和必要時能夠平穩地隨機過渡切換，基于此憶阻器模型搭建的記憶性電路模擬出了 SRM 神經元響應模型的隨機發放。脈沖神經網絡最吸引人的地方就在于它具有通過學習使自身具備表達某種信息的能力，SRM 神經元響應模型是脈沖神經網絡梯度下降算法的運算模塊，所以 SRM 神經元模型的硬件化對于脈沖神經網絡硬件電路執行基于梯度下降的學習算法有至關重要的作用。
目前的神經元模型硬件電路，多是采用不同材料的 CMOS（硅或多晶硅）設計搭建的模擬電路[13, 30]。相對于數字電路實現方式，模擬電路實現神經元耗費大、耗時長，于是開始了探索數字電路實現神經元模型的方法。現場可編程門陣列（field programmable gate array，FPGA）內嵌豐富的硬核乘法器及存儲器資源，編程靈活性高，運行速度快，能夠重復配置，成為實現神經元數字電路的研究趨勢[31-32]。
2.3 脈沖神經網絡的構建
脈沖神經網絡的全硬件實現是神經網絡研究的重要課題。憶阻器具有的納米級尺寸、非易失性、低功耗、非揮發性等優點，使得它構建的脈沖神經網絡具有資源消耗少、穩定性好、計算速度快和可以通過算法改變突觸權值等優點。靜態隨機存取存儲器連續更新的存儲數據不僅限制了系統的運行速度，而且它在讀寫數據和運行算法時消耗了系統大部分的能量。而脈沖神經網絡只有當神經元接收到特定脈沖時才進行計算，降低了功耗和提高了計算速度。憶阻器能夠模擬多級神經形態特征，具有存儲記憶的非易失和良好的突觸線性運算特性，不僅可以進行邏輯運算，還可以記憶和運算二進制的數字信號[30, 33-34]。基于憶阻器的脈沖神經元電路不僅能夠模擬大腦的運算方式，還具有很好的魯棒性和容錯性[24-25, 34-35]。基于憶阻器的動態阻值突觸設計的脈沖神經網絡，通過 STDP 規則和遠程監督學習方法（remote supervised method，ReSuMe）算法分別執行了一次學習任務，數據的調用和學習速度可以達到納秒級，證實了脈沖神經網絡硬件電路的執行和計算效率[21]。
通過硬件電路執行脈沖神經網絡學習算法也是理論研究的終極目的。憶阻器神經網絡能夠根據外加電壓調節權值，通過自適應 Hebbian 學習過程找到合適的網絡配置權值[36-37]。重慶大學李傳東等[38]建立了“整合——激發”型神經元 SPICE 仿真電路，并結合 CMOS 管及憶阻器的特性重新設計了神經元突觸電路結構，以 2 個 IF 神經元構成的神經網絡實現了 Hebbian 學習的平均激發率學習規則，基于多個神經元的神經網絡完成了聯想記憶學習。東北師范大學劉玉東等[23]將構建的基于憶阻器的三層四方向仿生脈沖神經網絡用于圖像的邊緣提取中，運用的 STDP 學習方法與生物信息處理機制更加相符，顯示出良好的邊緣檢測效果。憶阻器除了可以執行 STDP 與 Hebbian 等無監督學習規則外，還可以構建單層感知器網絡電路，分別通過 ex situ 和 in situ 兩種訓練方法進行模式分類，這也為未來憶阻器實現卷積神經網絡和周期 Hopfield 網絡奠定了基礎[39]。也有實驗證明由憶阻器脈沖神經網絡執行的 ReSuMe 學習規則比 STDP 學習規則的精度更好，學習速度更快[21]。下面表 1 總結了近幾年來基于憶阻器的脈沖神經網絡研究現狀。
表1
幾種基于憶阻器的脈沖神經網絡比較
Table1.
Comparison of several spiking neuron networks based on memristor
現在所研究的憶阻器脈沖神經網絡，真正以硬件實物形式呈現的很少，大都還局限在仿真電路上。在神經元模型方面，選擇 IF 神經模型進行網絡研究的居多，主要是因為 IF 神經元的數學模型簡單、計算要求較低。在初步探索憶阻器突觸與神經元特性關系時，通常設定為幾個神經元，解決實際問題時才采用大規模神經網絡的形式。突觸權值的調整大多依據 STDP 規則，這也是憶阻器的主要特性。
3 未來研究方向
目前對于憶阻器的特征及其應用的研究還處于初級階段，仍然有大量工作需要開展和深入。
（1）目前憶阻器實物尚未市場化，真正研制出憶阻器硬件實物電路的很少，主要工作還集中在理論研究和仿真電路（或等效電路）及模型構建。但是仿真電路是連接理論研究和實際應用的橋梁，利用軟件對硬件系統進行建模和仿真可以為硬件系統的設計提供思路和方法，增加系統的實際可行性，減小硬件電路調試的困難，所以憶阻器的仿真電路還需要繼續花費心力設計。
（2）建立更切合實際的憶阻器模型和優化憶阻器性能的發展方向，尤其是研制更高阻值的憶阻器，將不同脈沖神經元模型側重表述的不同生理機制通過硬件形式表述出來，發揮其特有的優勢都是值得努力的方向。
（3）現在的芯片只是集成了大量的突觸及神經元，雖然已經能夠通過無監督學習 STDP 機制調整網絡取值，卻還是難以將現有的神經網絡理論全部應用到硬件電路中。例如使用 BP 等學習算法訓練神經網絡硬件電路，實現各個神經元之間任意的聯結和全局控制；另外，進一步地加快、穩定或提高時變 STDP 學習功能和性能理論研究，也是未來需要研究的方向。
（4）若要將仿真的網絡模型轉換成電子電路，進而對集成電路進行測試并投入到實際應用，就要求神經網絡芯片設計和憶阻器等電子器件的生產技術跟上理論研究的腳步，最終能夠通過硬件系統處理機器視覺和圖像等實際問題。否則，只能停留于理論研究的憶阻器脈沖神經網絡將失去實際意義。
引言
人工智能（artificial intelligence，AI）誕生的初衷是實現模擬、延伸和擴展人類智能[1]。大數據背景下，傳統計算機分離的計算模塊和存儲單元導致的命令執行延時和大量功耗，限制了人工智能的發展。在 Alpha Go 與李世石的一場對弈里使用了 1 920 個 CPU 和 280 個 GPU，耗電數千瓦，而李世石的大腦只消耗了 20 瓦，這說明我們距離真正的類人人工智能還很遙遠。于是研究者們致力于通過研究大腦體系中處理單元神經元和內存突觸物理相連的結構來改進計算機軟硬件的效率和性能。更具生物學基礎的第三代人工神經網絡[2-3]——脈沖神經網絡（spiking neuron networks，SNNs），以脈沖神經元作為處理單元，對信息進行并行加工和處理，網絡計算和信息傳遞能力比傳統人工神經網絡更強。但是許多需要進行現場實時處理的復雜數據（視頻、圖像等）信息，如果用軟件實現脈沖神經網絡算法來處理數據，不僅速度慢、并行程度低，難以滿足對大量數據信息的實時處理要求，還需要體積較大的計算機支持[4]。所以實現脈沖神經網絡硬件電路不僅是發揮其計算優勢的根本途徑，還是沖破馮·諾依曼計算機體系架構建立類腦計算機體系中硬件結構的關鍵技術。
接收和處理神經元外部輸入的突觸是整個神經網絡能夠正常工作的重要保證，因此突觸的硬件化對實現整個脈沖神經網絡的硬件電路具有重大意義。憶阻器的阻值依附于激勵電壓變化，可以看作是具有動態特性的電阻，阻值大小與歷史流經憶阻器的電荷或電流有關，改變流經它的電流的流向和大小就可以控制其阻值變化，而且即使電流中斷，記憶阻值也不會消失。這種特性正好類似于生物神經突觸連接強度隨外來信號變化的特性，所以人們用憶阻器來模擬生物突觸，存貯突觸權值并進行計算。憶阻器架構電路中將數據存儲與處理模塊合二為一，運用在線脈沖時間依賴可塑性（spike timing dependent plasticity，STDP）學習規則模擬大腦神經系統運算，省去了數據的調用過程，顯著降低了系統的資源消耗，提高了計算速度。運用憶阻器構建脈沖神經網絡具有以下優勢：① 可以實現突觸權值的連續更新；② 納米級憶阻器可以實現超高密度的集成網絡；③ 網絡具有學習和記憶的能力；④ 憶阻器是無源器件且掉電后信息的非易失性使系統能耗更低；⑤ 交叉陣列結構增強了信息處理能力并擴充了存儲空間。在近幾年，基于憶阻器的脈沖神經網絡硬件電路研究被廣泛關注，得到了迅速發展。
1 憶阻器工作原理
1971 年，加州大學伯克利分校的蔡少棠教授猜想存在著除電阻、電容、電感外的第四種無源電路器件——憶阻器
，表征了磁通量
與電荷量
之間的關系，其物理量綱與電阻相同，用符號“
”表示，憶阻器的提出完備了電路理論[5]，如圖 1 所示。
圖1
電路完備性理論
Figure1.
Theory of circuit completeness
惠普于 2008 年成功研制出納米級憶阻器物理模型，構建了一個三維憶阻器交叉陣列來模擬大腦皮層，隨后又將該陣列擴展到三維空間，模擬出真正的人腦突觸結構，證實了憶阻器的存在[6]。邊界遷移模型（理想模型）和自旋憶阻器模型是現在比較成熟的兩種憶阻器模型。惠普憶阻器的特性可用邊界遷移模型模擬，它能夠進行連續的輸入輸出。惠普憶阻器分為如圖 2 所示的摻雜區和非摻雜區兩部分。
圖2
憶阻器邊界遷移模型及等效模型
Figure2.
Boundary migration and equivalent model of memristor
用 w 表示摻雜區的厚度，D 表示整個二氧化鈦薄膜的厚度。當外加偏置電壓時，引起摻雜區與非摻雜區之間的邊界遷移，使 w 的大小發生改變，從而改變了憶阻器的阻值。當 w = D 時，憶阻器阻值為 Ron，當 w = 0 時阻值為 Roff。設憶阻器的阻值 M（q），則憶阻器的阻值表示為：
|
|
其中 w（t）是狀態控制變量，μv 是離子的平均遷移率。式（2）表明，邊界遷移速率與流經憶阻器的電流成線性關系，因此該模型又稱為線性漂移模型。對式（2）兩端積分再代入式（1），有
|
憶阻器的初始電阻
D，令
，則
|
式（4）揭示了憶阻器阻值與電荷之間的關系，稱為荷控憶阻器。式（3）還可以寫為：
|
式（5）揭示了憶阻器阻值與電流之間的關系，稱為流控憶阻器。
神經元突觸是大腦認知活動的最基本單元，所以仿生突觸是實現神經形態硬件計算電路的基礎。研究發現憶阻器的記憶功能和可操控性，與生物神經元突觸在刺激下對信號進行判斷和記憶的過程類似。憶阻器的電阻值可以連續緩慢地變化，將憶阻器的阻值（導電性）視為突觸權重，通過在憶阻器兩端施加不同強度的電壓或控制流經憶阻器的電流可以使憶阻值從高到低或者從低到高地變化，這個過程可視作突觸的增強和抑制過程。研究證實憶阻器可以模擬生物突觸的許多重要特征，例如長時程增強（long term potentiation，LTP）、長時程抑制（long term depression，LTD）、短時程增強（short term potentiation，STP）和 STDP 機制[7-15]，實現對生物突觸如興奮性突觸后電流、非線性傳輸特性、刺激頻率響應特性等多種生物功能的模擬[16]。
2 憶阻器構建脈沖神經網絡
2.1 憶阻器實現 STDP 機制
Hebb[17]于 1949 年提出著名的突觸可塑性理論 Hebbian 假說：在生物的一個學習或記憶過程中，如果神經元 A 的軸突能夠反復或持續地刺激神經元 B 興奮并放電，神經元 A 與神經元 B 之間的突觸強度就會增強。STDP 機制是時間非對稱形式的 Hebbian 學習，被認為是與學習和記憶功能密切相關的腦神經突觸機制之一[18]，它與突觸前后神經元膜電位放電時刻有關。若神經元是興奮性神經元：則當突觸前神經元先于突觸后神經元放電時，兩神經元之間的突觸連接得到加強；若突觸后放電時刻先于突觸前時則突觸連接受到抑制。抑制性神經元恰恰相反。令 Δt 為突觸前神經元與突觸后神經元放電時刻的差值，突觸權重的改變量為 w（Δt）。
w（Δt）的數學表達式如下：
|
其中參數 τ+ 和 τ– 分別表示突觸連接增強或減弱時突觸前后神經元峰電位間隔的范圍；A+ 和 A– 分別為突觸權重改變的最大量和最小量。
如果通過晶體管和電容、電阻相結合的互補金屬氧化物半導體（complementary metal oxide semiconductor，CMOS）集成的硬件電路去執行方程（6）的 STDP 規則，每個可塑性突觸需要大約 30 個晶體管，代價將是十分巨大的[19]，其復雜的制作工藝、高功耗、高集成度等必然會給大規模神經網絡的構建增加難度。與晶體管相比，憶阻器在網絡硬件電路中占用的空間更小，可以記憶存儲網絡不斷變化的迭代累加過程，簡化了網絡結構，減少了硬件消耗，有利于網絡的集成化和規模化。提供有效的 STDP 學習機制是憶阻器的一個關鍵屬性，憶阻器網絡中將突觸權值的存儲與計算整合在了一起，運用在線 STDP 學習規則模擬大腦神經系統運算，所以大大降低了系統功耗和加快了計算速度[20]。研究者從不同角度驗證和改善憶阻器對 STDP 學習規則的模擬效果，采用不同的方法改進電路設計來優化 STDP 學習算法的系統損耗和計算性能[21-25]。經過改進的憶阻器神經網絡可以通過 STDP 學習算法進行模式識別、邊緣檢測、優化系統資源損耗等[22-23]，而且具有良好的魯棒性，可以容忍電路器件參數的極端變化和自調整適應不同的信息編碼方式，為自適應電子電路的設計打開了新思路[24-25]。另外，憶阻器不僅可以執行單向的 STDP 學習規則，還能夠處理神經元發放的雙向傳播（向前和向后）脈沖，實現電突觸對突觸前或突觸后傳來的神經信號進行雙向傳遞的過程[26]。
2.2 脈沖神經元的構建
單個神經元可以看作是一個閾值可激發系統，只有當外界刺激強度高于閾值時，神經元才會產生興奮進而發放脈沖，再通過動作電位的傳導完成細胞與細胞間、同一細胞的不同部分之間信息的加工和傳遞。以硬件形式模擬出神經元的這種閾值特性，將是實現脈沖神經網絡硬件電路的關鍵。1952 年 Hodgkin 和 Huxley 依據槍烏賊巨軸突細胞膜表面電流與電壓時間的依賴關系，提出了著名的 Hodgkin-Huxley（H-H）方程，揭示了神經元膜電位與離子電導的變化規律。H-H 神經元方程奠定了電生理、膜生物物理和計算神經學科的基礎，成為后來所有描述神經元發放方程的結構基礎。由于 H-H 方程是四維動力學方程，參數太多，理論分析困難，人們為了滿足不同的研究需求，又建立了一系列形式各異的神經元模型方程。FitzHugh 在 H-H 方程可選擇的參數范圍內，從實驗角度有效模擬了 H-H 方程中所描述的神經元發放情形，將其化簡為了二維動力學方程——FitzHugh-Nagumo（FHN）方程。Hindmarsh-Rose（H-R）方程具有多重時間動力學行為，當改變外部輸入電流時，單一的 H-R 神經元可以展示出穩態、周期發放、周期性爆發以及混沌等不同的放電模式。脈沖響應模型（spike response model，SRM）表現出了與 H-H 神經元模型相似的動力學特性，經常用作脈沖神經網絡誤差反向傳播（back-propagation，BP）算法的計算單元。Integrate-and-Fire（IF）神經元模型是特殊情況下的 SRM 模型，它是只有一個變量的線性方程。相比于其他模型，IF 神經元模型數值模擬簡單，計算要求較低，更適合于數學分析。
文獻[27]構建了一個基于憶阻器的 IF 宏觀神經元模型，以憶阻器模型的非線性行為模擬神經元鈉、鉀離子通道的打開和關閉，IF 神經元的動作電位和細胞膜電位的不應期通過使用雙穩態憶阻器描述。文獻[28]研制出一種具有記憶能力的硅 IF 神經元，能夠完成包括電流輸送、模擬抑制和興奮性突觸、產生并發放脈沖等功能。文獻[29]分別構建了基于憶阻器的 FHN 神經元網絡和 H-R 神經元網絡，仿真出了神經元的分岔圖和混沌現象，揭示了耦合系統豐富的動態行為和同步現象。文獻[22]改進憶阻器一般確定性模型，阻值在外加電壓和必要時能夠平穩地隨機過渡切換，基于此憶阻器模型搭建的記憶性電路模擬出了 SRM 神經元響應模型的隨機發放。脈沖神經網絡最吸引人的地方就在于它具有通過學習使自身具備表達某種信息的能力，SRM 神經元響應模型是脈沖神經網絡梯度下降算法的運算模塊，所以 SRM 神經元模型的硬件化對于脈沖神經網絡硬件電路執行基于梯度下降的學習算法有至關重要的作用。
目前的神經元模型硬件電路，多是采用不同材料的 CMOS（硅或多晶硅）設計搭建的模擬電路[13, 30]。相對于數字電路實現方式，模擬電路實現神經元耗費大、耗時長，于是開始了探索數字電路實現神經元模型的方法。現場可編程門陣列（field programmable gate array，FPGA）內嵌豐富的硬核乘法器及存儲器資源，編程靈活性高，運行速度快，能夠重復配置，成為實現神經元數字電路的研究趨勢[31-32]。
2.3 脈沖神經網絡的構建
脈沖神經網絡的全硬件實現是神經網絡研究的重要課題。憶阻器具有的納米級尺寸、非易失性、低功耗、非揮發性等優點，使得它構建的脈沖神經網絡具有資源消耗少、穩定性好、計算速度快和可以通過算法改變突觸權值等優點。靜態隨機存取存儲器連續更新的存儲數據不僅限制了系統的運行速度，而且它在讀寫數據和運行算法時消耗了系統大部分的能量。而脈沖神經網絡只有當神經元接收到特定脈沖時才進行計算，降低了功耗和提高了計算速度。憶阻器能夠模擬多級神經形態特征，具有存儲記憶的非易失和良好的突觸線性運算特性，不僅可以進行邏輯運算，還可以記憶和運算二進制的數字信號[30, 33-34]。基于憶阻器的脈沖神經元電路不僅能夠模擬大腦的運算方式，還具有很好的魯棒性和容錯性[24-25, 34-35]。基于憶阻器的動態阻值突觸設計的脈沖神經網絡，通過 STDP 規則和遠程監督學習方法（remote supervised method，ReSuMe）算法分別執行了一次學習任務，數據的調用和學習速度可以達到納秒級，證實了脈沖神經網絡硬件電路的執行和計算效率[21]。
通過硬件電路執行脈沖神經網絡學習算法也是理論研究的終極目的。憶阻器神經網絡能夠根據外加電壓調節權值，通過自適應 Hebbian 學習過程找到合適的網絡配置權值[36-37]。重慶大學李傳東等[38]建立了“整合——激發”型神經元 SPICE 仿真電路，并結合 CMOS 管及憶阻器的特性重新設計了神經元突觸電路結構，以 2 個 IF 神經元構成的神經網絡實現了 Hebbian 學習的平均激發率學習規則，基于多個神經元的神經網絡完成了聯想記憶學習。東北師范大學劉玉東等[23]將構建的基于憶阻器的三層四方向仿生脈沖神經網絡用于圖像的邊緣提取中，運用的 STDP 學習方法與生物信息處理機制更加相符，顯示出良好的邊緣檢測效果。憶阻器除了可以執行 STDP 與 Hebbian 等無監督學習規則外，還可以構建單層感知器網絡電路，分別通過 ex situ 和 in situ 兩種訓練方法進行模式分類，這也為未來憶阻器實現卷積神經網絡和周期 Hopfield 網絡奠定了基礎[39]。也有實驗證明由憶阻器脈沖神經網絡執行的 ReSuMe 學習規則比 STDP 學習規則的精度更好，學習速度更快[21]。下面表 1 總結了近幾年來基于憶阻器的脈沖神經網絡研究現狀。
表1
幾種基于憶阻器的脈沖神經網絡比較
Table1.
Comparison of several spiking neuron networks based on memristor
現在所研究的憶阻器脈沖神經網絡，真正以硬件實物形式呈現的很少，大都還局限在仿真電路上。在神經元模型方面，選擇 IF 神經模型進行網絡研究的居多，主要是因為 IF 神經元的數學模型簡單、計算要求較低。在初步探索憶阻器突觸與神經元特性關系時，通常設定為幾個神經元，解決實際問題時才采用大規模神經網絡的形式。突觸權值的調整大多依據 STDP 規則，這也是憶阻器的主要特性。
3 未來研究方向
目前對于憶阻器的特征及其應用的研究還處于初級階段，仍然有大量工作需要開展和深入。
（1）目前憶阻器實物尚未市場化，真正研制出憶阻器硬件實物電路的很少，主要工作還集中在理論研究和仿真電路（或等效電路）及模型構建。但是仿真電路是連接理論研究和實際應用的橋梁，利用軟件對硬件系統進行建模和仿真可以為硬件系統的設計提供思路和方法，增加系統的實際可行性，減小硬件電路調試的困難，所以憶阻器的仿真電路還需要繼續花費心力設計。
（2）建立更切合實際的憶阻器模型和優化憶阻器性能的發展方向，尤其是研制更高阻值的憶阻器，將不同脈沖神經元模型側重表述的不同生理機制通過硬件形式表述出來，發揮其特有的優勢都是值得努力的方向。
（3）現在的芯片只是集成了大量的突觸及神經元，雖然已經能夠通過無監督學習 STDP 機制調整網絡取值，卻還是難以將現有的神經網絡理論全部應用到硬件電路中。例如使用 BP 等學習算法訓練神經網絡硬件電路，實現各個神經元之間任意的聯結和全局控制；另外，進一步地加快、穩定或提高時變 STDP 學習功能和性能理論研究，也是未來需要研究的方向。
（4）若要將仿真的網絡模型轉換成電子電路，進而對集成電路進行測試并投入到實際應用，就要求神經網絡芯片設計和憶阻器等電子器件的生產技術跟上理論研究的腳步，最終能夠通過硬件系統處理機器視覺和圖像等實際問題。否則，只能停留于理論研究的憶阻器脈沖神經網絡將失去實際意義。
