閉環經顱超聲刺激技術基于實時反饋信號，具備對神經活動進行精準調控的潛力。在本文中，首先記錄了不同強度的超聲刺激下小鼠的局部場電位（LFP）和肌電（EMG）信號，然后基于數據離線建立了超聲強度與小鼠LFP峰值/EMG均值的數學模型，仿真并搭建了PID神經網絡控制算法調節小鼠LFP峰值和EMG均值的經顱超聲閉環控制系統，實現了小鼠LFP峰值和EMG均值閉環控制。另外，使用廣義最小方差控制算法，實現了對小鼠theta振蕩功率的閉環控制。結果顯示，閉環超聲刺激調控后的LFP峰值、EMG均值和theta功率與給定值未見明顯差異，說明實現了對小鼠LFP峰值、EMG均值和theta功率明顯的控制作用。基于閉環控制算法的經顱超聲刺激提供了一種精準調節小鼠電生理信號的直接工具。
引用本文： 董舒尋, 謝振宇, 王星冉, 袁毅. 基于閉環控制的經顱超聲刺激調節運動響應和神經活動. 生物醫學工程學雜志, 2023, 40(2): 265-271. doi: 10.7507/1001-5515.202205052 復制
0 引言
由于慢性腦部疾病對人們生活質量的長期負面影響，各類神經調控技術引起了生物醫學領域研究人員的關注[1-4]，其中包括深部腦刺激等侵入性方法，以及經顱磁刺激和經顱電刺激等非侵入性方法。這些方法各自具有獨特的優勢和適用范圍，但也有缺點和局限性。為了克服上述神經刺激技術諸如有創、較低的空間分辨率和較低的穿透深度等物理限制[5-6]，研究人員發展了經顱超聲刺激技術（transcranial ultrasound stimulation，TUS）[7-8]。
關于超聲神經腦刺激技術在調節神經活動方面的研究已經取得了一系列進展。研究人員使用超聲刺激麻醉小鼠運動皮層可以引起小鼠尾部的運動響應，同時能檢測到相應的肌電（electromyogram，EMG）信號[9]。超聲刺激小鼠海馬腦區則可以引起局部場電位（local field potential，LFP）的振蕩強度變化[10]。超聲刺激對羊的初級感覺運動皮層的調控也能夠引起類似的LFP信號和EMG信號的變化[11]。另外，超聲刺激對靈長類動物的前額葉區也存在顯著的神經活動調控作用[12]。以上廣泛的動物實驗結果都表明超聲刺激能夠有效地調節神經放電活動。
然而，以上所有超聲刺激實驗都以開環模式進行，即刺激系統只能按照預先設定的參數發出固定參數的超聲刺激而不能根據實時的電生理信號做出相應調整。而閉環刺激不僅可以根據大腦的活動狀態在特定時間施加精準刺激，并提高刺激效果，還可以根據刺激效果對刺激參數做出實時調整。目前超聲閉環刺激技術已在多種神經疾病的治療中顯示出突出優勢，例如對癲癇異常腦電的在線檢測和抑制[13-16]。
在神經工程領域，很多控制算法為閉環刺激系統提供了新的方案。例如，經典的比例-積分-微分（Proportion-Integration-Differentiation，PID）算法被用于閉環控制系統設計，并在LFP閉環系統中得到可行性驗證[17]；分數階PID算法被應用于癲癇和帕金森病的閉環抑制系統[18-19]。近年來，人工智能技術快速發展，神經網絡控制作為智能控制的一個重要分支，已廣泛應用于工程領域[20-23]。PID神經網絡（PID neural network，PIDNN）是一種融合基本PID控制理念和神經網絡的動態網絡[24]。在隱藏層神經元中，它包括具有靜態非線性映射功能的比例神經元，還包括了積分神經元和微分神經元以處理動態信息。廣義最小方差控制是一種在最小方差性能指標的基礎上加上對控制量的加權的自適應控制算法，能夠限制過大的控制輸入，并且能夠控制非最小相位系統。
在本文中，我們首先記錄了在不同強度超聲刺激下小鼠的LFP和EMG，然后基于數據離線建立了超聲強度與小鼠LFP峰值/EMG均值的數學模型，并仿真了PID神經網絡控制算法調節小鼠LFP峰值和EMG均值的閉環控制系統，最后建立基于PID神經網絡的閉環超聲刺激系統用于對在體小鼠的LFP峰值和EMG均值的閉環控制。在該閉環超聲刺激實驗平臺基礎上，我們使用廣義最小方差控制算法對theta節律功率強度進行閉環控制。
1 實驗內容
1.1 實驗動物
實驗中一共使用了27只C57BL/6野生型小鼠，均為雄性，體重20～25 g，4～5周齡，購自北京維通利華實驗動物科技有限公司。其中對超聲強度和LFP峰值和EMG均值的建模實驗使用6只小鼠，LFP峰值、EMG均值和theta功率閉環控制實驗各使用7只小鼠。實驗動物平時飼養于清潔的動物房，自由攝取食物和水，每日光照時間約為12 h，環境溫度在（24 ± 1）℃。所有的程序都遵循動物倫理以及燕山大學倫理委員會的規定。
1.2 植入電極
在植入微絲電極的手術操作中，我們將異氟烷（濃度2%）麻醉的小鼠固定在適配器上。使用生理鹽水將小鼠的頭部皮毛浸濕，移除皮毛和骨膜并使用生理鹽水清潔頭骨。在鼻骨區域植入螺釘用作參考電極和地電極；然后在M1主運動皮層對應位置上方顱骨打孔，將單通道鎢電極（MicroProbe，WE50030.1B10，美國）插入腦組織中（深度約0.5 mm）。我們將消毒處理后的銅質電極置入針頭，再將針頭刺入小鼠尾部，緩慢旋轉并拔出針頭，使銅絲滯留小鼠皮下，實現銅質電極的尾部皮下植入手術。參考線和地線則分別植入小鼠的雙后肢皮下。
1.3 超聲刺激實驗方案
本實驗的經顱超聲由兩臺信號發生器共同發生。第一信號發生器（RIGOL，DG1022U，中國）發出方波（頻率：1 kHz；循環數：400 cyc），調制第二信號發生器（Tektronix，AFG3022C，美國）的正弦波電信號（頻率：500 kHz；循環數：250 cyc）。第二發生器輸出的脈沖信號由射頻放大器（E&I，240L，美國）放大后經超聲換能器（Olympus，V301-SU，美國）和充滿超聲耦合液的錐形準直器穿透小鼠顱骨到達刺激靶點。我們調整裝滿耦合液的超聲準直器對準M1主運動皮層位置，將異氟烷濃度調至0.3%～0.5%，在超聲刺激小鼠運動皮層M1區域的同時記錄超聲刺激誘發的LFP和EMG。為了建立超聲強度與小鼠LFP和EMG的數學模型，我們使用不同強度超聲刺激小鼠（n=6）運動皮層并同時記錄刺激區域的LFP和尾部EMG。在采集過程中，超聲電信號峰峰值范圍為350～750 mV，間隔50 mV，對應的聲壓為0.21～0.78 MPa。對于每只小鼠進行三組刺激，每組刺激過程包含16次超聲刺激，每次刺激持續時間0.4 s，相鄰兩次刺激間隔為10 s，不同刺激強度實驗間隔15 min。采集到的電生理信號上傳至神經信號處理器（Blackrock Microsystems，Cerebus，美國），然后傳輸到上位機進行數據存儲和處理，數據采樣率為2 kHz。在LFP峰值、EMG均值和theta功率的閉環控制實驗中，我們對每只小鼠進行三組刺激，每組包含15次刺激，其中前5次為假刺激，后10次為超聲刺激。
1.4 theta功率的計算
在theta功率閉環控制中，我們提取超聲刺激后2.5 s內的LFP，并使用Welch法[25]估計功率譜密度。首先，將待處理的數據分成L段，每段長度為M，其中第i段的數據
（0 ≤ n ≤ M）的功率譜密度表示為：
 |
式中，
為漢寧窗，且我們使用
 |
作為歸一化因子保證漸進的無偏估計譜。將L段功率譜密度平均后得到該段信號的功率譜密度 
：
 |
然后，在功率譜密度中對頻率積分得到功率：
 |
式中，HF和LF分別為目標頻率上下限，在本系統中HF = 8 Hz，LF = 4 Hz。
1.5 統計分析
使用單樣本 t 檢驗（one sample t-tests）分析結果，檢驗水準為0.05。
2 閉環超聲刺激系統
2.1 基于PID神經網絡的LFP/EMG控制系統
我們使用SPIDNN控制算法實現小鼠LFP和EMG的閉環超聲控制。如圖1所示，SPIDNN是一個2 × 3 × 2的神經網絡，輸入層和隱藏層彼此獨立。輸入層有兩個神經元，它們是輸入系統的給定值與實際輸出值，分別用r和y表示。學習的目標功能是讓式（5）達到最小。
圖1
基于PIDNN的超聲閉環系統
Figure1.
The ultrasound closed-loop system based on PIDNN
 |
PIDNN各層的權重值采用梯度下降法，迭代方程為：
 |
其中，w包括隱含層到輸出層的權重和輸入層到隱含層的權重。n0為學習步數，η為學習率。閉環系統參數進行了以下設置：網絡初始值隨機初始化，網絡學習速率η = 0.04，仿真步長0.01 s。在仿真中，我們使用離線的CARMA模型辨識方法建立超聲刺激小鼠運動皮層誘發LFP和EMG的數學模型。描述輸入u（超聲刺激強度）和輸出y（LFP峰值/EMG均值）的數學關系，其隨機模型為：
 |
且
 |
其中，C(z?1)為Hurwitz多項式，即其零點完全位于z平面的單位圓內，na和nb根據最優的擬合結果選擇，u(k)和y(k)分別表示在k時刻超聲強度值和被記錄的系統輸出，ξ(k)為方差為σ2的白噪聲，d ≥ 1為純延時。我們引入均方預測誤差：
 |
其中，y(k|k–1)是基于k–1時刻之前的歷史輸入輸出的預測，由式（7）可以得到：
 |
式（7）中模型的參數利用遞推最小二乘法（recursive least square，RLS）使式（9）最小化得到。
在本仿真系統中，小鼠的LFP峰值和EMG均值作為受控參數，通過PID神經網絡，將給定的LFP峰值和EMG均值轉換為超聲強度。在該刺激強度下的LFP和EMG由數學模型（7）～（8）獲得，再計算得到LFP峰值和EMG均值，并反饋至給定值。控制器根據反饋值與給定值之間的偏差控制超聲強度，以實現超聲刺激對小鼠的LFP峰值和EMG均值的閉環控制。
2.2 基于最小方差控制的theta功率閉環控制系統
本研究利用基于在線識別的CARMA模型，構建了基于廣義最小方差控制算法的閉環控制系統（見圖2），用于調節小鼠theta振蕩功率強度。該系統通過最小化修正跟蹤誤差的方差來計算輸入。
圖2
基于廣義最小方差控制的超聲閉環系統
Figure2.
The ultrasound closed-loop system based on generalized minimum variance control
系統的選擇性能指標函數為：
 |
控制器輸出為：
 |
其中，y(k + d)、r(k + d)分別為第k + d時刻的系統實際輸出及期望輸出；u(k)為k時刻的控制量；P(z–1)、R(z–1)和Q(z–1)分別為實際輸出、期望輸出和控制量的加權多項式，且
 |
G(z–1 )、F(z–1)通過引入系統的Diophantine方程解得：
 |
其中A(z–1)、B(z–1)、C(z–1)來自在線的遞推RLS求解的式（7）。解該方程組得到G(z–1)、F(z–1)，且
 |
其中，ne = d – 1，ng = na – 1，nf = nb + d – 1。輸入u(k)為超聲強度（0.21～0.78 MPa），反饋信號y(k)的值由采集到的LFP獲得。我們使用濾波函數Filter對原始LFP進行4～8 Hz帶通濾波得到theta振蕩。性能指標函數中加權了輸出信號的濾波實現和給定之間的跟蹤誤差，其中濾波器P(z–1)、R(z–1)和Q(z–1)取決于期望的閉環行為和控制命令u(k)。選擇合適的P(z–1)、R(z–1)和Q(z–1)是為了改善系統性能，柔化期望輸出和約束控制量。在本系統中，我們選擇了P(z–1) = R(z–1) = 1、Q(z–1) = q0的參數方案[26]，在避免廣義最小方差控制退化為最小方差控制且對控制量的約束過大的背景下，將系統的閉環特征根置于穩定范圍內。
3 實驗與結果
3.1 基于PID神經網絡的LFP/EMG控制結果
我們對小鼠分別進行LFP峰值（n = 7）和EMG均值（n = 7）閉環控制實驗，其中LFP峰值的設定值分別為250、270、300、330 μV，EMG均值的設定值分別為300、350、400、450 μV。LFP峰值的閉環跟蹤結果如圖3所示，EMG均值的閉環跟蹤結果如圖4所示，陰影部分為5次假刺激。結果表明在LFP閉環實驗中，所有給定值下超聲刺激誘導的LFP峰值的平均值與給定值的誤差較假刺激減小，且調控后的LFP峰值的平均值與給定值未見明顯差異（假刺激：P < 0.001；超聲刺激：P > 0.050），說明PID神經網絡控制器對LFP峰值產生了有效控制。在EMG閉環實驗中，所有給定值下超聲刺激誘導的EMG均值的平均值與給定值的誤差較假刺激減小，且調控后的EMG均值的平均值與給定值未見明顯差異（假刺激：P < 0.001；超聲刺激：P > 0.050），說明PID神經網絡控制器對EMG均值產生了有效控制。這些結果表明，我們建立的基于PID神經網絡控制算法的閉環超聲刺激系統可以有效地調控小鼠的LFP峰值和EMG均值。
圖3
LFP峰值閉環控制實驗結果（
，n = 7）
Figure3.
The experimental results of closed-loop control of LFP peak (
, n = 7)
圖4
EMG均值閉環控制實驗結果（
，n = 7）
Figure4.
The experimental results of closed-loop control of EMG mean (
, n = 7)
3.2 基于最小方差控制的theta功率閉環控制結果
我們對小鼠進行theta頻段功率控制實驗（n = 7）。theta頻段功率值的閉環跟蹤結果如圖5所示，陰影部分為5次假刺激。所有給定值下超聲刺激誘導的theta功率的平均值與給定值的誤差較假刺激下的誤差減小，且調控后的theta功率的平均值與給定值未見明顯差異（假刺激：P < 0.001；超聲刺激：P > 0.050），說明PID神經網絡控制器對theta功率產生了有效控制。以上結果證明基于最小方差控制算法的閉環超聲刺激系統可以有效地調控小鼠theta功率。
圖5
theta功率閉環控制實驗結果（
，n = 7）
Figure5.
The experimental results of closed-loop control of theta power (
, n = 7)
4 討論
在本文中，我們首先將經顱超聲閉環控制系統與PID神經網絡控制相結合實現了對LFP和EMG信號特征值的實時控制。接著，我們將閉環超聲控制系統與廣義最小方差控制相結合實現了對theta功率的實時控制。以上實驗結果一致表明基于閉環控制的經顱超聲系統對運動響應和神經活動具有良好的調控作用，且在這種離散刺激方式的超聲閉環系統中，控制系統的上升時間是都在1～2次刺激內，顯示出較好的時間響應性能。針對小鼠這種生物的不確定系統，使用智能控制和自適應控制解決建模的不精確性和外界擾動帶來的動態影響是合理的，因此我們使用了兩種不同的應對復雜不確定系統的控制方法。其中PID神經網絡在無監督學習方式下，根據實時的控制效果進行在線學習和調整；廣義最小方差控制通過在線辨識當前被控對象的數學模型，使控制器與被控對象和環境達到良好的匹配。除了以上兩種控制算法，還有一些其他的控制理論和算法，包括模糊控制、PID和滑模控制等算法也常被用于生物體系的閉環控制，但是目前還不清楚它們與閉環超聲刺激相結合時是否能夠較好地實現對目標值的實時跟蹤，我們將在下一步工作中開展相關研究。
目前限于我們對超聲誘導LFP和EMG的生物機制的理解，穩定的控制作用僅限于一段時間內，而實現長期穩定調控作用是下一個目標。因此，對于超聲神經調控的本質理解尤為重要，這是閉環超聲調控進一步與現代控制理論結合的重要基礎。我們的最終目標是搭建一套綜合型超聲閉環控制系統，從而實現對各種腦疾病的臨床治療。
5 結論
我們將超聲神經調控、閉環控制系統和PID神經網絡控制算法相結合，構建了基于PID神經網絡的經顱超聲閉環控制系統，并證實該系統對LFP峰值以及EMG均值具有良好的控制效果；我們還使用廣義最小方差控制算法，實現了對theta功率的良好調控。該研究將為閉環超聲刺激在神經類疾病的臨床治療提供研究基礎。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：董舒尋負責實驗設計、數據收集、數據分析和論文寫作，謝振宇負責數據收集和論文寫作，王星冉負責數據收集和論文審查，袁毅負責實驗監督、構思以及寫作審查和編輯。
倫理聲明：本研究通過了燕山大學倫理委員會的審批（批文編號：2019006）。
0 引言
由于慢性腦部疾病對人們生活質量的長期負面影響，各類神經調控技術引起了生物醫學領域研究人員的關注[1-4]，其中包括深部腦刺激等侵入性方法，以及經顱磁刺激和經顱電刺激等非侵入性方法。這些方法各自具有獨特的優勢和適用范圍，但也有缺點和局限性。為了克服上述神經刺激技術諸如有創、較低的空間分辨率和較低的穿透深度等物理限制[5-6]，研究人員發展了經顱超聲刺激技術（transcranial ultrasound stimulation，TUS）[7-8]。
關于超聲神經腦刺激技術在調節神經活動方面的研究已經取得了一系列進展。研究人員使用超聲刺激麻醉小鼠運動皮層可以引起小鼠尾部的運動響應，同時能檢測到相應的肌電（electromyogram，EMG）信號[9]。超聲刺激小鼠海馬腦區則可以引起局部場電位（local field potential，LFP）的振蕩強度變化[10]。超聲刺激對羊的初級感覺運動皮層的調控也能夠引起類似的LFP信號和EMG信號的變化[11]。另外，超聲刺激對靈長類動物的前額葉區也存在顯著的神經活動調控作用[12]。以上廣泛的動物實驗結果都表明超聲刺激能夠有效地調節神經放電活動。
然而，以上所有超聲刺激實驗都以開環模式進行，即刺激系統只能按照預先設定的參數發出固定參數的超聲刺激而不能根據實時的電生理信號做出相應調整。而閉環刺激不僅可以根據大腦的活動狀態在特定時間施加精準刺激，并提高刺激效果，還可以根據刺激效果對刺激參數做出實時調整。目前超聲閉環刺激技術已在多種神經疾病的治療中顯示出突出優勢，例如對癲癇異常腦電的在線檢測和抑制[13-16]。
在神經工程領域，很多控制算法為閉環刺激系統提供了新的方案。例如，經典的比例-積分-微分（Proportion-Integration-Differentiation，PID）算法被用于閉環控制系統設計，并在LFP閉環系統中得到可行性驗證[17]；分數階PID算法被應用于癲癇和帕金森病的閉環抑制系統[18-19]。近年來，人工智能技術快速發展，神經網絡控制作為智能控制的一個重要分支，已廣泛應用于工程領域[20-23]。PID神經網絡（PID neural network，PIDNN）是一種融合基本PID控制理念和神經網絡的動態網絡[24]。在隱藏層神經元中，它包括具有靜態非線性映射功能的比例神經元，還包括了積分神經元和微分神經元以處理動態信息。廣義最小方差控制是一種在最小方差性能指標的基礎上加上對控制量的加權的自適應控制算法，能夠限制過大的控制輸入，并且能夠控制非最小相位系統。
在本文中，我們首先記錄了在不同強度超聲刺激下小鼠的LFP和EMG，然后基于數據離線建立了超聲強度與小鼠LFP峰值/EMG均值的數學模型，并仿真了PID神經網絡控制算法調節小鼠LFP峰值和EMG均值的閉環控制系統，最后建立基于PID神經網絡的閉環超聲刺激系統用于對在體小鼠的LFP峰值和EMG均值的閉環控制。在該閉環超聲刺激實驗平臺基礎上，我們使用廣義最小方差控制算法對theta節律功率強度進行閉環控制。
1 實驗內容
1.1 實驗動物
實驗中一共使用了27只C57BL/6野生型小鼠，均為雄性，體重20～25 g，4～5周齡，購自北京維通利華實驗動物科技有限公司。其中對超聲強度和LFP峰值和EMG均值的建模實驗使用6只小鼠，LFP峰值、EMG均值和theta功率閉環控制實驗各使用7只小鼠。實驗動物平時飼養于清潔的動物房，自由攝取食物和水，每日光照時間約為12 h，環境溫度在（24 ± 1）℃。所有的程序都遵循動物倫理以及燕山大學倫理委員會的規定。
1.2 植入電極
在植入微絲電極的手術操作中，我們將異氟烷（濃度2%）麻醉的小鼠固定在適配器上。使用生理鹽水將小鼠的頭部皮毛浸濕，移除皮毛和骨膜并使用生理鹽水清潔頭骨。在鼻骨區域植入螺釘用作參考電極和地電極；然后在M1主運動皮層對應位置上方顱骨打孔，將單通道鎢電極（MicroProbe，WE50030.1B10，美國）插入腦組織中（深度約0.5 mm）。我們將消毒處理后的銅質電極置入針頭，再將針頭刺入小鼠尾部，緩慢旋轉并拔出針頭，使銅絲滯留小鼠皮下，實現銅質電極的尾部皮下植入手術。參考線和地線則分別植入小鼠的雙后肢皮下。
1.3 超聲刺激實驗方案
本實驗的經顱超聲由兩臺信號發生器共同發生。第一信號發生器（RIGOL，DG1022U，中國）發出方波（頻率：1 kHz；循環數：400 cyc），調制第二信號發生器（Tektronix，AFG3022C，美國）的正弦波電信號（頻率：500 kHz；循環數：250 cyc）。第二發生器輸出的脈沖信號由射頻放大器（E&I，240L，美國）放大后經超聲換能器（Olympus，V301-SU，美國）和充滿超聲耦合液的錐形準直器穿透小鼠顱骨到達刺激靶點。我們調整裝滿耦合液的超聲準直器對準M1主運動皮層位置，將異氟烷濃度調至0.3%～0.5%，在超聲刺激小鼠運動皮層M1區域的同時記錄超聲刺激誘發的LFP和EMG。為了建立超聲強度與小鼠LFP和EMG的數學模型，我們使用不同強度超聲刺激小鼠（n=6）運動皮層并同時記錄刺激區域的LFP和尾部EMG。在采集過程中，超聲電信號峰峰值范圍為350～750 mV，間隔50 mV，對應的聲壓為0.21～0.78 MPa。對于每只小鼠進行三組刺激，每組刺激過程包含16次超聲刺激，每次刺激持續時間0.4 s，相鄰兩次刺激間隔為10 s，不同刺激強度實驗間隔15 min。采集到的電生理信號上傳至神經信號處理器（Blackrock Microsystems，Cerebus，美國），然后傳輸到上位機進行數據存儲和處理，數據采樣率為2 kHz。在LFP峰值、EMG均值和theta功率的閉環控制實驗中，我們對每只小鼠進行三組刺激，每組包含15次刺激，其中前5次為假刺激，后10次為超聲刺激。
1.4 theta功率的計算
在theta功率閉環控制中，我們提取超聲刺激后2.5 s內的LFP，并使用Welch法[25]估計功率譜密度。首先，將待處理的數據分成L段，每段長度為M，其中第i段的數據（0 ≤ n ≤ M）的功率譜密度表示為：
|
式中，為漢寧窗，且我們使用
|
作為歸一化因子保證漸進的無偏估計譜。將L段功率譜密度平均后得到該段信號的功率譜密度 ：
|
然后，在功率譜密度中對頻率積分得到功率：
|
式中，HF和LF分別為目標頻率上下限，在本系統中HF = 8 Hz，LF = 4 Hz。
1.5 統計分析
使用單樣本 t 檢驗（one sample t-tests）分析結果，檢驗水準為0.05。
2 閉環超聲刺激系統
2.1 基于PID神經網絡的LFP/EMG控制系統
我們使用SPIDNN控制算法實現小鼠LFP和EMG的閉環超聲控制。如圖1所示，SPIDNN是一個2 × 3 × 2的神經網絡，輸入層和隱藏層彼此獨立。輸入層有兩個神經元，它們是輸入系統的給定值與實際輸出值，分別用r和y表示。學習的目標功能是讓式（5）達到最小。
圖1
基于PIDNN的超聲閉環系統
Figure1.
The ultrasound closed-loop system based on PIDNN
|
PIDNN各層的權重值采用梯度下降法，迭代方程為：
|
其中，w包括隱含層到輸出層的權重和輸入層到隱含層的權重。n0為學習步數，η為學習率。閉環系統參數進行了以下設置：網絡初始值隨機初始化，網絡學習速率η = 0.04，仿真步長0.01 s。在仿真中，我們使用離線的CARMA模型辨識方法建立超聲刺激小鼠運動皮層誘發LFP和EMG的數學模型。描述輸入u（超聲刺激強度）和輸出y（LFP峰值/EMG均值）的數學關系，其隨機模型為：
|
且
|
其中，C(z?1)為Hurwitz多項式，即其零點完全位于z平面的單位圓內，na和nb根據最優的擬合結果選擇，u(k)和y(k)分別表示在k時刻超聲強度值和被記錄的系統輸出，ξ(k)為方差為σ2的白噪聲，d ≥ 1為純延時。我們引入均方預測誤差：
|
其中，y(k|k–1)是基于k–1時刻之前的歷史輸入輸出的預測，由式（7）可以得到：
|
式（7）中模型的參數利用遞推最小二乘法（recursive least square，RLS）使式（9）最小化得到。
在本仿真系統中，小鼠的LFP峰值和EMG均值作為受控參數，通過PID神經網絡，將給定的LFP峰值和EMG均值轉換為超聲強度。在該刺激強度下的LFP和EMG由數學模型（7）～（8）獲得，再計算得到LFP峰值和EMG均值，并反饋至給定值。控制器根據反饋值與給定值之間的偏差控制超聲強度，以實現超聲刺激對小鼠的LFP峰值和EMG均值的閉環控制。
2.2 基于最小方差控制的theta功率閉環控制系統
本研究利用基于在線識別的CARMA模型，構建了基于廣義最小方差控制算法的閉環控制系統（見圖2），用于調節小鼠theta振蕩功率強度。該系統通過最小化修正跟蹤誤差的方差來計算輸入。
圖2
基于廣義最小方差控制的超聲閉環系統
Figure2.
The ultrasound closed-loop system based on generalized minimum variance control
系統的選擇性能指標函數為：
|
控制器輸出為：
|
其中，y(k + d)、r(k + d)分別為第k + d時刻的系統實際輸出及期望輸出；u(k)為k時刻的控制量；P(z–1)、R(z–1)和Q(z–1)分別為實際輸出、期望輸出和控制量的加權多項式，且
|
G(z–1 )、F(z–1)通過引入系統的Diophantine方程解得：
|
其中A(z–1)、B(z–1)、C(z–1)來自在線的遞推RLS求解的式（7）。解該方程組得到G(z–1)、F(z–1)，且
|
其中，ne = d – 1，ng = na – 1，nf = nb + d – 1。輸入u(k)為超聲強度（0.21～0.78 MPa），反饋信號y(k)的值由采集到的LFP獲得。我們使用濾波函數Filter對原始LFP進行4～8 Hz帶通濾波得到theta振蕩。性能指標函數中加權了輸出信號的濾波實現和給定之間的跟蹤誤差，其中濾波器P(z–1)、R(z–1)和Q(z–1)取決于期望的閉環行為和控制命令u(k)。選擇合適的P(z–1)、R(z–1)和Q(z–1)是為了改善系統性能，柔化期望輸出和約束控制量。在本系統中，我們選擇了P(z–1) = R(z–1) = 1、Q(z–1) = q0的參數方案[26]，在避免廣義最小方差控制退化為最小方差控制且對控制量的約束過大的背景下，將系統的閉環特征根置于穩定范圍內。
3 實驗與結果
3.1 基于PID神經網絡的LFP/EMG控制結果
我們對小鼠分別進行LFP峰值（n = 7）和EMG均值（n = 7）閉環控制實驗，其中LFP峰值的設定值分別為250、270、300、330 μV，EMG均值的設定值分別為300、350、400、450 μV。LFP峰值的閉環跟蹤結果如圖3所示，EMG均值的閉環跟蹤結果如圖4所示，陰影部分為5次假刺激。結果表明在LFP閉環實驗中，所有給定值下超聲刺激誘導的LFP峰值的平均值與給定值的誤差較假刺激減小，且調控后的LFP峰值的平均值與給定值未見明顯差異（假刺激：P < 0.001；超聲刺激：P > 0.050），說明PID神經網絡控制器對LFP峰值產生了有效控制。在EMG閉環實驗中，所有給定值下超聲刺激誘導的EMG均值的平均值與給定值的誤差較假刺激減小，且調控后的EMG均值的平均值與給定值未見明顯差異（假刺激：P < 0.001；超聲刺激：P > 0.050），說明PID神經網絡控制器對EMG均值產生了有效控制。這些結果表明，我們建立的基于PID神經網絡控制算法的閉環超聲刺激系統可以有效地調控小鼠的LFP峰值和EMG均值。
圖3
LFP峰值閉環控制實驗結果（，n = 7）
Figure3.
The experimental results of closed-loop control of LFP peak (, n = 7)
圖4
EMG均值閉環控制實驗結果（，n = 7）
Figure4.
The experimental results of closed-loop control of EMG mean (, n = 7)
3.2 基于最小方差控制的theta功率閉環控制結果
我們對小鼠進行theta頻段功率控制實驗（n = 7）。theta頻段功率值的閉環跟蹤結果如圖5所示，陰影部分為5次假刺激。所有給定值下超聲刺激誘導的theta功率的平均值與給定值的誤差較假刺激下的誤差減小，且調控后的theta功率的平均值與給定值未見明顯差異（假刺激：P < 0.001；超聲刺激：P > 0.050），說明PID神經網絡控制器對theta功率產生了有效控制。以上結果證明基于最小方差控制算法的閉環超聲刺激系統可以有效地調控小鼠theta功率。
圖5
theta功率閉環控制實驗結果（，n = 7）
Figure5.
The experimental results of closed-loop control of theta power (, n = 7)
4 討論
在本文中，我們首先將經顱超聲閉環控制系統與PID神經網絡控制相結合實現了對LFP和EMG信號特征值的實時控制。接著，我們將閉環超聲控制系統與廣義最小方差控制相結合實現了對theta功率的實時控制。以上實驗結果一致表明基于閉環控制的經顱超聲系統對運動響應和神經活動具有良好的調控作用，且在這種離散刺激方式的超聲閉環系統中，控制系統的上升時間是都在1～2次刺激內，顯示出較好的時間響應性能。針對小鼠這種生物的不確定系統，使用智能控制和自適應控制解決建模的不精確性和外界擾動帶來的動態影響是合理的，因此我們使用了兩種不同的應對復雜不確定系統的控制方法。其中PID神經網絡在無監督學習方式下，根據實時的控制效果進行在線學習和調整；廣義最小方差控制通過在線辨識當前被控對象的數學模型，使控制器與被控對象和環境達到良好的匹配。除了以上兩種控制算法，還有一些其他的控制理論和算法，包括模糊控制、PID和滑模控制等算法也常被用于生物體系的閉環控制，但是目前還不清楚它們與閉環超聲刺激相結合時是否能夠較好地實現對目標值的實時跟蹤，我們將在下一步工作中開展相關研究。
目前限于我們對超聲誘導LFP和EMG的生物機制的理解，穩定的控制作用僅限于一段時間內，而實現長期穩定調控作用是下一個目標。因此，對于超聲神經調控的本質理解尤為重要，這是閉環超聲調控進一步與現代控制理論結合的重要基礎。我們的最終目標是搭建一套綜合型超聲閉環控制系統，從而實現對各種腦疾病的臨床治療。
5 結論
我們將超聲神經調控、閉環控制系統和PID神經網絡控制算法相結合，構建了基于PID神經網絡的經顱超聲閉環控制系統，并證實該系統對LFP峰值以及EMG均值具有良好的控制效果；我們還使用廣義最小方差控制算法，實現了對theta功率的良好調控。該研究將為閉環超聲刺激在神經類疾病的臨床治療提供研究基礎。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：董舒尋負責實驗設計、數據收集、數據分析和論文寫作，謝振宇負責數據收集和論文寫作，王星冉負責數據收集和論文審查，袁毅負責實驗監督、構思以及寫作審查和編輯。
倫理聲明：本研究通過了燕山大學倫理委員會的審批（批文編號：2019006）。
