腦機接口是指不依賴于外周神經和肌肉,在人腦與外部設備之間建立起一條直接的信息交流通路。相較于侵入式腦機接口,非侵入式腦機接口具有低成本、低風險、易操作等優勢。近年來,利用非侵入式腦機接口技術對外設進行控制逐漸成為一種新型人機交互方式,而腦機接口控制策略是該方式的重要組成部分。本文首先介紹了腦控策略的分類和發展,其次詳細描述了直接和共享兩種控制策略的基本特點,再次對比分析這兩種腦控策略的優缺點,最后對非侵入式腦控策略發展方向和應用前景進行了分析與展望。
引用本文: 曹洪濤, 鐘子平, 陳遠方, 梅杰, 李昂, 許敏鵬, 明東. 非侵入式腦機接口控制策略的研究進展. 生物醫學工程學雜志, 2022, 39(5): 1033-1040. doi: 10.7507/1001-5515.202205013 復制
引言
腦機接口(brain computer interface,BCI)是指不依賴于外周神經和肌肉,在人腦與外部設備之間建立的直接交流通道[1]。目前,按照采集電極的放置位置可將BCI分為侵入式和非侵入式。侵入式BCI一般通過外科手術將采集電極植入到大腦顱腔或灰質中,采集到的神經信號信噪比和空間分辨率較高,但手術操作風險較高,且易引發免疫反應并形成愈傷組織,從而導致采集的信號質量變差。為避免電極植入大腦引起損傷,目前BCI系統多采用非侵入方式采集腦電波(electroencephalogram,EEG),即從頭皮表面記錄神經活動信號。與侵入式BCI相比,非侵入式具有低成本、低風險、操作簡單、易使用等優勢,同時用戶對非侵入式BCI的接受度遠高于侵入式BCI[2]。
BCI控制系統是指通過EEG編解碼算法將人的思維活動轉變成控制指令驅動外部設備。它主要由信號采集單元、信號處理單元、指令映射單元等組成。信號采集單元利用采集裝置采集用戶的EEG信號;信號處理單元對所采集的EEG信號進行特征提取并識別;指令映射單元則將分類結果映射為外設可執行的控制指令。在控制過程中,用戶實時感知外設的狀態,更新控制意圖,以實現對外設的穩定控制。隨著非侵入式BCI技術的快速發展,利用BCI控制系統實現對外部復雜設備的控制成為可能。由于BCI控制系統是利用大腦信號直接控制外部設備,控制效率在理論上優于手動控制[3],且能夠拓寬人機交互通路帶寬,在康復、娛樂、軍事等領域均有廣泛的應用前景[4-6]。
當前多數研究者主要專注于EEG編解碼算法的性能提升,但在工程應用中,BCI系統的控制策略也同樣重要。利用傳統BCI控制方法來完成復雜任務時,往往會給用戶帶來巨大的認知壓力,而且存在控制精度不高等問題。為了減輕用戶的交互負擔,提高系統的控制精度和魯棒性,本文對非侵入式BCI控制策略的現有研究進行綜述,旨在為BCI控制系統方面的研究提供一些思路。
1 BCI控制策略的研究現狀
BCI技術形成于20世紀70年代,經過數十年的發展已取得了重大突破,成為神經科學領域的重點研究課題之一。在BCI控制系統中,根據用戶和機器之間的互動程度以及輸出指令形式[7]可將BCI系統的控制策略分為如圖1所示的直接和共享兩類。

直接控制策略結構流程如圖2所示。它是指利用信號采集裝置采集用戶主動式或反應式腦電信號,通過信號采集、特征提取、模式識別后生成控制指令直接控制外部設備的一種BCI控制方法[8-9],其研究主要基于BCI的三大基本范式[P300、運動想象(motor imagery,MI)、穩態視覺誘發電位(steady-state visual evoked potential,SSVEP)]和混合范式展開。如Oralhan[10]利用P300范式設計了一個新型的基于音頻和視覺刺激的拼寫系統,同時P300也被應用于如交通信號燈[11]、電動輪椅[12]、機械手臂[13]、鼠標[14-15]的控制。Wang等[16]設計了基于MI-BCI系統來控制假體完成不同的動作。Duan等[17]采用SSVEP和MI混合范式實現了對無人機的飛行控制。Xu等[18]利用并行P300和SSVEP的混合特征實現了超過100指令的高速混合腦-機接口拼寫器。

共享控制策略的結構流程如圖3所示,利用該策略的控制系統主要由BCI編解碼部分、智能傳感模塊、共享控制器、外部設備等四部分組成。用戶通過BCI輸出控制指令,這些指令可以是直接的機器運動控制指令,如機器移動方向;也可以是間接的控制指令,如機器人期望達到的目的地、期望抓取的目標等。BCI在共享控制過程中作為輔助控制或決策控制,不需要用戶連續實時對機器人發出控制命令,從而減少用戶的工作量。共享控制策略可以將機器智能與BCI技術相結合,使機器人具有主動避障、路徑規劃等能力,控制更加平滑自然。

共享控制策略與直接控制策略最大的區別在于共享控制策略包含智能傳感系統,能對外部環境實時監測,通過反饋信息實現控制環節的自校正,同時利用機器智能還能夠提高魯棒性和控制精度。Deng等[19]提出了一種基于徑向基函數(radial basis function,RBF)神經網絡的強化學習(reinforcement learning,RL)方法,用于評估用戶大腦的控制能力,利用貝葉斯網絡的輸出,設計了一個共享控制器來動態調整機器智能控制和用戶BCI控制間的權重。該系統可以實現全時共享控制,具有較好的魯棒性。Zheng等[20]設計了一種基于MI-BCI的共享控制系統,該系統利用貝葉斯概率算法判斷機器人運動方向,同時可自動分配機器人自主運動的控制比權重,用以提高機器人的控制精度。
2 直接控制策略
基于直接控制策略BCI系統的控制效果與EEG的解碼算法性能緊密相關。因此,目前與直接控制策略相關的文獻多聚焦于BCI解碼算法的研究[21-23],本章將針對三大基本范式及其主流解碼算法進行簡單的介紹。
2.1 P300
基于P300的BCI系統是目前最常用的非侵入式BCI系統之一,由于P300-BCI具有顯著的時域特征,多采用判別函數分析方法來分類。例如,線性判別分析(linear discriminant analysis,LDA)是P300 speller中常用的典型分類方法,具有計算量低、分類效果良好等特點,但在訓練樣本較少時可能會出現過擬合高維噪聲數據的問題,影響分類性能[24]。為了解決該問題,研究者在LDA基礎上通過改進得到一種逐步線性判別分析(step-wise linear discriminant analysis,SWLDA)算法,該算法可以對判別函數中的特征進行篩選,達到特征空間降維的效果[25]。
2.2 運動想象
基于MI的BCI是一種不依賴于視、聽、觸等外源性刺激的主動式BCI,可以做到真正意義上的“所思即所動”。當前國內外對MI模式的解碼算法主要圍繞基于空間域的共空間模式(common spatial pattern,CSP)算法展開[26]。經典的CSP算法通過設計與信號特征匹配的空間濾波器來增強運動意圖的誘導特性,但未充分考慮EEG的時頻域信息,且對噪聲十分敏感[27]。因此,CSP應用在MI-BCI控制系統時存在分類精度有限、魯棒性差等問題。為了解決經典CSP算法的局限性,針對EEG的時、頻信息,Yu等[28]通過改進局部時間共空間模式(local temporal common spatial pattern,LTCSP)算法,進行流形建模,實現了EEG時、空域的同時優化,其分類準確率較CSP算法顯著提升。
2.3 穩態視覺誘發電位
基于SSVEP的BCI系統因具有高準確率、高信息傳輸率以及高信噪比的優點而被廣泛應用。在SSVEP信號解碼方面,過去多數研究使用典型相關分析(canonical correlation analysis,CCA)或多變量同步指數(multivariate synchronization index,MSI)等無訓練方法進行特征提取,這類方法雖然分類效果不錯,但易受到自發腦電的影響,也沒有用到信號的相位信息。基于此,Nakanishi等[29]將任務相關成分分析(task-related component analysis,TRCA)應用于腦電信號的特征提取,它能夠充分利用相位信息,且其構建的空間濾波器可有效去除背景噪聲,提升了腦電信號的信噪比,從而提高了SSVEP誘發特征的分類準確率。
3 共享控制策略
目前,BCI控制系統的研究主要集中于腦電特征解碼算法,通過不斷優化和創新,腦電識別準確率有了很大的提高,但由于直接控制策略的局限性,只能實現對外設的簡單控制。而且針對不同的外設和復雜環境,所需的控制方式也全然不同,僅通過直接控制策略很難達到預期的精細控制效果。所以研究者引入共享控制策略來彌補直接控制對復雜系統的局限性,使外設安全、穩定、高效地完成預期任務。本章主要介紹機器視覺(machine vision,MV)、強化學習、自動路徑規劃等方法與BCI技術相結合的共享控制策略及其應用效果。圖4所示為幾種典型的共享控制方法,圖4a為基于機器視覺的方法[30],圖4b為基于強化學習的方法[19],圖4c為基于路徑規劃的方法[31]。同時在表1中對不同的非侵入式BCI共享控制策略進行了簡要匯總。

a. 機器視覺方法;b. 強化學習方法;c.路徑規劃方法
Figure4. Typical shared control methodsa. machine vision methods; b. reinforcement learning methods; c. path planning methods

3.1 基于機器視覺融合
隨著機器視覺技術的逐步發展,采用攝像頭進行物體形態識別、場景建模的相關應用越來越多,利用機器視覺處理攝像頭拍攝的照片和視頻,能夠從中準確識別待測物體信息進行快速分析和決策。目前大多數學者通過將機器視覺與BCI技術融合,達到對目標物的快速識別和自動抓取的目的,從而大大提高BCI用戶的控制效率[32-33]。例如,Zhang等[34]設計了一套機器視覺結合MI,利用異步控制機械手和機械臂成功實現避障和自動抓取的系統,它可以根據Kinect的視覺反饋來規劃機器人手和手臂的運動路徑。Yang等[35]設計了一種基于MI和機器視覺引導機械臂系統,用戶通過MI-BCI將機械臂移動到目標附近,隨后利用機器視覺精確估計目標位置,機械臂將自動完成目標抓取任務。
3.2 基于強化學習融合
強化學習是智能體(Agent)以“試錯”的方式進行學習,通過與環境進行交互獲得的獎賞指導行為,目標是使智能體獲得最大的獎賞。隨著研究者對人在環路(human-in-loop)中控制模式的興趣日益濃厚,將BCI與強化學習進行融合可用于開發以人為中心的輔助控制技術[36-37]。如Batzianoulis等[38]將基于高斯過程的逆強化學習與錯誤相關電位(error-related potential,ErrP)的BCI相結合,推斷用戶偏好并更新避障控制器的輸出指令,從而生成機器人運動軌跡。Kar等[39]采用強化學習來調整概率學習自動機的狀態-動作概率矩陣,并設計了一個簡單的室內游戲,即將球穿過固定在可變云臺上的環,機器人可以利用有收斂概率分數的學習自動機自主訓練用戶玩游戲,成功率在90%以上。
3.3 基于自動路徑規劃融合
隨著現代制造業的發展,機器人的應用場景越發復雜,將自主路徑規劃與BCI控制結合是共享控制策略的重要手段,同時也是確保腦控外設能夠安全精準實現目標任務的關鍵。常用的路徑規劃算法有人工勢場法、A*算法、快速擴展隨機樹算法(rapid-exploration random tree,RRT)等。人工勢場算法是由Khatib提出的一種虛擬力法,它的基本思想是根據目標對移動機器人產生的“吸引力”與障礙物對移動機器人產生的“排斥力”通過計算合力來確定移動機器人的運動軌跡,這種方法雖然計算簡單,但是容易陷入局部極值點的問題[40]。相關研究表明自動路徑規劃在腦控機器人的運動控制系統應用中具有優良的效果[41-43]。例如,RRT算法在機器人路徑規劃領域,尤其是高維環境(機械臂、飛行器)的規劃中占有重要的位置。Schr?er等[44]將RRT算法應用到腦控機器人運動系統,能夠使機器人快速導航到指定位置,并完成飲水抓取任務。
4 控制策略評價
4.1 直接控制
采用直接控制策略對外設進行控制,其控制精度主要取決于BCI的范式、用戶的腦電信號質量、解碼算法的性能等。相較于其他類型的BCI,SSVEP-BCI具有高信噪比、高信息傳輸率、較少或無需訓練的優勢,但用戶需要實時注視刺激界面,過長時間的低頻閃爍會引起用戶的視覺疲勞,導致EEG信號質量下降,甚至可能誘發癲癇。在MI-BCI中,用戶運動意圖的產生不需要依賴外部刺激,且沒有明顯的運動輸出,可以實現真正意義上的“所思即所動”,但若想得到較好的控制精度則需要用戶進行大量的訓練,同時MI范式的指令數量有限,控制自由度較低[45]。單一的P300范式具有較強的普適性,只需改變特征參數就能夠在短時間內適用于感覺通路完整的用戶,而且不需要訓練,但P300的信噪比低,需疊加多個試次用于突出信號特征,這會導致P300的實時性較差。與單個范式相比,基于多模態的混合BCI直接控制系統雖然結合了不同類型BCI的優勢,但在多范式下需要特定的信號如肌電、眼電等作為切換信號,增加了用戶的認知負擔,同時數據處理和特征融合等問題不易解決[46-47]。
4.2 共享控制
在利用共享控制策略的系統中,用戶通過與機器相互配合、相互協作輸出被控對象的控制指令,該指令既包含用戶的腦電信息,又有機器的智能輔助。理論上,不同用戶的EEG信號質量和對控制系統的熟練程度存在較大的差異,導致用戶的控制質量各不相同。Lopes等[48]根據訓練結果,將用戶分為初學者、一般和熟練三種水平,根據這個分類來定義模糊規則,所設計出的模糊共享控制器充分考慮了不同用戶的控制水平。
共享控制策略的第一個優勢在于控制精度高。在復雜的任務和環境下,對腦控系統的控制精度要求較高,直接控制策略難以實現對被控對象的精細操控[49],共享控制策略通過與機器視覺、室內定位、自動駕駛等輔助控制技術結合,可充分發揮機器智能的優勢,極大地提升BCI控制系統的控制精度。第二個優勢在于系統的執行效率高。在利用直接控制策略執行任務時,用戶需多次輸出控制指令才能在不同環境下進行目標校準,這樣會導致執行效率的降低,引起用戶的不適。而利用共享控制策略,用戶只需準確輸出較少指令就能完成任務,提高了執行效率。第三個優勢在于安全系數較高。用戶在使用康復機器人和輔助機器人時,確保用戶人身安全至關重要。由于用戶的腦電信號存在信噪比低、易受干擾等特點,存在誤觸發的可能。共享控制策略中由于存在機器智能,可以在緊急情況下避免危險,為用戶提供安全保障。但共享控制策略也存在不足,在腦控游戲、神經康復等領域用戶的大腦參與度較低,無法提供足夠的腦控感觀。對兩類控制策略的簡單比較如表2所示。

因此,針對不同任務、不同領域,研究者需要綜合考慮實驗環境、控制目的和用戶需求來選取合適的腦控策略。簡而言之,共享控制策略更適合運用在復雜需求環境下的機器人控制,而直接控制策略由于其沉浸式體驗適合用在神經康復等助療領域。
5 分析和展望
現階段BCI控制策略面臨的主要問題是:如何在復雜外部環境和控制任務下,提高外設的控制精度和用戶的使用舒適性。就直接控制策略而言,雖然有較好的沉浸體驗,但指令集有限、信息傳輸率低,無法實現對外設的復雜控制。而共享控制策略整合了人的感知、認知能力和機器強大的運算和存儲能力,可充分發揮機器智能的優勢,完成一些精細控制和復雜度較高的任務。
作為一種新興的學科交叉研究領域,BCI控制系統既有廣闊的發展前景,也面臨諸多嚴峻的挑戰,下面對未來腦控策略的進一步研究和發展提出一些方向與展望。
(1)就直接控制策略中存在的系統指令集有限、信息傳速率欠佳等問題,可以探索和發展新的腦電范式和更優的解碼算法,以求得到可分性更強的腦電信號模式,繼而拓展BCI控制系統的應用范圍。
(2)對于共享控制策略,在過去的幾年里,基于BCI的人機共享控制技術得到了較快的發展,但仍有諸多不足,大多數的共享控制只是簡單的分時共享,無法真正體現人機共生關系,因此需要設計更為靈活的人機智能融合框架來實現更高層次的人機混合智能。
(3)面向單用戶或單智能體的BCI控制系統日益成熟,但多智能體和多用戶協同控制仍處于起步階段,設計多智能體和群體共享控制策略可以將每個個體結合起來,實現多個智能體彼此之間的合作與競爭,使腦控系統具有更好的協作性。
綜上所述,隨著我國殘疾和老齡化人群的日益龐大,迫切需要開發出符合需求的輔助康復機器人。如今,BCI控制系統已經在人機交互、智能傳感、目標識別等技術上取得了長足的進步。未來,基于共享控制策略的BCI控制系統可以與多智能體、自適應以及異步等方法相結合,從而多方面提升腦控系統的性能,解決醫療康復領域的一些難題。
重要聲明
利益沖突聲明:本文全體作者均聲明不存在利益沖突。
作者貢獻聲明:曹洪濤為綜述主要撰寫人,完成文獻資料的整理收集與分析,以及論文初稿的撰寫;鐘子平、陳遠方、梅杰、李昂參與文獻資料分析與論文修改;許敏鵬參與論文的修改與指導;明東參與論文的指導與審校。
引言
腦機接口(brain computer interface,BCI)是指不依賴于外周神經和肌肉,在人腦與外部設備之間建立的直接交流通道[1]。目前,按照采集電極的放置位置可將BCI分為侵入式和非侵入式。侵入式BCI一般通過外科手術將采集電極植入到大腦顱腔或灰質中,采集到的神經信號信噪比和空間分辨率較高,但手術操作風險較高,且易引發免疫反應并形成愈傷組織,從而導致采集的信號質量變差。為避免電極植入大腦引起損傷,目前BCI系統多采用非侵入方式采集腦電波(electroencephalogram,EEG),即從頭皮表面記錄神經活動信號。與侵入式BCI相比,非侵入式具有低成本、低風險、操作簡單、易使用等優勢,同時用戶對非侵入式BCI的接受度遠高于侵入式BCI[2]。
BCI控制系統是指通過EEG編解碼算法將人的思維活動轉變成控制指令驅動外部設備。它主要由信號采集單元、信號處理單元、指令映射單元等組成。信號采集單元利用采集裝置采集用戶的EEG信號;信號處理單元對所采集的EEG信號進行特征提取并識別;指令映射單元則將分類結果映射為外設可執行的控制指令。在控制過程中,用戶實時感知外設的狀態,更新控制意圖,以實現對外設的穩定控制。隨著非侵入式BCI技術的快速發展,利用BCI控制系統實現對外部復雜設備的控制成為可能。由于BCI控制系統是利用大腦信號直接控制外部設備,控制效率在理論上優于手動控制[3],且能夠拓寬人機交互通路帶寬,在康復、娛樂、軍事等領域均有廣泛的應用前景[4-6]。
當前多數研究者主要專注于EEG編解碼算法的性能提升,但在工程應用中,BCI系統的控制策略也同樣重要。利用傳統BCI控制方法來完成復雜任務時,往往會給用戶帶來巨大的認知壓力,而且存在控制精度不高等問題。為了減輕用戶的交互負擔,提高系統的控制精度和魯棒性,本文對非侵入式BCI控制策略的現有研究進行綜述,旨在為BCI控制系統方面的研究提供一些思路。
1 BCI控制策略的研究現狀
BCI技術形成于20世紀70年代,經過數十年的發展已取得了重大突破,成為神經科學領域的重點研究課題之一。在BCI控制系統中,根據用戶和機器之間的互動程度以及輸出指令形式[7]可將BCI系統的控制策略分為如圖1所示的直接和共享兩類。

直接控制策略結構流程如圖2所示。它是指利用信號采集裝置采集用戶主動式或反應式腦電信號,通過信號采集、特征提取、模式識別后生成控制指令直接控制外部設備的一種BCI控制方法[8-9],其研究主要基于BCI的三大基本范式[P300、運動想象(motor imagery,MI)、穩態視覺誘發電位(steady-state visual evoked potential,SSVEP)]和混合范式展開。如Oralhan[10]利用P300范式設計了一個新型的基于音頻和視覺刺激的拼寫系統,同時P300也被應用于如交通信號燈[11]、電動輪椅[12]、機械手臂[13]、鼠標[14-15]的控制。Wang等[16]設計了基于MI-BCI系統來控制假體完成不同的動作。Duan等[17]采用SSVEP和MI混合范式實現了對無人機的飛行控制。Xu等[18]利用并行P300和SSVEP的混合特征實現了超過100指令的高速混合腦-機接口拼寫器。

共享控制策略的結構流程如圖3所示,利用該策略的控制系統主要由BCI編解碼部分、智能傳感模塊、共享控制器、外部設備等四部分組成。用戶通過BCI輸出控制指令,這些指令可以是直接的機器運動控制指令,如機器移動方向;也可以是間接的控制指令,如機器人期望達到的目的地、期望抓取的目標等。BCI在共享控制過程中作為輔助控制或決策控制,不需要用戶連續實時對機器人發出控制命令,從而減少用戶的工作量。共享控制策略可以將機器智能與BCI技術相結合,使機器人具有主動避障、路徑規劃等能力,控制更加平滑自然。

共享控制策略與直接控制策略最大的區別在于共享控制策略包含智能傳感系統,能對外部環境實時監測,通過反饋信息實現控制環節的自校正,同時利用機器智能還能夠提高魯棒性和控制精度。Deng等[19]提出了一種基于徑向基函數(radial basis function,RBF)神經網絡的強化學習(reinforcement learning,RL)方法,用于評估用戶大腦的控制能力,利用貝葉斯網絡的輸出,設計了一個共享控制器來動態調整機器智能控制和用戶BCI控制間的權重。該系統可以實現全時共享控制,具有較好的魯棒性。Zheng等[20]設計了一種基于MI-BCI的共享控制系統,該系統利用貝葉斯概率算法判斷機器人運動方向,同時可自動分配機器人自主運動的控制比權重,用以提高機器人的控制精度。
2 直接控制策略
基于直接控制策略BCI系統的控制效果與EEG的解碼算法性能緊密相關。因此,目前與直接控制策略相關的文獻多聚焦于BCI解碼算法的研究[21-23],本章將針對三大基本范式及其主流解碼算法進行簡單的介紹。
2.1 P300
基于P300的BCI系統是目前最常用的非侵入式BCI系統之一,由于P300-BCI具有顯著的時域特征,多采用判別函數分析方法來分類。例如,線性判別分析(linear discriminant analysis,LDA)是P300 speller中常用的典型分類方法,具有計算量低、分類效果良好等特點,但在訓練樣本較少時可能會出現過擬合高維噪聲數據的問題,影響分類性能[24]。為了解決該問題,研究者在LDA基礎上通過改進得到一種逐步線性判別分析(step-wise linear discriminant analysis,SWLDA)算法,該算法可以對判別函數中的特征進行篩選,達到特征空間降維的效果[25]。
2.2 運動想象
基于MI的BCI是一種不依賴于視、聽、觸等外源性刺激的主動式BCI,可以做到真正意義上的“所思即所動”。當前國內外對MI模式的解碼算法主要圍繞基于空間域的共空間模式(common spatial pattern,CSP)算法展開[26]。經典的CSP算法通過設計與信號特征匹配的空間濾波器來增強運動意圖的誘導特性,但未充分考慮EEG的時頻域信息,且對噪聲十分敏感[27]。因此,CSP應用在MI-BCI控制系統時存在分類精度有限、魯棒性差等問題。為了解決經典CSP算法的局限性,針對EEG的時、頻信息,Yu等[28]通過改進局部時間共空間模式(local temporal common spatial pattern,LTCSP)算法,進行流形建模,實現了EEG時、空域的同時優化,其分類準確率較CSP算法顯著提升。
2.3 穩態視覺誘發電位
基于SSVEP的BCI系統因具有高準確率、高信息傳輸率以及高信噪比的優點而被廣泛應用。在SSVEP信號解碼方面,過去多數研究使用典型相關分析(canonical correlation analysis,CCA)或多變量同步指數(multivariate synchronization index,MSI)等無訓練方法進行特征提取,這類方法雖然分類效果不錯,但易受到自發腦電的影響,也沒有用到信號的相位信息。基于此,Nakanishi等[29]將任務相關成分分析(task-related component analysis,TRCA)應用于腦電信號的特征提取,它能夠充分利用相位信息,且其構建的空間濾波器可有效去除背景噪聲,提升了腦電信號的信噪比,從而提高了SSVEP誘發特征的分類準確率。
3 共享控制策略
目前,BCI控制系統的研究主要集中于腦電特征解碼算法,通過不斷優化和創新,腦電識別準確率有了很大的提高,但由于直接控制策略的局限性,只能實現對外設的簡單控制。而且針對不同的外設和復雜環境,所需的控制方式也全然不同,僅通過直接控制策略很難達到預期的精細控制效果。所以研究者引入共享控制策略來彌補直接控制對復雜系統的局限性,使外設安全、穩定、高效地完成預期任務。本章主要介紹機器視覺(machine vision,MV)、強化學習、自動路徑規劃等方法與BCI技術相結合的共享控制策略及其應用效果。圖4所示為幾種典型的共享控制方法,圖4a為基于機器視覺的方法[30],圖4b為基于強化學習的方法[19],圖4c為基于路徑規劃的方法[31]。同時在表1中對不同的非侵入式BCI共享控制策略進行了簡要匯總。

a. 機器視覺方法;b. 強化學習方法;c.路徑規劃方法
Figure4. Typical shared control methodsa. machine vision methods; b. reinforcement learning methods; c. path planning methods

3.1 基于機器視覺融合
隨著機器視覺技術的逐步發展,采用攝像頭進行物體形態識別、場景建模的相關應用越來越多,利用機器視覺處理攝像頭拍攝的照片和視頻,能夠從中準確識別待測物體信息進行快速分析和決策。目前大多數學者通過將機器視覺與BCI技術融合,達到對目標物的快速識別和自動抓取的目的,從而大大提高BCI用戶的控制效率[32-33]。例如,Zhang等[34]設計了一套機器視覺結合MI,利用異步控制機械手和機械臂成功實現避障和自動抓取的系統,它可以根據Kinect的視覺反饋來規劃機器人手和手臂的運動路徑。Yang等[35]設計了一種基于MI和機器視覺引導機械臂系統,用戶通過MI-BCI將機械臂移動到目標附近,隨后利用機器視覺精確估計目標位置,機械臂將自動完成目標抓取任務。
3.2 基于強化學習融合
強化學習是智能體(Agent)以“試錯”的方式進行學習,通過與環境進行交互獲得的獎賞指導行為,目標是使智能體獲得最大的獎賞。隨著研究者對人在環路(human-in-loop)中控制模式的興趣日益濃厚,將BCI與強化學習進行融合可用于開發以人為中心的輔助控制技術[36-37]。如Batzianoulis等[38]將基于高斯過程的逆強化學習與錯誤相關電位(error-related potential,ErrP)的BCI相結合,推斷用戶偏好并更新避障控制器的輸出指令,從而生成機器人運動軌跡。Kar等[39]采用強化學習來調整概率學習自動機的狀態-動作概率矩陣,并設計了一個簡單的室內游戲,即將球穿過固定在可變云臺上的環,機器人可以利用有收斂概率分數的學習自動機自主訓練用戶玩游戲,成功率在90%以上。
3.3 基于自動路徑規劃融合
隨著現代制造業的發展,機器人的應用場景越發復雜,將自主路徑規劃與BCI控制結合是共享控制策略的重要手段,同時也是確保腦控外設能夠安全精準實現目標任務的關鍵。常用的路徑規劃算法有人工勢場法、A*算法、快速擴展隨機樹算法(rapid-exploration random tree,RRT)等。人工勢場算法是由Khatib提出的一種虛擬力法,它的基本思想是根據目標對移動機器人產生的“吸引力”與障礙物對移動機器人產生的“排斥力”通過計算合力來確定移動機器人的運動軌跡,這種方法雖然計算簡單,但是容易陷入局部極值點的問題[40]。相關研究表明自動路徑規劃在腦控機器人的運動控制系統應用中具有優良的效果[41-43]。例如,RRT算法在機器人路徑規劃領域,尤其是高維環境(機械臂、飛行器)的規劃中占有重要的位置。Schr?er等[44]將RRT算法應用到腦控機器人運動系統,能夠使機器人快速導航到指定位置,并完成飲水抓取任務。
4 控制策略評價
4.1 直接控制
采用直接控制策略對外設進行控制,其控制精度主要取決于BCI的范式、用戶的腦電信號質量、解碼算法的性能等。相較于其他類型的BCI,SSVEP-BCI具有高信噪比、高信息傳輸率、較少或無需訓練的優勢,但用戶需要實時注視刺激界面,過長時間的低頻閃爍會引起用戶的視覺疲勞,導致EEG信號質量下降,甚至可能誘發癲癇。在MI-BCI中,用戶運動意圖的產生不需要依賴外部刺激,且沒有明顯的運動輸出,可以實現真正意義上的“所思即所動”,但若想得到較好的控制精度則需要用戶進行大量的訓練,同時MI范式的指令數量有限,控制自由度較低[45]。單一的P300范式具有較強的普適性,只需改變特征參數就能夠在短時間內適用于感覺通路完整的用戶,而且不需要訓練,但P300的信噪比低,需疊加多個試次用于突出信號特征,這會導致P300的實時性較差。與單個范式相比,基于多模態的混合BCI直接控制系統雖然結合了不同類型BCI的優勢,但在多范式下需要特定的信號如肌電、眼電等作為切換信號,增加了用戶的認知負擔,同時數據處理和特征融合等問題不易解決[46-47]。
4.2 共享控制
在利用共享控制策略的系統中,用戶通過與機器相互配合、相互協作輸出被控對象的控制指令,該指令既包含用戶的腦電信息,又有機器的智能輔助。理論上,不同用戶的EEG信號質量和對控制系統的熟練程度存在較大的差異,導致用戶的控制質量各不相同。Lopes等[48]根據訓練結果,將用戶分為初學者、一般和熟練三種水平,根據這個分類來定義模糊規則,所設計出的模糊共享控制器充分考慮了不同用戶的控制水平。
共享控制策略的第一個優勢在于控制精度高。在復雜的任務和環境下,對腦控系統的控制精度要求較高,直接控制策略難以實現對被控對象的精細操控[49],共享控制策略通過與機器視覺、室內定位、自動駕駛等輔助控制技術結合,可充分發揮機器智能的優勢,極大地提升BCI控制系統的控制精度。第二個優勢在于系統的執行效率高。在利用直接控制策略執行任務時,用戶需多次輸出控制指令才能在不同環境下進行目標校準,這樣會導致執行效率的降低,引起用戶的不適。而利用共享控制策略,用戶只需準確輸出較少指令就能完成任務,提高了執行效率。第三個優勢在于安全系數較高。用戶在使用康復機器人和輔助機器人時,確保用戶人身安全至關重要。由于用戶的腦電信號存在信噪比低、易受干擾等特點,存在誤觸發的可能。共享控制策略中由于存在機器智能,可以在緊急情況下避免危險,為用戶提供安全保障。但共享控制策略也存在不足,在腦控游戲、神經康復等領域用戶的大腦參與度較低,無法提供足夠的腦控感觀。對兩類控制策略的簡單比較如表2所示。

因此,針對不同任務、不同領域,研究者需要綜合考慮實驗環境、控制目的和用戶需求來選取合適的腦控策略。簡而言之,共享控制策略更適合運用在復雜需求環境下的機器人控制,而直接控制策略由于其沉浸式體驗適合用在神經康復等助療領域。
5 分析和展望
現階段BCI控制策略面臨的主要問題是:如何在復雜外部環境和控制任務下,提高外設的控制精度和用戶的使用舒適性。就直接控制策略而言,雖然有較好的沉浸體驗,但指令集有限、信息傳輸率低,無法實現對外設的復雜控制。而共享控制策略整合了人的感知、認知能力和機器強大的運算和存儲能力,可充分發揮機器智能的優勢,完成一些精細控制和復雜度較高的任務。
作為一種新興的學科交叉研究領域,BCI控制系統既有廣闊的發展前景,也面臨諸多嚴峻的挑戰,下面對未來腦控策略的進一步研究和發展提出一些方向與展望。
(1)就直接控制策略中存在的系統指令集有限、信息傳速率欠佳等問題,可以探索和發展新的腦電范式和更優的解碼算法,以求得到可分性更強的腦電信號模式,繼而拓展BCI控制系統的應用范圍。
(2)對于共享控制策略,在過去的幾年里,基于BCI的人機共享控制技術得到了較快的發展,但仍有諸多不足,大多數的共享控制只是簡單的分時共享,無法真正體現人機共生關系,因此需要設計更為靈活的人機智能融合框架來實現更高層次的人機混合智能。
(3)面向單用戶或單智能體的BCI控制系統日益成熟,但多智能體和多用戶協同控制仍處于起步階段,設計多智能體和群體共享控制策略可以將每個個體結合起來,實現多個智能體彼此之間的合作與競爭,使腦控系統具有更好的協作性。
綜上所述,隨著我國殘疾和老齡化人群的日益龐大,迫切需要開發出符合需求的輔助康復機器人。如今,BCI控制系統已經在人機交互、智能傳感、目標識別等技術上取得了長足的進步。未來,基于共享控制策略的BCI控制系統可以與多智能體、自適應以及異步等方法相結合,從而多方面提升腦控系統的性能,解決醫療康復領域的一些難題。
重要聲明
利益沖突聲明:本文全體作者均聲明不存在利益沖突。
作者貢獻聲明:曹洪濤為綜述主要撰寫人,完成文獻資料的整理收集與分析,以及論文初稿的撰寫;鐘子平、陳遠方、梅杰、李昂參與文獻資料分析與論文修改;許敏鵬參與論文的修改與指導;明東參與論文的指導與審校。