腦-機接口(BCI)可以概括為利用在線腦信息進行腦與計算機通訊的系統。BCI 經歷了近半個世紀的發展,雖然在民眾中已有了很高的知曉度,但 BCI 在實際場景中的應用仍然十分有限。本專輯邀請了國內部分腦-機接口團隊,報告了他們推進 BCI 從實驗室到現實場景的努力。本文概述了相關論文的主要情況,并展望了 BCI 技術的未來發展。
引用本文: 堯德中. 腦-機接口:如何從實驗室到現實場景?. 生物醫學工程學雜志, 2021, 38(3): 405-408. doi: 10.7507/1001-5515.202105091 復制
植入式腦-機接口(brain-computer interface,BCI)的歷史可以追溯到半世紀前由 Fetz[1]開展的關于操作條件反射的研究,隨后 Schmidt[2]實現了基于神經元活動對外部設備的控制;同樣,無創 BCI 的歷史也可以追溯到 50 年前的一項有關腦電神經反饋的研究[3],之后 Vidal[4]于 1973 年實現了基于腦電對計算機的控制。近 50 年來,BCI 不斷在信號類型、信號采集、信號處理、應用場景等方面取得重要進展,之前的一系列科幻場景不斷變成了科學事實[5]。僅以最近幾年的報道為例,2020 年,約翰斯·霍普金斯大學醫學院(Johns Hopkins University School of Medicine,JHM)和該校應用物理實驗室(Applied Physics Laboratory,APL)的研究人員,使四肢癱瘓的殘疾人能夠用自己的“大腦意念”同時控制兩支機械臂,拿起餐刀、餐叉切下一塊蛋糕,然后把蛋糕送到自己的口中[6]。最近,來自斯坦福大學、布朗大學、哈佛醫學院等名校的研究人員共同完成了一項里程碑式的研究,他們將植入式 BCI 與人工智能技術相結合,首次解碼了與書寫有關的神經信號并實時顯示它們,在全球科學界引起了極大的反響和討論[7]。與此同時,科技達人埃隆·馬斯克于 2019 年推出了一款微型植入式 BCI 設備,并在 2020 年和 2021 年分別展示了該技術及其改進版在豬的腦活動檢測與猴子玩游戲方面的成功應用。雖然學界認為馬斯克的工作在原理上缺乏實質的創新,甚至可以說是對 10 年前已有技術的一個集成,但不可否認其在促進 BCI 走出實驗室,最終走向商業市場方面可能是意義重大的。
BCI 經歷了半個世紀的發展已成為一個龐大的體系,已形成了主動 BCI(active BCI,需要用戶主動改變腦活動)、被動 BCI(passive BCI)、反應式 BCI(reactive BCI,與環境刺激引起的腦響應相關)、情感 BCI(affective BCI,aBCI)、同步 BCI(synchronous BCI,基于同步提示)、異步 BCI(asynchronous BCI/ self-paced BCI,沒有提示,用戶自主)、雙向 BCI(bidirectional BCI)、群腦 BCI(multi-mind BCI)、協同 BCI(collaborative BCI,cBCI)、競爭 BCI(competitive BCI)、獨立 BCI(independent BCI,只依賴于神經活動)、依賴型 BCI(dependent BCI,同時依賴中樞神經和外周肌肉活動)、有創 BCI(invasive BCI)、無創 BCI(non-invasive BCI)、混合 BCI(hybrid BCI,多種 BCI 范式的整合)等多種接口模式。顯然,傳統的以腦控為核心的 BCI 定義已不足以表達當今 BCI 的豐富內容[8]。我們認為,基于上述各種 BCI 的共同點,BCI 可以拓展定義為,利用在線腦信息進行腦與計算機通訊的系統。
本專輯共收錄了 12 篇論文。由于運動想象 BCI(motor imagery BCI,MI-BCI)是最常見的主動式 BCI 范式,本專輯收錄的相關研究也較多。其中,天津大學明東團隊[9]探討了 cBCI 中的協同策略對 MI-BCI 分類性能的影響;華東理工大學金晶團隊[10]的研究發現漢字書寫的運動想象任務能更好地被使用者接受,適當增加漢字書寫運動想象任務的復雜度,能獲得更強的運動想象電位,提高運動想象 BCI 的識別準確率,而這一結果與 Nature 剛剛報道的結果[7]有不少共同之處。天津職業技術師范大學趙麗團隊[11]研究了電刺激輔助的下肢運動想象范式,發現該范式的平均分類準確率達到 78.61%,較常規 MI 范式有顯著提高,證明了電刺激輔助在下肢運動想象分類訓練中的積極作用。最近電子科技大學劉鐵軍團隊[12]的研究也發現,經顱電刺激能夠增強 MI 中的事件相關去同步現象。昆明理工大學伏云發團隊[13]系統回顧了 MI-BCI 的影響因素,指出未來需要研發客觀、定量、可視化的 MI 能力評估方法,以及有效而快速的 MI 能力提高方法,并需要注意個體差異等問題。
aBCI 是近年倍受重視的方向,浙江大學姚林團隊[14]特別關注了 aBCI 中的腦電(electroencephalogram,EEG)信號情緒識別問題。他們基于生理信號情緒數據集(DEAP),系統地比對了主流特征提取算法和分類器模型,并提出了以濾波器組長短時記憶網絡(filter-bank long short-term memory networks,FBLSTM)為核心的算法,在情緒的效價度二分類、喚醒度二分類、效價—喚醒平面四分類上的平均分類準確率達到 78.8%、78.4%、70.3%,為 aBCI 中的情緒識別提供了新的選項。河北工業大學徐桂芝團隊[15]瞄準跨被試、跨時間情緒分類問題,提出了最大分類器差異域對抗方法(maximum classifier discrepancy for domain adversarial neural networks,MCD_DA),在進行跨被試情緒識別時,平均分類準確率達到了 88.33%,遠高于傳統通用分類器的 58.23%,顯示該方法提高了 aBCI 在實際應用中的泛化能力。
歷經了半個世紀的 BCI,雖然受到了各方面的青睞,但 BCI 的實際應用并不多,有種“叫好不叫座”的感覺。如何促進 BCI 從實驗室進入現實場景,已經成為該領域的迫切任務。在本專輯中也有多項工作聚焦這個方面,其中天津大學明東團隊[16]研究了用于 BCI 錯誤自動更正的錯誤相關電位(error-related potentials,ErrP)信號解碼問題,在兩個不同的公開數據集上,對 8 個算法展開了對比研究,相關結果可作為實際應用中選擇 ErrP 解碼算法的參考。鄭州大學胡玉霞團隊[17]圍繞 BCI 實際應用中當腦電信號采集通道數減少到只有一個通道的極限情況時的眼電偽跡去除難題,提出了一種基于小波變換和集合經驗模態分解的眼電偽跡去除算法,測試顯示該方法能在有效去除眼電偽跡的同時,較好地保留腦電信息,并具有較低的算法復雜度,因而有助于推動 BCI 技術的便攜化應用。中國醫學科學院生物醫學工程所陳小剛團隊[18]設計了一種融合增強現實(augmented reality,AR)BCI 和計算機視覺的高級控制體系結構,以控制上肢機械臂執行拾取和放置任務。針對 11 名健康受試者的在線結果表明,該系統的平均分類準確率達到 91.41%,證實了結合增強現實、BCI 和計算機視覺技術來控制機械臂的可行性,也為創新機械臂控制方法提供了新的思路。
顯然,決定腦電 BCI 應用效果的關鍵還是腦電信號的質量,以及我們對影響腦電信號質量的各種因素的認識,對此本專輯中也有兩篇文章分別從內在疾病和外在干預兩個方面進行了研究。華南理工大學李遠清團隊[19]研究了耳鳴對腦電信號的影響,論文采集了 16 名耳鳴患者和 16 名健康被試的靜息態腦電(EEG),對比兩組數據在 δ(0.5~3 Hz)、θ(4~7 Hz)、α(8~13 Hz)、β(14~30 Hz)以及 γ(31~50 Hz)頻帶的功率譜拓撲圖的差異,結果發現,耳鳴患者靜息態頻譜能量在所關注的全部頻帶上都高于健康被試;接著,項目又設計了任務態的注意力實驗,結果顯示,耳鳴患者注意力任務的分類準確率顯著低于健康被試,最高值分別為 80.21% 和 88.75%。河北工業大學于洪麗團隊[20]研究了經顱直流電刺激(transcranial direct current stimulation,tDCS)對腦卒中患者康復期腦電腦網絡的影響。實驗采集了 31 名腦卒中患者康復期的靜息態 EEG 信號(16 名患者作為試驗組施加真刺激,15 名患者作為對照組施加偽刺激),結果發現,tDCS 真刺激后腦卒中患者腦功能網絡的節點度、聚類系數、全局效率和“小世界”屬性顯著升高,特征路徑長度顯著降低。該結果表明,tDCS 能夠改善腦卒中患者康復期的腦功能網絡。
BCI 在中國的發展也已走過了 30 個年頭[21],在中國生物醫學工程學會下設立了以 BCI 為核心的“醫學神經工程分會”,形成了數百人的研究隊伍,研究內容涉及了 BCI 的幾乎所有的方面,在此不予贅述。為了進一步提高中國 BCI 研究的影響力和服務經濟社會發展的能力,我們認為或許應該重點關注以下的一些問題。
(1)在深入研究腦-機器交互的同時,應該不時回望動物進化形成的腦與身體器官之間交互的相關機制,并努力尋找兩者的共同點和不同點,尤其要探索整合兩類交互融合的途徑與效用。在本專輯中,電子科技大學秦云等[22]推出的腦器交互論文以及我們[23]之前發表的腦器交互學論文,較系統地探討了這方面的問題,更提出了腦器交互框架下的許多值得研究的新問題。
(2)本專輯中既有腦控(如運動想象)也有非腦控(如 aBCI)的內容。我們認為,為了 BCI 的更好發展,跳出“BCI=腦控”的狹義定義是非常重要的。事實上,國際上正在探索的各種 BCI,其共性就是“利用在線腦信息進行腦與計算機通訊”,此定義無疑可為 BCI 發展奠定更加廣闊的空間。在此定義下,相關的應用場景可以是臨床傾向的,也可以是服務于腦科學研究的,甚至能夠與藝術創造、娛樂相結合,如無標度腦波音樂的研究和應用[24]。
(3)BCI 研究要進一步強調應用導向,切實解決應用中的可靠、穩定、耐用、適用、美觀、經濟等問題,為此要大力發展和更新信息傳感技術如干電極技術,尋求新的特征提取與解釋方法如結合深度學習[7, 25-26],并實現全鏈條的自主可控與國產化。
(4)加大對 BCI 知識的培訓和科普力度,實現人們對 BCI 的認知從科幻到科學的轉變。事實上,只有當 BCI 成為人們現實生活中的一部分,并有更多的公眾參與的時候,BCI 才能受到更多產業界的關注和支持,從而帶動 BCI 技術的進一步發展,當然這一過程中也包括對倫理問題的討論和倫理規范的維護。
利益沖突聲明:本文全體作者均聲明不存在利益沖突。
植入式腦-機接口(brain-computer interface,BCI)的歷史可以追溯到半世紀前由 Fetz[1]開展的關于操作條件反射的研究,隨后 Schmidt[2]實現了基于神經元活動對外部設備的控制;同樣,無創 BCI 的歷史也可以追溯到 50 年前的一項有關腦電神經反饋的研究[3],之后 Vidal[4]于 1973 年實現了基于腦電對計算機的控制。近 50 年來,BCI 不斷在信號類型、信號采集、信號處理、應用場景等方面取得重要進展,之前的一系列科幻場景不斷變成了科學事實[5]。僅以最近幾年的報道為例,2020 年,約翰斯·霍普金斯大學醫學院(Johns Hopkins University School of Medicine,JHM)和該校應用物理實驗室(Applied Physics Laboratory,APL)的研究人員,使四肢癱瘓的殘疾人能夠用自己的“大腦意念”同時控制兩支機械臂,拿起餐刀、餐叉切下一塊蛋糕,然后把蛋糕送到自己的口中[6]。最近,來自斯坦福大學、布朗大學、哈佛醫學院等名校的研究人員共同完成了一項里程碑式的研究,他們將植入式 BCI 與人工智能技術相結合,首次解碼了與書寫有關的神經信號并實時顯示它們,在全球科學界引起了極大的反響和討論[7]。與此同時,科技達人埃隆·馬斯克于 2019 年推出了一款微型植入式 BCI 設備,并在 2020 年和 2021 年分別展示了該技術及其改進版在豬的腦活動檢測與猴子玩游戲方面的成功應用。雖然學界認為馬斯克的工作在原理上缺乏實質的創新,甚至可以說是對 10 年前已有技術的一個集成,但不可否認其在促進 BCI 走出實驗室,最終走向商業市場方面可能是意義重大的。
BCI 經歷了半個世紀的發展已成為一個龐大的體系,已形成了主動 BCI(active BCI,需要用戶主動改變腦活動)、被動 BCI(passive BCI)、反應式 BCI(reactive BCI,與環境刺激引起的腦響應相關)、情感 BCI(affective BCI,aBCI)、同步 BCI(synchronous BCI,基于同步提示)、異步 BCI(asynchronous BCI/ self-paced BCI,沒有提示,用戶自主)、雙向 BCI(bidirectional BCI)、群腦 BCI(multi-mind BCI)、協同 BCI(collaborative BCI,cBCI)、競爭 BCI(competitive BCI)、獨立 BCI(independent BCI,只依賴于神經活動)、依賴型 BCI(dependent BCI,同時依賴中樞神經和外周肌肉活動)、有創 BCI(invasive BCI)、無創 BCI(non-invasive BCI)、混合 BCI(hybrid BCI,多種 BCI 范式的整合)等多種接口模式。顯然,傳統的以腦控為核心的 BCI 定義已不足以表達當今 BCI 的豐富內容[8]。我們認為,基于上述各種 BCI 的共同點,BCI 可以拓展定義為,利用在線腦信息進行腦與計算機通訊的系統。
本專輯共收錄了 12 篇論文。由于運動想象 BCI(motor imagery BCI,MI-BCI)是最常見的主動式 BCI 范式,本專輯收錄的相關研究也較多。其中,天津大學明東團隊[9]探討了 cBCI 中的協同策略對 MI-BCI 分類性能的影響;華東理工大學金晶團隊[10]的研究發現漢字書寫的運動想象任務能更好地被使用者接受,適當增加漢字書寫運動想象任務的復雜度,能獲得更強的運動想象電位,提高運動想象 BCI 的識別準確率,而這一結果與 Nature 剛剛報道的結果[7]有不少共同之處。天津職業技術師范大學趙麗團隊[11]研究了電刺激輔助的下肢運動想象范式,發現該范式的平均分類準確率達到 78.61%,較常規 MI 范式有顯著提高,證明了電刺激輔助在下肢運動想象分類訓練中的積極作用。最近電子科技大學劉鐵軍團隊[12]的研究也發現,經顱電刺激能夠增強 MI 中的事件相關去同步現象。昆明理工大學伏云發團隊[13]系統回顧了 MI-BCI 的影響因素,指出未來需要研發客觀、定量、可視化的 MI 能力評估方法,以及有效而快速的 MI 能力提高方法,并需要注意個體差異等問題。
aBCI 是近年倍受重視的方向,浙江大學姚林團隊[14]特別關注了 aBCI 中的腦電(electroencephalogram,EEG)信號情緒識別問題。他們基于生理信號情緒數據集(DEAP),系統地比對了主流特征提取算法和分類器模型,并提出了以濾波器組長短時記憶網絡(filter-bank long short-term memory networks,FBLSTM)為核心的算法,在情緒的效價度二分類、喚醒度二分類、效價—喚醒平面四分類上的平均分類準確率達到 78.8%、78.4%、70.3%,為 aBCI 中的情緒識別提供了新的選項。河北工業大學徐桂芝團隊[15]瞄準跨被試、跨時間情緒分類問題,提出了最大分類器差異域對抗方法(maximum classifier discrepancy for domain adversarial neural networks,MCD_DA),在進行跨被試情緒識別時,平均分類準確率達到了 88.33%,遠高于傳統通用分類器的 58.23%,顯示該方法提高了 aBCI 在實際應用中的泛化能力。
歷經了半個世紀的 BCI,雖然受到了各方面的青睞,但 BCI 的實際應用并不多,有種“叫好不叫座”的感覺。如何促進 BCI 從實驗室進入現實場景,已經成為該領域的迫切任務。在本專輯中也有多項工作聚焦這個方面,其中天津大學明東團隊[16]研究了用于 BCI 錯誤自動更正的錯誤相關電位(error-related potentials,ErrP)信號解碼問題,在兩個不同的公開數據集上,對 8 個算法展開了對比研究,相關結果可作為實際應用中選擇 ErrP 解碼算法的參考。鄭州大學胡玉霞團隊[17]圍繞 BCI 實際應用中當腦電信號采集通道數減少到只有一個通道的極限情況時的眼電偽跡去除難題,提出了一種基于小波變換和集合經驗模態分解的眼電偽跡去除算法,測試顯示該方法能在有效去除眼電偽跡的同時,較好地保留腦電信息,并具有較低的算法復雜度,因而有助于推動 BCI 技術的便攜化應用。中國醫學科學院生物醫學工程所陳小剛團隊[18]設計了一種融合增強現實(augmented reality,AR)BCI 和計算機視覺的高級控制體系結構,以控制上肢機械臂執行拾取和放置任務。針對 11 名健康受試者的在線結果表明,該系統的平均分類準確率達到 91.41%,證實了結合增強現實、BCI 和計算機視覺技術來控制機械臂的可行性,也為創新機械臂控制方法提供了新的思路。
顯然,決定腦電 BCI 應用效果的關鍵還是腦電信號的質量,以及我們對影響腦電信號質量的各種因素的認識,對此本專輯中也有兩篇文章分別從內在疾病和外在干預兩個方面進行了研究。華南理工大學李遠清團隊[19]研究了耳鳴對腦電信號的影響,論文采集了 16 名耳鳴患者和 16 名健康被試的靜息態腦電(EEG),對比兩組數據在 δ(0.5~3 Hz)、θ(4~7 Hz)、α(8~13 Hz)、β(14~30 Hz)以及 γ(31~50 Hz)頻帶的功率譜拓撲圖的差異,結果發現,耳鳴患者靜息態頻譜能量在所關注的全部頻帶上都高于健康被試;接著,項目又設計了任務態的注意力實驗,結果顯示,耳鳴患者注意力任務的分類準確率顯著低于健康被試,最高值分別為 80.21% 和 88.75%。河北工業大學于洪麗團隊[20]研究了經顱直流電刺激(transcranial direct current stimulation,tDCS)對腦卒中患者康復期腦電腦網絡的影響。實驗采集了 31 名腦卒中患者康復期的靜息態 EEG 信號(16 名患者作為試驗組施加真刺激,15 名患者作為對照組施加偽刺激),結果發現,tDCS 真刺激后腦卒中患者腦功能網絡的節點度、聚類系數、全局效率和“小世界”屬性顯著升高,特征路徑長度顯著降低。該結果表明,tDCS 能夠改善腦卒中患者康復期的腦功能網絡。
BCI 在中國的發展也已走過了 30 個年頭[21],在中國生物醫學工程學會下設立了以 BCI 為核心的“醫學神經工程分會”,形成了數百人的研究隊伍,研究內容涉及了 BCI 的幾乎所有的方面,在此不予贅述。為了進一步提高中國 BCI 研究的影響力和服務經濟社會發展的能力,我們認為或許應該重點關注以下的一些問題。
(1)在深入研究腦-機器交互的同時,應該不時回望動物進化形成的腦與身體器官之間交互的相關機制,并努力尋找兩者的共同點和不同點,尤其要探索整合兩類交互融合的途徑與效用。在本專輯中,電子科技大學秦云等[22]推出的腦器交互論文以及我們[23]之前發表的腦器交互學論文,較系統地探討了這方面的問題,更提出了腦器交互框架下的許多值得研究的新問題。
(2)本專輯中既有腦控(如運動想象)也有非腦控(如 aBCI)的內容。我們認為,為了 BCI 的更好發展,跳出“BCI=腦控”的狹義定義是非常重要的。事實上,國際上正在探索的各種 BCI,其共性就是“利用在線腦信息進行腦與計算機通訊”,此定義無疑可為 BCI 發展奠定更加廣闊的空間。在此定義下,相關的應用場景可以是臨床傾向的,也可以是服務于腦科學研究的,甚至能夠與藝術創造、娛樂相結合,如無標度腦波音樂的研究和應用[24]。
(3)BCI 研究要進一步強調應用導向,切實解決應用中的可靠、穩定、耐用、適用、美觀、經濟等問題,為此要大力發展和更新信息傳感技術如干電極技術,尋求新的特征提取與解釋方法如結合深度學習[7, 25-26],并實現全鏈條的自主可控與國產化。
(4)加大對 BCI 知識的培訓和科普力度,實現人們對 BCI 的認知從科幻到科學的轉變。事實上,只有當 BCI 成為人們現實生活中的一部分,并有更多的公眾參與的時候,BCI 才能受到更多產業界的關注和支持,從而帶動 BCI 技術的進一步發展,當然這一過程中也包括對倫理問題的討論和倫理規范的維護。
利益沖突聲明:本文全體作者均聲明不存在利益沖突。