醫學信息化的高速發展和人工智能技術的不斷革新,使得充分利用數據分析或挖掘方法對醫學數據進行分析和預測成為可能,這不僅可為患者提供更加精準的診斷和治療依據,也可為政府和醫院合理調配醫療衛生資源提供重要決策參考。長短期記憶網絡作為機器學習方法中處理時間序列數據的經典模型,能夠突破統計學的一些局限而處理規模較為龐大且復雜的醫學時間序列數據。目前長短期記憶網絡在醫藥衛生和生物醫學領域的應用主要涉及 7 個應用主題,包括自然語言處理與文本挖掘、生物醫學信息、信號類、運動、臨床病歷、醫院管理、公共衛生及政策。
引用本文: 曾瑜, 楊曉妍, 張偉. 長短期記憶網絡在醫藥衛生和生物醫學領域的應用現狀. 華西醫學, 2021, 36(1): 131-136. doi: 10.7507/1002-0179.202004036 復制
長短期記憶網絡(long short-term memory network,LSTM)是循環神經網絡(recurrent neural network,RNN)的一種變體。一個基礎的神經網絡包含輸入層、隱藏層和輸出層,層與層之間通過權值連接,通過激活函數控制輸出。RNN 與其他神經網絡最大的不同之處就是在各層的神經元之間也建立了權連接,因此隱藏層的神經元之間也是帶有權值的,且其權值共享。也就是說,隨著序列的不斷推進,前面的隱藏層將會影響后面的隱藏層,因而具備了處理時間序列數據的模型架構。Bengio 等[1]提出標準 RNN 存在梯度消失和梯度爆炸的困擾,進而 Hochreiter 等[2]提出用 LSTM 來改進 RNN。一個標準的 LSTM 模型,它使用門控機制和專用記憶單元,通過利用長時間依賴性,可以更好地解決梯度消失或梯度爆炸問題,其門控機制由輸入門it、遺忘門ft和輸出門ot組成,具有一個細胞狀態向量ct來決定過往時刻信息對當前時刻輸入和輸出信息的影響,通過這些門控機制來實現對信息的存儲和更新,從而可用于完成序列學習相關的任務。LSTM 在多種類型的時間序列數據應用中顯示出了良好性能,特別是應用于機器翻譯、語音識別等領域。近年來,生物醫藥領域積累的大量時間序列數據激發著相應決策需求。本文對 LSTM 提出 20 余年來的應用現狀進行綜述,以期有助于方法推廣與拓展。
1 LSTM 在醫學領域的文獻發表情況
本文檢索了中國知網、維普中文科技期刊數據庫、萬方數據庫、PubMed、Springer link、Embase 等數據庫,檢索時間從建庫至 2020 年 6 月 11 日。中文檢索詞包括“長短期記憶”“長短時記憶”等,英文檢索詞包括“LSTM”“long short term memory”“long short term memory networks”“ LSTM networks”等,限制醫學學科領域。初檢合并各文獻庫后剔重,共獲得 538 篇文獻。對所獲文獻逐篇閱讀文題和摘要進行初篩,初篩不確定的進一步下載全文進行復篩,最終獲得醫藥衛生和生物醫學領域以 LSTM 應用為主題的中、英文文獻(含學位論文)共 267 篇。納入文獻的發表時間情況為:截至 2016 年累計發表 10 篇,2017 年 20 篇,2018 年 76 篇,2019 年 116 篇,2020 年 45 篇(受限于檢索截止時間,2020 年實際文獻量可能存在低估)。中、英文分別為 137 篇和 130 篇。
2 LSTM 在醫學領域的應用主題
納入的 267 篇文獻按應用主題可分為:自然語言處理(natural language processing,NLP)與文本挖掘 62 篇,生物醫學信息 21 篇,信號類 123 篇,運動 17 篇,臨床病歷 18 篇,醫院管理 10 篇,公共衛生及政策 16 篇。下面分別介紹 LSTM 在醫學領域中的相關應用主題。
2.1 文本識別與挖掘
LSTM 在 NLP 中應用廣泛,是處理文本序列數據的重要方法,能夠實現多種任務,比如詞性標注、命名實體識別、語言識別、機器翻譯甚至情感分類等。醫學文本信息和語音信息,不同于日常語言語音,含有復雜的專業術語,并且受到醫學學科更為嚴謹的限制,需要模型具有更高的精準性。LSTM 作為 RNN 變體,其相對復雜的結構使得其在 NLP 應用中表現出更優良的性能。此外,LSTM 模型在 NLP 應用過程中也在進行自身的不斷改進,發展了點陣 LSTM[3-4]、雙向 LSTM(bi-directional LSTM,Bi-LSTM)等。例如 Bi-LSTM,其不僅可以利用之前的信息,也可利用后面的信息,能夠充分收集信息特征,根據研究目的提高結果預測準確性或分類、識別的準確性。LSTM 也可與其他模型方法進行模型集成與優化,例如與條件隨機場(conditional random field,CRF)、卷積神經網絡(convolutional neural network,CNN)集成為 Bi-LSTM-CRF[5]、CNN-Bi-LSTM[6]等,使模型具有更好的穩健性和泛化性。
實體識別方面,相關研究利用 Bi-LSTM 模型或其變體模型在電子病歷數據中進行實體識別,例如識別肝細胞癌電子病歷文本、保護信息識別等[7-12];Abatemarco 等[13]研究自發性單病例安全報告文本用于藥物警戒專家決策輔助。藥物相互作用(drug-drug interaction,DDI)方面,Zhou 等[14]、Zheng 等[15]分別提出基于關注點的 Bi-LSTM 方法和含 Bi-LSTM 層的方法;Huang 等[16]針對競賽數據庫 4 種 DDI 分類明顯不均衡的特點提出含 Bi-LSTM 的兩階段方法并分析影響因素。化學物質誘導疾病(chemical-induced disease,CID)方面,Zheng 等[15]將 CNN 和 Bi-LSTM 結合用于自動學習語篇水平的語義表達;Li 等[17]研究非結構化文獻的 CID 抽取。疾病專科分類方面,Weng 等[18]構建了臨床 NLP 方法學體系對臨床文書進行醫療子領域的準確分類;Luo [19]首次提出用 LSTM 對臨床文書中臨床概念間的關系進行分類;Hu 等[20]用 Bi-LSTM 來自動準確理解中醫藥領域患者主訴。影像報告方面,Tahmasebi 等[21]提出非監督機器學習方法進行自動結構化,有助于前期影像報告信息查詢需求并避免人為錯誤。此外臨床手術活動預測[22]和影像住院醫師病例合理分配[23]等都用到了 NLP 技術。
上述研究對應用 LSTM 進行醫學文本挖掘所做的實例研究,提高了醫學文本信息的處理效率,具有很強的臨床實用價值。LSTM 作為 NLP 的關鍵技術方法,在電子病歷文本信息挖掘中得到了充分的應用,其文本識別效果表現較好,但總體而言仍未達到精準識別復雜醫學文本信息的高標準要求。未來除了不斷改進 LSTM 模型外,也應建立更大體量的醫學文本語義訓練庫,為醫學文本挖掘精度的提高提供基礎。
2.2 生物醫學信息中的分類和預測
LSTM 能夠根據過去和未來的輸入信息特征來支持當前的輸出,這種結構天然符合時間序列信息的處理。然而相對于在 NLP 中的應用,LSTM 在生物醫藥學信息領域應用研究較少,但 LSTM 仍然是一個可供處理序列信息的分析方法。因為生物組學數據和生物醫學信號通常是順序的,類似于自然語言,這也就為 LSTM 的應用提供了信息基礎,并且 LSTM 較強的分類預測能力在醫學信息研究中也具有一定前景[24]。
蛋白質結構分為從一級到四級的四層次結構,層次越高其空間結構越復雜。其中二級結構預測研究比較集中:利用 LSTM 建立分類模型,可以將每個氨基酸準確分配到其所屬分類類型中[25],此外 LSTM 可以整合 CNN 等其他神經網絡模型以獲得更佳的模型分類效果[26]:郭延哺等[27]同時提取了氨基酸殘基間的局部相關特征和遠程相互作用,實現了蛋白質 8 類二級結構的精確預測;吳輝[28]將預先訓練好的蛋白質序列用 2 個 LSTM 進行訓練獲得一個定長的向量表示并作為后續方法的輸入,也達到了較好的對蛋白二級結構的分類預測效果。三級結構研究方面,可以使用 Bi-LSTM 抽取蛋白質序列上每個殘基的全局屬性來研究殘基對的相互作用[29];基于 LSTM 模型進行變體也可以從序列信息來預測蛋白質結構域[30];亦有研究使用 CNN 和 LSTM 結合的單一網絡來對蛋白質結構域邊界進行預測[31]。
蛋白質同源性探測方面,Hochreiter 等[32]研究基于模型的蛋白質同源性探測方法用以替代耗時的序列比對系列方法;Li 等[33]報道了用 Bi-LSTM 來了解蛋白質有效特征并提出相應預測模型,以應對序列長度變異明顯的特點。
RNA 研究方面,基于模型的層間信息傳遞方式與 RNA 折疊方式的相似之處,能使用 Bi-LSTM 對 RNA 二級結構進行打分并得到很好的打分函數[34]。
疾病機制與治療方面的研究,姜鵬[35]以 LSTM 為核心提出致病基因檢測模型以克服傳統遞歸神經網絡長期依賴問題,把基因中位點與位點之間的相互關系進行高層的抽象并發掘其中聯系;Nagarajan 等[36]用 LSTM 模型去理解潛在機制并進行基于模型的抗菌肽設計與合成,以研發新治療手段來抗擊耐多藥和碳青霉烯耐藥細菌性病原體;范光鵬等[37]用 LSTM 對人類免疫缺陷病毒-1 蛋白酶切割位點進行預測來探討艾滋病疾病機制。
LSTM 的較強分類預測能力在生物醫學信息領域具有多種實例應用場景,其能夠提取復雜高維的生物蛋白空間、通路等信息特征,作出更為精準的預測。
2.3 LSTM 在醫學信號類數據中的多維應用
LSTM 能夠捕獲長距離依賴性的能力在醫學信號處理中具有強大的性能和應用前景。醫學信號數據是非常典型的時間序列數據,例如心電信號、腦電信號等,數據較為完整,滿足 LSTM 模型對處理數據的要求。LSTM 能夠捕獲信號數據的時間依賴特征,這一信息在臨床應用中具有重要意義,可以用于輔助診斷、疾病亞型分類、疾病進程預測等。
LSTM 模型在多個臨床問題中被用以進行輔助診斷,如:應用含 Bi-LSTM 的方法預測肺部病灶良惡性[38];應用深層循環生成對抗網絡來實現 MRI 影像的神經孔、椎間盤和椎骨的自動同時分割與分類以輔助診斷[39];采用含 LSTM 的方法學習 MRI 小腸直徑長度時序變化特征并預測其收縮頻率,輔助運動性疾病診斷[40];He 等[41]研究字幕生成,提出一種新穎高效的影像標注框架系統;安瑩瑩[42]研究小兒白內障術前裂隙圖像嚴重程度分級和術后紅反時間序列圖像,預測再手術需求;Azizi 等[43]用 LSTM 來捕捉超聲數據流時序特征,提出一種組織特征刻畫的新范例即時間增強超聲技術,用于超聲引導前列腺穿刺活檢癌癥探測的近實時分析。此外,在計算機視覺方面,Ahmedt-Aristizabal 等[44]研究顳葉內側癲癇患者視頻監測面部表情數據的自動提取并分類出不同面部符號學模式用于術前評估,展示了計算機輔助診斷的符號學有望用于更廣闊的有運動異常的神經性疾病。
心電信號方面,研究人員用 LSTM 來實現振幅低、肉眼識別困難且耗時的心電信號自動解讀并進行心律失常分類,尤其是針對心電圖的變長數據段,取得良好效果[45-48]。此外,有學者研究心電圖心率變異信號來區分糖尿病和正常[49]、進行冠狀動脈疾病心電圖自動診斷[50],以及抑制電源工頻干擾而減少心電圖的醫學信號失真[51]。
在腦電信號方面,研究人員將術中腦電信號進行預處理,利用腦電信號時序信息并提升了僅利用單點信息方法的預測準確率,為麻醉深度監測提供了一種新思路[52]。身份識別是腦電信號分類問題中的一種類型,安恩瑩[53]研究基于單電極腦電信號,將該類問題的 3 個常規步驟統一起來以簡化設備和流程。睡眠分期方面,有研究基于三通道信號,將 LSTM 與 CNN 結合來挖掘睡眠時序信息以提高準確率[54]。此外,根據腦電信號數據應用 LSTM 模型可預測癲癇發作,實現高靈敏度和低誤判率[55]。
Li 等[56]對神經外科手術中基于探針的共聚焦激光顯微內鏡信號數據采用 CNN-LSTM 方法,實現惡性膠質瘤/成膠質細胞瘤和腦膜瘤/脊膜瘤的準確分類,為機器人輔助神經外科腫瘤干預過程提供指導。
郭彥杰[57]通過構建 LSTM 來對脈搏信號進行分類,可有效識別其不同生理狀態(如睡眠前后),避免了脈診高度依賴中醫師個人經驗,為中醫脈診的客觀化及推廣進行了有益探索。
LSTM 對于無缺失的周期性醫學信號數據具有較強的處理能力,能夠充分過濾信號數據的噪聲而提取到極具應用價值的醫學信息,其數據分析結果也十分可靠和穩定。
2.4 運動識別
隨著可穿戴設備的普及,在醫學領域可收集到健康相關的監護數據,包括身體運動數據。因此 LSTM 可對此類數據進行分析,完成運動識別等任務,與傳統的基于視覺的運動識別相互補充,應用于疾病診斷、健康監護等方面。
神經退行性疾病步態異常有差異且受疲勞等多因素影響。有研究通過收集患者步態數據,用雙通道 LSTM 合并時間序列和力量序列進行分析,從而更加客觀地輔助疾病臨床診斷[58]。另有研究基于模糊時間窗的 LSTM 集成分類器用于二元傳感數據的日常活動識別,揭示其在智慧家庭和醫療照護等領域將大有用武之地[59],例如后續有研究將其用于構建識別獨居老年人的跌倒監測預警系統等[60]。Liu 等[61]用電磁關節造影術收集發音特征,用數據驅動方法(Bi-LSTM 模型)實現發音聽覺轉換,應用于比如演講障礙(如喉切除術)患者輔助、語音合成等。此外,Chen 等[62]開發的戒煙系統也用到了運動監測數據的分析識別技術。
2.5 臨床病歷應用探索 LSTM 模型的適應與改進
LSTM 在臨床病歷中的應用需要進一步的探索,受限于臨床電子病歷數據的多模態、多缺失、具有時間屬性但采樣間隔不規律等情況,其分析方法十分有限。需要對 LSTM 模型進行適應性優化或與其他相應方法進行集成分析,從而擴展其在臨床病歷中的應用。
環境感知式手術室所需的手術活動自動識別和預測有賴于有標注的訓練數據,而有標注訓練數據的缺乏成為自動識別和預測的重要瓶頸。Dergachyova 等[22]提出使用知識遷移方法來彌補數據不足,用 LSTM 網絡分析工作流程以預測下一個手術活動。心臟病預測方面,朱靜陽[63]基于診斷相關數據,用 LSTM 等算法對目標樣本進行模擬,提高了模型準確率。陳德華等[64]基于糖尿病電子病歷數據,提出了一種基于 LSTM 序列增量學習的臨床領域時序知識圖譜鏈接預測模型,對解決時序知識圖譜中缺失信息的發現和還原具有重要意義。敗血癥是重癥監護病房患者死亡的重要原因之一,Kam 等[65]對重癥監護病房 12 年開源數據的研究提示深度學習方法在敗血癥早期預測方面優于傳統抽取時間特征的回歸方法。
2.6 醫院管理決策支持
LSTM 作為數據分析方法,其模型輸出結果可以為相關管理政策的決策提供依據。鄭亞鵬等[66]基于江西省 12 年臨床用血數據,用 LSTM 挖掘臨床用血量和時間序列的關系,有助于制定血液中心采供血年度計劃。醫療物資采購成本控制方面,柴龍凱[67]對區域醫療物資使用量進行預測研究,比較了自回歸積分滑動平均模型和 LSTM 的預測效果并提示后者更優,進而將 LSTM 神經網絡模型納入了區域醫療物資采購精準預測計劃。醫院評價方面,Reddy 等[68]基于電子健康檔案,將 LSTM 模型和傳統分類方法如人工神經網絡和帶懲罰項的 logistic 回歸模型應用于紅斑狼瘡 30 d 再入院率預測,展現了 LSTM 模型的優勢。醫師培養方面,Chen 等[23]研究用 3 種 NLP 技術來處理醫療記錄,以產生描述影像住院醫師閱片進展數據,有助于更合理分配后續病例,從而豐富醫師接觸片子類型、完善培訓。醫院醫療資源監測與分配方面,盧鵬飛等[69]提出構建一種基于季節性差分自回歸滑動平均模型-LSTM 的門診量預測模型實現更加穩健和精準的門診量預測,具有較好的實際應用價值。
2.7 公共衛生及政策決策支持
LSTM 模型的分析結果不僅可以為臨床問題、醫院管理決策提供證據支持,在一些公共衛生政策中,也能提供決策參考。控煙是國家、地區層面的政策舉措,Chen 等[62]開發了一套戒煙系統,通過運動檢測和安卓應用程序來實時監測和反饋吸煙狀態,從而支撐個性化戒煙計劃。研判傳染病流行初期發展趨勢,對制定相關疾病預防控制措施具有重要的參考意義,韓天齊等[70]基于 1950 年—2014 年全國麻疹報告數據集,通過構建 LSTM 網絡擬合預測模型對 2018 年—2022 年發病率進行預測,結果表明 LSTM 網絡模型對疾病預測相關的時間序列問題具有一定的適用性,能夠更有效地利用長時程的時間序列信息。
3 總結與展望
本文回顧了 LSTM 在醫藥衛生與生物醫學領域的應用,應用 LSTM 進行分析的研究逐年增加,該方法具有較好的應用前景。LSTM 對具有序列特征的數據顯示性能良好,應用主題主要集中在文本類、生物醫學信息類和信號類。LSTM 作為深度學習類方法之一,已提出 20 余年,但直到近 2 年才出現比較多的聚焦醫學領域應用的文獻;其中,納入分析的部分研究是學位論文,且都是軟件工程、計算機技術或信息、通信類專業的國內研究生通過一級學科交叉來解決醫學類問題的研究。這提示還需進一步加強研究以推進其在醫學領域的應用。我們分析認為,LSTM 在醫學領域中應用仍不成熟的原因有以下幾個方面:① 受限于數據安全考慮的數據共享范圍,數據體量和多樣性尚不能很好地滿足模型訓練、驗證、測試的要求,以致推廣困難;② 醫學數據類相關標準規范出臺與推廣的相對滯后、信息系統建設的各自為陣、醫學數據類型的多樣性等,使得數據整合難度加大;③ 需要醫學領域知識的支撐而專業人員人力有限,標簽數據緊缺,從而監督類學習方法應用受限;④ 醫學數據雖然數據體量大,但其變量維度高,數據結構復雜,含有特定的自然缺失模式,且受多種因素影響,數據準確性存在偏差,質量參差不一,混雜因素交錯,且缺乏以個人為主線的全生命周期數據,隨訪困難,致使終點指標常缺失;⑤ 交叉學科人才稀缺,導致方法開發與應用的完美結合還存在較大距離;⑥ 方法學本身的共性因素如稀疏數據的處理、參數設置的學理基礎、模型的穩健性及“黑匣子”問題等,以及 LSTM 內部結構中各組件作用的進一步證明、LSTM 架構的優化、噪聲過濾、計算加速、LSTM 與其他網絡結合應用等,仍是制約其應用的重要課題。
隨著人工智能技術的不斷發展,LSTM 及其發展模型在處理時間序列數據上的優勢得到了充分發揮,并在各個領域的應用也取得了相應的成功。但在醫學領域中,LSTM 方法的應用需要結合現實需求,相應的研究若能突破或解決上述限速環節,將極大地促進方法研究、應用與轉化。
長短期記憶網絡(long short-term memory network,LSTM)是循環神經網絡(recurrent neural network,RNN)的一種變體。一個基礎的神經網絡包含輸入層、隱藏層和輸出層,層與層之間通過權值連接,通過激活函數控制輸出。RNN 與其他神經網絡最大的不同之處就是在各層的神經元之間也建立了權連接,因此隱藏層的神經元之間也是帶有權值的,且其權值共享。也就是說,隨著序列的不斷推進,前面的隱藏層將會影響后面的隱藏層,因而具備了處理時間序列數據的模型架構。Bengio 等[1]提出標準 RNN 存在梯度消失和梯度爆炸的困擾,進而 Hochreiter 等[2]提出用 LSTM 來改進 RNN。一個標準的 LSTM 模型,它使用門控機制和專用記憶單元,通過利用長時間依賴性,可以更好地解決梯度消失或梯度爆炸問題,其門控機制由輸入門it、遺忘門ft和輸出門ot組成,具有一個細胞狀態向量ct來決定過往時刻信息對當前時刻輸入和輸出信息的影響,通過這些門控機制來實現對信息的存儲和更新,從而可用于完成序列學習相關的任務。LSTM 在多種類型的時間序列數據應用中顯示出了良好性能,特別是應用于機器翻譯、語音識別等領域。近年來,生物醫藥領域積累的大量時間序列數據激發著相應決策需求。本文對 LSTM 提出 20 余年來的應用現狀進行綜述,以期有助于方法推廣與拓展。
1 LSTM 在醫學領域的文獻發表情況
本文檢索了中國知網、維普中文科技期刊數據庫、萬方數據庫、PubMed、Springer link、Embase 等數據庫,檢索時間從建庫至 2020 年 6 月 11 日。中文檢索詞包括“長短期記憶”“長短時記憶”等,英文檢索詞包括“LSTM”“long short term memory”“long short term memory networks”“ LSTM networks”等,限制醫學學科領域。初檢合并各文獻庫后剔重,共獲得 538 篇文獻。對所獲文獻逐篇閱讀文題和摘要進行初篩,初篩不確定的進一步下載全文進行復篩,最終獲得醫藥衛生和生物醫學領域以 LSTM 應用為主題的中、英文文獻(含學位論文)共 267 篇。納入文獻的發表時間情況為:截至 2016 年累計發表 10 篇,2017 年 20 篇,2018 年 76 篇,2019 年 116 篇,2020 年 45 篇(受限于檢索截止時間,2020 年實際文獻量可能存在低估)。中、英文分別為 137 篇和 130 篇。
2 LSTM 在醫學領域的應用主題
納入的 267 篇文獻按應用主題可分為:自然語言處理(natural language processing,NLP)與文本挖掘 62 篇,生物醫學信息 21 篇,信號類 123 篇,運動 17 篇,臨床病歷 18 篇,醫院管理 10 篇,公共衛生及政策 16 篇。下面分別介紹 LSTM 在醫學領域中的相關應用主題。
2.1 文本識別與挖掘
LSTM 在 NLP 中應用廣泛,是處理文本序列數據的重要方法,能夠實現多種任務,比如詞性標注、命名實體識別、語言識別、機器翻譯甚至情感分類等。醫學文本信息和語音信息,不同于日常語言語音,含有復雜的專業術語,并且受到醫學學科更為嚴謹的限制,需要模型具有更高的精準性。LSTM 作為 RNN 變體,其相對復雜的結構使得其在 NLP 應用中表現出更優良的性能。此外,LSTM 模型在 NLP 應用過程中也在進行自身的不斷改進,發展了點陣 LSTM[3-4]、雙向 LSTM(bi-directional LSTM,Bi-LSTM)等。例如 Bi-LSTM,其不僅可以利用之前的信息,也可利用后面的信息,能夠充分收集信息特征,根據研究目的提高結果預測準確性或分類、識別的準確性。LSTM 也可與其他模型方法進行模型集成與優化,例如與條件隨機場(conditional random field,CRF)、卷積神經網絡(convolutional neural network,CNN)集成為 Bi-LSTM-CRF[5]、CNN-Bi-LSTM[6]等,使模型具有更好的穩健性和泛化性。
實體識別方面,相關研究利用 Bi-LSTM 模型或其變體模型在電子病歷數據中進行實體識別,例如識別肝細胞癌電子病歷文本、保護信息識別等[7-12];Abatemarco 等[13]研究自發性單病例安全報告文本用于藥物警戒專家決策輔助。藥物相互作用(drug-drug interaction,DDI)方面,Zhou 等[14]、Zheng 等[15]分別提出基于關注點的 Bi-LSTM 方法和含 Bi-LSTM 層的方法;Huang 等[16]針對競賽數據庫 4 種 DDI 分類明顯不均衡的特點提出含 Bi-LSTM 的兩階段方法并分析影響因素。化學物質誘導疾病(chemical-induced disease,CID)方面,Zheng 等[15]將 CNN 和 Bi-LSTM 結合用于自動學習語篇水平的語義表達;Li 等[17]研究非結構化文獻的 CID 抽取。疾病專科分類方面,Weng 等[18]構建了臨床 NLP 方法學體系對臨床文書進行醫療子領域的準確分類;Luo [19]首次提出用 LSTM 對臨床文書中臨床概念間的關系進行分類;Hu 等[20]用 Bi-LSTM 來自動準確理解中醫藥領域患者主訴。影像報告方面,Tahmasebi 等[21]提出非監督機器學習方法進行自動結構化,有助于前期影像報告信息查詢需求并避免人為錯誤。此外臨床手術活動預測[22]和影像住院醫師病例合理分配[23]等都用到了 NLP 技術。
上述研究對應用 LSTM 進行醫學文本挖掘所做的實例研究,提高了醫學文本信息的處理效率,具有很強的臨床實用價值。LSTM 作為 NLP 的關鍵技術方法,在電子病歷文本信息挖掘中得到了充分的應用,其文本識別效果表現較好,但總體而言仍未達到精準識別復雜醫學文本信息的高標準要求。未來除了不斷改進 LSTM 模型外,也應建立更大體量的醫學文本語義訓練庫,為醫學文本挖掘精度的提高提供基礎。
2.2 生物醫學信息中的分類和預測
LSTM 能夠根據過去和未來的輸入信息特征來支持當前的輸出,這種結構天然符合時間序列信息的處理。然而相對于在 NLP 中的應用,LSTM 在生物醫藥學信息領域應用研究較少,但 LSTM 仍然是一個可供處理序列信息的分析方法。因為生物組學數據和生物醫學信號通常是順序的,類似于自然語言,這也就為 LSTM 的應用提供了信息基礎,并且 LSTM 較強的分類預測能力在醫學信息研究中也具有一定前景[24]。
蛋白質結構分為從一級到四級的四層次結構,層次越高其空間結構越復雜。其中二級結構預測研究比較集中:利用 LSTM 建立分類模型,可以將每個氨基酸準確分配到其所屬分類類型中[25],此外 LSTM 可以整合 CNN 等其他神經網絡模型以獲得更佳的模型分類效果[26]:郭延哺等[27]同時提取了氨基酸殘基間的局部相關特征和遠程相互作用,實現了蛋白質 8 類二級結構的精確預測;吳輝[28]將預先訓練好的蛋白質序列用 2 個 LSTM 進行訓練獲得一個定長的向量表示并作為后續方法的輸入,也達到了較好的對蛋白二級結構的分類預測效果。三級結構研究方面,可以使用 Bi-LSTM 抽取蛋白質序列上每個殘基的全局屬性來研究殘基對的相互作用[29];基于 LSTM 模型進行變體也可以從序列信息來預測蛋白質結構域[30];亦有研究使用 CNN 和 LSTM 結合的單一網絡來對蛋白質結構域邊界進行預測[31]。
蛋白質同源性探測方面,Hochreiter 等[32]研究基于模型的蛋白質同源性探測方法用以替代耗時的序列比對系列方法;Li 等[33]報道了用 Bi-LSTM 來了解蛋白質有效特征并提出相應預測模型,以應對序列長度變異明顯的特點。
RNA 研究方面,基于模型的層間信息傳遞方式與 RNA 折疊方式的相似之處,能使用 Bi-LSTM 對 RNA 二級結構進行打分并得到很好的打分函數[34]。
疾病機制與治療方面的研究,姜鵬[35]以 LSTM 為核心提出致病基因檢測模型以克服傳統遞歸神經網絡長期依賴問題,把基因中位點與位點之間的相互關系進行高層的抽象并發掘其中聯系;Nagarajan 等[36]用 LSTM 模型去理解潛在機制并進行基于模型的抗菌肽設計與合成,以研發新治療手段來抗擊耐多藥和碳青霉烯耐藥細菌性病原體;范光鵬等[37]用 LSTM 對人類免疫缺陷病毒-1 蛋白酶切割位點進行預測來探討艾滋病疾病機制。
LSTM 的較強分類預測能力在生物醫學信息領域具有多種實例應用場景,其能夠提取復雜高維的生物蛋白空間、通路等信息特征,作出更為精準的預測。
2.3 LSTM 在醫學信號類數據中的多維應用
LSTM 能夠捕獲長距離依賴性的能力在醫學信號處理中具有強大的性能和應用前景。醫學信號數據是非常典型的時間序列數據,例如心電信號、腦電信號等,數據較為完整,滿足 LSTM 模型對處理數據的要求。LSTM 能夠捕獲信號數據的時間依賴特征,這一信息在臨床應用中具有重要意義,可以用于輔助診斷、疾病亞型分類、疾病進程預測等。
LSTM 模型在多個臨床問題中被用以進行輔助診斷,如:應用含 Bi-LSTM 的方法預測肺部病灶良惡性[38];應用深層循環生成對抗網絡來實現 MRI 影像的神經孔、椎間盤和椎骨的自動同時分割與分類以輔助診斷[39];采用含 LSTM 的方法學習 MRI 小腸直徑長度時序變化特征并預測其收縮頻率,輔助運動性疾病診斷[40];He 等[41]研究字幕生成,提出一種新穎高效的影像標注框架系統;安瑩瑩[42]研究小兒白內障術前裂隙圖像嚴重程度分級和術后紅反時間序列圖像,預測再手術需求;Azizi 等[43]用 LSTM 來捕捉超聲數據流時序特征,提出一種組織特征刻畫的新范例即時間增強超聲技術,用于超聲引導前列腺穿刺活檢癌癥探測的近實時分析。此外,在計算機視覺方面,Ahmedt-Aristizabal 等[44]研究顳葉內側癲癇患者視頻監測面部表情數據的自動提取并分類出不同面部符號學模式用于術前評估,展示了計算機輔助診斷的符號學有望用于更廣闊的有運動異常的神經性疾病。
心電信號方面,研究人員用 LSTM 來實現振幅低、肉眼識別困難且耗時的心電信號自動解讀并進行心律失常分類,尤其是針對心電圖的變長數據段,取得良好效果[45-48]。此外,有學者研究心電圖心率變異信號來區分糖尿病和正常[49]、進行冠狀動脈疾病心電圖自動診斷[50],以及抑制電源工頻干擾而減少心電圖的醫學信號失真[51]。
在腦電信號方面,研究人員將術中腦電信號進行預處理,利用腦電信號時序信息并提升了僅利用單點信息方法的預測準確率,為麻醉深度監測提供了一種新思路[52]。身份識別是腦電信號分類問題中的一種類型,安恩瑩[53]研究基于單電極腦電信號,將該類問題的 3 個常規步驟統一起來以簡化設備和流程。睡眠分期方面,有研究基于三通道信號,將 LSTM 與 CNN 結合來挖掘睡眠時序信息以提高準確率[54]。此外,根據腦電信號數據應用 LSTM 模型可預測癲癇發作,實現高靈敏度和低誤判率[55]。
Li 等[56]對神經外科手術中基于探針的共聚焦激光顯微內鏡信號數據采用 CNN-LSTM 方法,實現惡性膠質瘤/成膠質細胞瘤和腦膜瘤/脊膜瘤的準確分類,為機器人輔助神經外科腫瘤干預過程提供指導。
郭彥杰[57]通過構建 LSTM 來對脈搏信號進行分類,可有效識別其不同生理狀態(如睡眠前后),避免了脈診高度依賴中醫師個人經驗,為中醫脈診的客觀化及推廣進行了有益探索。
LSTM 對于無缺失的周期性醫學信號數據具有較強的處理能力,能夠充分過濾信號數據的噪聲而提取到極具應用價值的醫學信息,其數據分析結果也十分可靠和穩定。
2.4 運動識別
隨著可穿戴設備的普及,在醫學領域可收集到健康相關的監護數據,包括身體運動數據。因此 LSTM 可對此類數據進行分析,完成運動識別等任務,與傳統的基于視覺的運動識別相互補充,應用于疾病診斷、健康監護等方面。
神經退行性疾病步態異常有差異且受疲勞等多因素影響。有研究通過收集患者步態數據,用雙通道 LSTM 合并時間序列和力量序列進行分析,從而更加客觀地輔助疾病臨床診斷[58]。另有研究基于模糊時間窗的 LSTM 集成分類器用于二元傳感數據的日常活動識別,揭示其在智慧家庭和醫療照護等領域將大有用武之地[59],例如后續有研究將其用于構建識別獨居老年人的跌倒監測預警系統等[60]。Liu 等[61]用電磁關節造影術收集發音特征,用數據驅動方法(Bi-LSTM 模型)實現發音聽覺轉換,應用于比如演講障礙(如喉切除術)患者輔助、語音合成等。此外,Chen 等[62]開發的戒煙系統也用到了運動監測數據的分析識別技術。
2.5 臨床病歷應用探索 LSTM 模型的適應與改進
LSTM 在臨床病歷中的應用需要進一步的探索,受限于臨床電子病歷數據的多模態、多缺失、具有時間屬性但采樣間隔不規律等情況,其分析方法十分有限。需要對 LSTM 模型進行適應性優化或與其他相應方法進行集成分析,從而擴展其在臨床病歷中的應用。
環境感知式手術室所需的手術活動自動識別和預測有賴于有標注的訓練數據,而有標注訓練數據的缺乏成為自動識別和預測的重要瓶頸。Dergachyova 等[22]提出使用知識遷移方法來彌補數據不足,用 LSTM 網絡分析工作流程以預測下一個手術活動。心臟病預測方面,朱靜陽[63]基于診斷相關數據,用 LSTM 等算法對目標樣本進行模擬,提高了模型準確率。陳德華等[64]基于糖尿病電子病歷數據,提出了一種基于 LSTM 序列增量學習的臨床領域時序知識圖譜鏈接預測模型,對解決時序知識圖譜中缺失信息的發現和還原具有重要意義。敗血癥是重癥監護病房患者死亡的重要原因之一,Kam 等[65]對重癥監護病房 12 年開源數據的研究提示深度學習方法在敗血癥早期預測方面優于傳統抽取時間特征的回歸方法。
2.6 醫院管理決策支持
LSTM 作為數據分析方法,其模型輸出結果可以為相關管理政策的決策提供依據。鄭亞鵬等[66]基于江西省 12 年臨床用血數據,用 LSTM 挖掘臨床用血量和時間序列的關系,有助于制定血液中心采供血年度計劃。醫療物資采購成本控制方面,柴龍凱[67]對區域醫療物資使用量進行預測研究,比較了自回歸積分滑動平均模型和 LSTM 的預測效果并提示后者更優,進而將 LSTM 神經網絡模型納入了區域醫療物資采購精準預測計劃。醫院評價方面,Reddy 等[68]基于電子健康檔案,將 LSTM 模型和傳統分類方法如人工神經網絡和帶懲罰項的 logistic 回歸模型應用于紅斑狼瘡 30 d 再入院率預測,展現了 LSTM 模型的優勢。醫師培養方面,Chen 等[23]研究用 3 種 NLP 技術來處理醫療記錄,以產生描述影像住院醫師閱片進展數據,有助于更合理分配后續病例,從而豐富醫師接觸片子類型、完善培訓。醫院醫療資源監測與分配方面,盧鵬飛等[69]提出構建一種基于季節性差分自回歸滑動平均模型-LSTM 的門診量預測模型實現更加穩健和精準的門診量預測,具有較好的實際應用價值。
2.7 公共衛生及政策決策支持
LSTM 模型的分析結果不僅可以為臨床問題、醫院管理決策提供證據支持,在一些公共衛生政策中,也能提供決策參考。控煙是國家、地區層面的政策舉措,Chen 等[62]開發了一套戒煙系統,通過運動檢測和安卓應用程序來實時監測和反饋吸煙狀態,從而支撐個性化戒煙計劃。研判傳染病流行初期發展趨勢,對制定相關疾病預防控制措施具有重要的參考意義,韓天齊等[70]基于 1950 年—2014 年全國麻疹報告數據集,通過構建 LSTM 網絡擬合預測模型對 2018 年—2022 年發病率進行預測,結果表明 LSTM 網絡模型對疾病預測相關的時間序列問題具有一定的適用性,能夠更有效地利用長時程的時間序列信息。
3 總結與展望
本文回顧了 LSTM 在醫藥衛生與生物醫學領域的應用,應用 LSTM 進行分析的研究逐年增加,該方法具有較好的應用前景。LSTM 對具有序列特征的數據顯示性能良好,應用主題主要集中在文本類、生物醫學信息類和信號類。LSTM 作為深度學習類方法之一,已提出 20 余年,但直到近 2 年才出現比較多的聚焦醫學領域應用的文獻;其中,納入分析的部分研究是學位論文,且都是軟件工程、計算機技術或信息、通信類專業的國內研究生通過一級學科交叉來解決醫學類問題的研究。這提示還需進一步加強研究以推進其在醫學領域的應用。我們分析認為,LSTM 在醫學領域中應用仍不成熟的原因有以下幾個方面:① 受限于數據安全考慮的數據共享范圍,數據體量和多樣性尚不能很好地滿足模型訓練、驗證、測試的要求,以致推廣困難;② 醫學數據類相關標準規范出臺與推廣的相對滯后、信息系統建設的各自為陣、醫學數據類型的多樣性等,使得數據整合難度加大;③ 需要醫學領域知識的支撐而專業人員人力有限,標簽數據緊缺,從而監督類學習方法應用受限;④ 醫學數據雖然數據體量大,但其變量維度高,數據結構復雜,含有特定的自然缺失模式,且受多種因素影響,數據準確性存在偏差,質量參差不一,混雜因素交錯,且缺乏以個人為主線的全生命周期數據,隨訪困難,致使終點指標常缺失;⑤ 交叉學科人才稀缺,導致方法開發與應用的完美結合還存在較大距離;⑥ 方法學本身的共性因素如稀疏數據的處理、參數設置的學理基礎、模型的穩健性及“黑匣子”問題等,以及 LSTM 內部結構中各組件作用的進一步證明、LSTM 架構的優化、噪聲過濾、計算加速、LSTM 與其他網絡結合應用等,仍是制約其應用的重要課題。
隨著人工智能技術的不斷發展,LSTM 及其發展模型在處理時間序列數據上的優勢得到了充分發揮,并在各個領域的應用也取得了相應的成功。但在醫學領域中,LSTM 方法的應用需要結合現實需求,相應的研究若能突破或解決上述限速環節,將極大地促進方法研究、應用與轉化。