引用本文： 陳子豪, 黃可南, 丁新宇, 韋榮強, 劉承棟, 徐志飛, 唐華. 混合現實技術在肺結節術前討論及術中應用的研究. 中國胸心血管外科臨床雜志, 2020, 27(7): 797-801. doi: 10.7507/1007-4848.202002081 復制
隨著高分辨率 CT 的廣泛普及，肺結節的檢出率不斷提高，其中不乏早期肺癌患者，肺結節的診療也隨之成為當前的熱點話題，目前外科手術依然是治療早期肺癌的主要方式，也是治療早期肺癌的關鍵。近年來，微創外科及精準醫療等理念逐漸深入人心，伴隨著醫療技術的不斷革新，胸腔鏡手術已成為治療肺結節的首選手術方式，單孔胸腔鏡手術的發展更是肺結節微創診治技術的一次升華[1-2]。但是，在單孔胸腔鏡手術中由于術者操作習慣及觀察視角的改變加之肺部結構常存在解剖變異，容易出現誤傷血管導致出血甚至中轉開胸的情況，極大影響微創手術的成功率[3]，而患者家屬因缺乏醫療知識，無法理解例如術中出血等并發癥，易引起醫療糾紛，診療安全大打折扣，對醫患雙方均造成不良后果，該問題亟待解決。
混合現實（mixed reality，MR）技術是虛擬現實（virtual reality，VR）技術的進一步發展，但與 VR 技術不同的是 MR 具有現實與虛擬結合、實時交互性和精確的匹配性三個主要特征。MR 是脫離屏幕狀態下的虛擬世界與真實世界的融合，同時能夠實現現實世界和虛擬世界的互動[4-5]。利用 MR 技術可將根據患者胸部 CT 重建的肺部三維影像在觀察者所處地三維空間內展示出來，同時觀察者能和立體影像進行互動，可以通過空間手勢操作對眼前的三維肺臟圖像進行拆分、整合、部分隱藏、旋轉、放大、縮小等操作，甚至可以進入器官內部進行觀察[6-7]。上海長征醫院自 2019 年 9 月將 MR 技術用于臨床，現以 1 例兩肺多發結節患者最終行單孔胸腔鏡下左肺下葉背段切除及左肺上葉楔形切除術的病例為例，介紹 MR 技術的臨床應用。
1 資料與方法
1.1 臨床資料
患者，女，49 歲，2017 年體檢時發現左肺下葉結節，未處理。2019 年 10 月患者體檢時復查胸部 CT 提示兩肺多發結節，左肺下葉結節較前增大。門診隨訪 1 個月后予以再次復查胸部 CT 示兩肺結節無明顯縮小改變，遂入院治療。胸部 CT 檢查提示：雙肺多發磨玻璃結節，突出病灶位于左肺下葉背段，較大結節約 13 mm，形態欠規則，見淺分葉，邊界尚清；左肺下葉背段較小結節約 8 mm；左肺上葉前段結節大小約 9 mm；右肺下葉背段結節大小約 11 mm（圖 1）。患者既往體健，無特殊病史。
圖1
患者胸部 CT 檢查圖像
a：左肺上葉前段結節（上箭頭）、左肺下葉背段較大結節（下箭頭）；b：左肺下葉背段較小結節（箭頭）；c：右肺下葉結節（箭頭）
1.2 方法
1.2.1 MR 數據準備
利用 Mimics 醫學圖像后處理軟件，根據患者術前胸部 CT 影像 DICOM 數據對患者的肺組織、血管、氣管及病灶進行三維重建并通過不同顏色標記區分，采用粉紫色標記多發結節病灶，金黃色標記氣管，紅色標記肺動脈，淺藍色標記肺靜脈，深藍色、紫色分別標記左肺上葉和下葉，深黃色、褐色、淺黃色分別標記右肺上中下三葉（圖 2）。將重建數據導入 HoloLens MR 眼鏡中供術前談話及術中使用，HoloLens 眼鏡中視野圖像見圖 2和圖 3 。
圖2
混合現實視角下患者肺部三維圖像展示（左后背面觀）
a：左肺上葉結節；b：左肺下葉背段兩枚結節；c：右肺下葉結節；粉紫色為結節
圖3
混合現實下隱藏肺葉三維影像視圖及左肺氣管血管、右肺下葉氣管血管及兩肺結節展示
自左向右結節依次為左肺上葉結節、左肺下葉背段小結節、左肺下葉背段大結節、右肺下葉結節
1.2.2 術前討論與談話
術前 1 d，手術團隊進行術前討論為患者制定最佳手術方案。借助 MR 技術在現實空間內呈現重建的三維肺部影像，在 MR 環境下清晰顯示肺結節、肺動脈、肺靜脈及氣管等重要解剖結構的空間位置關系。可見患者左肺下葉兩枚結節均位于左肺下葉背段，與背段氣管及動脈位置關系清晰，左肺上葉結節位于左肺上葉前段離肺門較遠處，貼近肺表面。MR 環境下可拉出肺葉、氣管及肺血管等三維影像進行仔細觀察，研究制定手術方案（圖 4a）。因該患者左肺下葉一大一小兩枚結節均在左肺下葉背段，較大結節約 13 mm，較兩年前增大，且兩肺多發結節在我院門診隨訪 1 個月后均未見縮小改變，遂決定擬在 MR 技術輔助下行單孔胸腔鏡下左肺下葉背段切除術，因左肺上葉結節大小約 9 mm 且貼近肺表面，擬術前在 CT 引導下行左肺上葉結節穿刺定位后同期行單孔胸腔鏡下左肺上葉楔形切除術。右肺下葉背段結節予以定期隨訪，必要時予以二期手術切除。患者術前血檢驗、肺功能、心電圖、腹部 B 超等檢查未見明顯異常，無手術禁忌證。術前討論后在 MR 環境下借助現實空間內呈現的三維肺部影像與患者家屬進行術前談話，詳細講解手術關鍵步驟及手術風險（圖 4b，4c）。患者家屬充分了解手術過程及相關風險，同意手術治療。
圖4
混合現實環境下術前談話及醫患溝通
a：應用增強現實技術展示肉眼不可見的混合現實視角；b～c：藍色虛線為混合現實用戶當前視線
1.2.3 術中應用
術中應用 MR 技術在術者面前投影患者肺部三維影像，術者可在 MR 環境下將肺三維影像調整至與患者體位或與單孔腔鏡視野下肺組織相同位置，同時術者可對三維肺部影像進行隱藏肺葉、分離動靜脈及氣管，移動目標器官等操作，便于協助主刀醫生對動靜脈及氣管等重要結構進行安全的解剖分離（圖 5）。
圖5
混合現實技術術中應用
a：術中混合現實環境展示；b：術中拉出動脈及氣管仔細觀察，c：混合現實技術輔助下離斷背段動脈
2 結果
實際實施手術與術前討論時制定的方案相同，患者在 MR 技術輔助下行單孔胸腔鏡下左肺下葉背段切除術+左肺上葉楔形切除術，手術過程順利，總手術時間 49 min，精準背段切除時間 27 min，術中出血量約 39 mL。術后第 3 d 拔除胸腔引流管，無手術相關并發癥，患者術后恢復可，于術后第 4 d 順利出院。術后病理診斷示：左肺下葉兩枚結節及左肺上葉結節均為微浸潤性肺腺癌，三處臟層胸膜及手術切緣均未見腫瘤累犯，采樣淋巴結均為陰性。
3 討論
近年來將前沿科技應用到醫療領域的探索不斷深入，數字醫療發展迅速，中國人民解放軍總醫院胸外科曾報道將 VR 導航技術用于胸腔鏡下肺段切除手術[8]。但是，VR 技術是在虛擬世界內營造部分的現實感覺，讓人身臨其境，仿佛置身于現實世界的環境中，其本質是虛擬的，并且為了使虛擬世界的現實感更加真實，VR用戶必須與真實的現實環境隔絕，因此術者帶上 VR 頭盔無法同時進行現實中的胸腔鏡手術。而 MR 技術不僅實現了現實世界和虛擬世界的融合，同時做到了現實和虛擬的互動，通過在虛擬世界、現實世界和用戶之間搭起一個交互反饋的信息回路，帶來一種讓人難以置信的數字虛擬世界與物理真實世界融合的場景[4, 9]。MR 環境又是一個開放式狀態，在接受所處空間視聽信息的同時也可以看到空間內的虛擬影像，并通過手勢動作對虛擬影像進行操作。這意味著在 MR 環境下胸外科醫生不僅可以進行胸腔鏡手術，同時可以 360 度觀看患者肺部立體影像，如氣管、血管等重要解剖結構間的位置關系，或自行提取所需要的信息，真正做到實時導航。
隨著胸部 CT 在臨床上的廣泛應用，肺結節患者的檢出率不斷增高，胸腔鏡下肺葉切除術雖然仍是目前公認的治療周圍型肺癌的主要方式，但由于近年來微創外科及精準醫療等理念的不斷發展，胸腔鏡下肺段切除術在切除肺小結節及治療早期肺癌中的地位不斷提高[10]。有研究[11]證明，肺段切除在術后早期對患者肺功能的影響明顯小于肺葉切除，而在Ⅰ期肺癌患者中行肺段切除患者的總生存期和疾病特異性生存期明顯優于楔形切除[12]。但是由于患者的個體差異，在進行胸腔鏡下肺段切除手術時常常會遇到肺血管變異、畸形，特別是在聯合亞段切除時肺段靜脈更是復雜多變，手術難度較大。MR 技術的開放式狀態以及術中實時導航功能，可輔助術者進行胸腔鏡下精準肺段切除手術，在降低手術風險的同時提高手術效率及精準度。
同時，MR 技術能將現實和虛擬融合互動的特性也決定了該技術能夠應用于醫療團隊術前病例討論，也可以用于與患者家屬的術前談話中。虛擬肺部三維影像的立體展示以及拆分組合、旋轉隱藏等操作能夠很好滿足臨床醫生術前對手術方式的討論及預演，最終制定最佳手術方案。術前醫患缺乏有效溝通、手術醫患雙方間的信息不對稱是引起醫患雙方關系緊張的主要原因[13]，術前談話中引入 MR 技術可使患者與家屬看到病變和肺臟器官的空間復制品，全方位立體地向患者展示肺部結節，結合虛擬影像進行術前談話可以幫助患者對自己病情及手術的理解，減少因信息不對等、交流不暢而引起的醫患矛盾[14]。
但是，MR 技術的完美實現有賴于成熟的三維重建技術。利用 Mimics 醫學圖像后處理軟件進行肺臟及相應血管系統的三維重建對胸部增強 CT 數據的依賴性較高。在本案例中為避免患者再次行非必要的胸部增強 CT 檢查，治療組首次嘗試了利用患者胸部 CT 平掃數據進行患者肺臟及相應器官的三維重建并取得了成功，但重建的三維影像清晰度較增強數據重建影像清晰度稍低，重建過程耗時較長，對三維影像重建操作者的心肺解剖知識要求也較高。
MR 技術是目前的新科技，在國內醫療領域的應用鮮有報道，國際上 MR 技術主要應用于骨科及神經外科[6, 15]，該技術在胸外科領域的應用尚處于初探階段[16]，目前仍存在很多不足，如對胸部增強 CT 數據的依賴度較高，手勢操作的靈敏度及三維虛擬圖像的穩定性仍有待提高。但作為一項剛出現就與臨床實踐有諸多契合的新科技，相信隨著該技術的不斷成熟將為胸外科發展帶來新方向的同時也提供更廣闊的前景。
利益沖突：無。
作者貢獻：唐華、徐志飛負責研究設計、論文指導；陳子豪負責主要實施及論文撰寫；黃可南、丁新宇負責三維重建、圖片編輯；韋榮強、劉承棟負責病史采集、數據統計。
隨著高分辨率 CT 的廣泛普及，肺結節的檢出率不斷提高，其中不乏早期肺癌患者，肺結節的診療也隨之成為當前的熱點話題，目前外科手術依然是治療早期肺癌的主要方式，也是治療早期肺癌的關鍵。近年來，微創外科及精準醫療等理念逐漸深入人心，伴隨著醫療技術的不斷革新，胸腔鏡手術已成為治療肺結節的首選手術方式，單孔胸腔鏡手術的發展更是肺結節微創診治技術的一次升華[1-2]。但是，在單孔胸腔鏡手術中由于術者操作習慣及觀察視角的改變加之肺部結構常存在解剖變異，容易出現誤傷血管導致出血甚至中轉開胸的情況，極大影響微創手術的成功率[3]，而患者家屬因缺乏醫療知識，無法理解例如術中出血等并發癥，易引起醫療糾紛，診療安全大打折扣，對醫患雙方均造成不良后果，該問題亟待解決。
混合現實（mixed reality，MR）技術是虛擬現實（virtual reality，VR）技術的進一步發展，但與 VR 技術不同的是 MR 具有現實與虛擬結合、實時交互性和精確的匹配性三個主要特征。MR 是脫離屏幕狀態下的虛擬世界與真實世界的融合，同時能夠實現現實世界和虛擬世界的互動[4-5]。利用 MR 技術可將根據患者胸部 CT 重建的肺部三維影像在觀察者所處地三維空間內展示出來，同時觀察者能和立體影像進行互動，可以通過空間手勢操作對眼前的三維肺臟圖像進行拆分、整合、部分隱藏、旋轉、放大、縮小等操作，甚至可以進入器官內部進行觀察[6-7]。上海長征醫院自 2019 年 9 月將 MR 技術用于臨床，現以 1 例兩肺多發結節患者最終行單孔胸腔鏡下左肺下葉背段切除及左肺上葉楔形切除術的病例為例，介紹 MR 技術的臨床應用。
1 資料與方法
1.1 臨床資料
患者，女，49 歲，2017 年體檢時發現左肺下葉結節，未處理。2019 年 10 月患者體檢時復查胸部 CT 提示兩肺多發結節，左肺下葉結節較前增大。門診隨訪 1 個月后予以再次復查胸部 CT 示兩肺結節無明顯縮小改變，遂入院治療。胸部 CT 檢查提示：雙肺多發磨玻璃結節，突出病灶位于左肺下葉背段，較大結節約 13 mm，形態欠規則，見淺分葉，邊界尚清；左肺下葉背段較小結節約 8 mm；左肺上葉前段結節大小約 9 mm；右肺下葉背段結節大小約 11 mm（圖 1）。患者既往體健，無特殊病史。
圖1
患者胸部 CT 檢查圖像
a：左肺上葉前段結節（上箭頭）、左肺下葉背段較大結節（下箭頭）；b：左肺下葉背段較小結節（箭頭）；c：右肺下葉結節（箭頭）
1.2 方法
1.2.1 MR 數據準備
利用 Mimics 醫學圖像后處理軟件，根據患者術前胸部 CT 影像 DICOM 數據對患者的肺組織、血管、氣管及病灶進行三維重建并通過不同顏色標記區分，采用粉紫色標記多發結節病灶，金黃色標記氣管，紅色標記肺動脈，淺藍色標記肺靜脈，深藍色、紫色分別標記左肺上葉和下葉，深黃色、褐色、淺黃色分別標記右肺上中下三葉（圖 2）。將重建數據導入 HoloLens MR 眼鏡中供術前談話及術中使用，HoloLens 眼鏡中視野圖像見圖 2和圖 3 。
圖2
混合現實視角下患者肺部三維圖像展示（左后背面觀）
a：左肺上葉結節；b：左肺下葉背段兩枚結節；c：右肺下葉結節；粉紫色為結節
圖3
混合現實下隱藏肺葉三維影像視圖及左肺氣管血管、右肺下葉氣管血管及兩肺結節展示
自左向右結節依次為左肺上葉結節、左肺下葉背段小結節、左肺下葉背段大結節、右肺下葉結節
1.2.2 術前討論與談話
術前 1 d，手術團隊進行術前討論為患者制定最佳手術方案。借助 MR 技術在現實空間內呈現重建的三維肺部影像，在 MR 環境下清晰顯示肺結節、肺動脈、肺靜脈及氣管等重要解剖結構的空間位置關系。可見患者左肺下葉兩枚結節均位于左肺下葉背段，與背段氣管及動脈位置關系清晰，左肺上葉結節位于左肺上葉前段離肺門較遠處，貼近肺表面。MR 環境下可拉出肺葉、氣管及肺血管等三維影像進行仔細觀察，研究制定手術方案（圖 4a）。因該患者左肺下葉一大一小兩枚結節均在左肺下葉背段，較大結節約 13 mm，較兩年前增大，且兩肺多發結節在我院門診隨訪 1 個月后均未見縮小改變，遂決定擬在 MR 技術輔助下行單孔胸腔鏡下左肺下葉背段切除術，因左肺上葉結節大小約 9 mm 且貼近肺表面，擬術前在 CT 引導下行左肺上葉結節穿刺定位后同期行單孔胸腔鏡下左肺上葉楔形切除術。右肺下葉背段結節予以定期隨訪，必要時予以二期手術切除。患者術前血檢驗、肺功能、心電圖、腹部 B 超等檢查未見明顯異常，無手術禁忌證。術前討論后在 MR 環境下借助現實空間內呈現的三維肺部影像與患者家屬進行術前談話，詳細講解手術關鍵步驟及手術風險（圖 4b，4c）。患者家屬充分了解手術過程及相關風險，同意手術治療。
圖4
混合現實環境下術前談話及醫患溝通
a：應用增強現實技術展示肉眼不可見的混合現實視角；b～c：藍色虛線為混合現實用戶當前視線
1.2.3 術中應用
術中應用 MR 技術在術者面前投影患者肺部三維影像，術者可在 MR 環境下將肺三維影像調整至與患者體位或與單孔腔鏡視野下肺組織相同位置，同時術者可對三維肺部影像進行隱藏肺葉、分離動靜脈及氣管，移動目標器官等操作，便于協助主刀醫生對動靜脈及氣管等重要結構進行安全的解剖分離（圖 5）。
圖5
混合現實技術術中應用
a：術中混合現實環境展示；b：術中拉出動脈及氣管仔細觀察，c：混合現實技術輔助下離斷背段動脈
2 結果
實際實施手術與術前討論時制定的方案相同，患者在 MR 技術輔助下行單孔胸腔鏡下左肺下葉背段切除術+左肺上葉楔形切除術，手術過程順利，總手術時間 49 min，精準背段切除時間 27 min，術中出血量約 39 mL。術后第 3 d 拔除胸腔引流管，無手術相關并發癥，患者術后恢復可，于術后第 4 d 順利出院。術后病理診斷示：左肺下葉兩枚結節及左肺上葉結節均為微浸潤性肺腺癌，三處臟層胸膜及手術切緣均未見腫瘤累犯，采樣淋巴結均為陰性。
3 討論
近年來將前沿科技應用到醫療領域的探索不斷深入，數字醫療發展迅速，中國人民解放軍總醫院胸外科曾報道將 VR 導航技術用于胸腔鏡下肺段切除手術[8]。但是，VR 技術是在虛擬世界內營造部分的現實感覺，讓人身臨其境，仿佛置身于現實世界的環境中，其本質是虛擬的，并且為了使虛擬世界的現實感更加真實，VR用戶必須與真實的現實環境隔絕，因此術者帶上 VR 頭盔無法同時進行現實中的胸腔鏡手術。而 MR 技術不僅實現了現實世界和虛擬世界的融合，同時做到了現實和虛擬的互動，通過在虛擬世界、現實世界和用戶之間搭起一個交互反饋的信息回路，帶來一種讓人難以置信的數字虛擬世界與物理真實世界融合的場景[4, 9]。MR 環境又是一個開放式狀態，在接受所處空間視聽信息的同時也可以看到空間內的虛擬影像，并通過手勢動作對虛擬影像進行操作。這意味著在 MR 環境下胸外科醫生不僅可以進行胸腔鏡手術，同時可以 360 度觀看患者肺部立體影像，如氣管、血管等重要解剖結構間的位置關系，或自行提取所需要的信息，真正做到實時導航。
隨著胸部 CT 在臨床上的廣泛應用，肺結節患者的檢出率不斷增高，胸腔鏡下肺葉切除術雖然仍是目前公認的治療周圍型肺癌的主要方式，但由于近年來微創外科及精準醫療等理念的不斷發展，胸腔鏡下肺段切除術在切除肺小結節及治療早期肺癌中的地位不斷提高[10]。有研究[11]證明，肺段切除在術后早期對患者肺功能的影響明顯小于肺葉切除，而在Ⅰ期肺癌患者中行肺段切除患者的總生存期和疾病特異性生存期明顯優于楔形切除[12]。但是由于患者的個體差異，在進行胸腔鏡下肺段切除手術時常常會遇到肺血管變異、畸形，特別是在聯合亞段切除時肺段靜脈更是復雜多變，手術難度較大。MR 技術的開放式狀態以及術中實時導航功能，可輔助術者進行胸腔鏡下精準肺段切除手術，在降低手術風險的同時提高手術效率及精準度。
同時，MR 技術能將現實和虛擬融合互動的特性也決定了該技術能夠應用于醫療團隊術前病例討論，也可以用于與患者家屬的術前談話中。虛擬肺部三維影像的立體展示以及拆分組合、旋轉隱藏等操作能夠很好滿足臨床醫生術前對手術方式的討論及預演，最終制定最佳手術方案。術前醫患缺乏有效溝通、手術醫患雙方間的信息不對稱是引起醫患雙方關系緊張的主要原因[13]，術前談話中引入 MR 技術可使患者與家屬看到病變和肺臟器官的空間復制品，全方位立體地向患者展示肺部結節，結合虛擬影像進行術前談話可以幫助患者對自己病情及手術的理解，減少因信息不對等、交流不暢而引起的醫患矛盾[14]。
但是，MR 技術的完美實現有賴于成熟的三維重建技術。利用 Mimics 醫學圖像后處理軟件進行肺臟及相應血管系統的三維重建對胸部增強 CT 數據的依賴性較高。在本案例中為避免患者再次行非必要的胸部增強 CT 檢查，治療組首次嘗試了利用患者胸部 CT 平掃數據進行患者肺臟及相應器官的三維重建并取得了成功，但重建的三維影像清晰度較增強數據重建影像清晰度稍低，重建過程耗時較長，對三維影像重建操作者的心肺解剖知識要求也較高。
MR 技術是目前的新科技，在國內醫療領域的應用鮮有報道，國際上 MR 技術主要應用于骨科及神經外科[6, 15]，該技術在胸外科領域的應用尚處于初探階段[16]，目前仍存在很多不足，如對胸部增強 CT 數據的依賴度較高，手勢操作的靈敏度及三維虛擬圖像的穩定性仍有待提高。但作為一項剛出現就與臨床實踐有諸多契合的新科技，相信隨著該技術的不斷成熟將為胸外科發展帶來新方向的同時也提供更廣闊的前景。
利益沖突：無。
作者貢獻：唐華、徐志飛負責研究設計、論文指導；陳子豪負責主要實施及論文撰寫；黃可南、丁新宇負責三維重建、圖片編輯；韋榮強、劉承棟負責病史采集、數據統計。
