引用本文： 宋平, 范哲奇, 智信, 曹正, 閔升鋒, 劉星宇, 張逸凌, 孔祥朋, 柴偉. 基于深度學習的膝關節CT圖像自動分割準確性驗證研究. 中國修復重建外科雜志, 2022, 36(5): 534-539. doi: 10.7507/1002-1892.202201072 復制
人工全膝關節置換術（total knee arthroplasty，TKA）是目前治療膝關節終末期疾病的最佳選擇[1-2]。近年來，計算機導航及機器人等新技術發展迅速，TKA手術逐漸向精準化和智能化方向發展。研究表明，與傳統TKA相比，新技術輔助TKA在獲得滿意下肢力線、軟組織平衡和膝關節周圍軟組織保護等方面具有明顯優勢，并且早期臨床療效更好[3–7]。隨著新技術輔助TKA相關研究的深入，如何提高工作效率以及降低時間、人力及物力等各項準備成本，也成為當前研究熱點。基于CT的TKA術前三維規劃中，對膝關節 CT圖像數據的準確分割與重建是關鍵環節，但目前分割處理一般由數據處理工程師完成，這一過程耗時費力[8]。
近年來，人工智能深度學習技術已被成功應用于醫學圖像處理領域，實現了病變部位或目標區域的自動識別及分割處理，而且準確性高[9-11]。本研究借助人工智能深度學習技術，自主搭建神經網絡PointRend_Unet，在保證分割準確性和魯棒性的基礎上，實現膝關節CT圖像數據的快速分割處理，以提高工作效率、降低準備成本，分割結果經臨床評價獲得了較滿意結果。報告如下。
1 材料與方法
1.1 CT 圖像數據庫的建立
收集2018年4月—2020年7月解放軍總醫院第一醫學中心拍攝的800例患者雙側膝關節CT圖像數據（DICOM格式）。掃描范圍為膝關節上20 cm至膝關節下10 cm，層厚0.625～1.000 mm。拍攝時患者取仰臥位，雙下肢盡量伸直，雙膝并攏，髕骨朝向天花板。為保護患者隱私，所有CT圖像數據納入數據庫前去除個人信息。
對膝關節股骨、脛骨、髕骨、腓骨進行逐層手動標注。手動標注方法：將膝關節CT圖像數據導入Mimics軟件（Materialise公司，比利時），基于閾值法先按照骨骼閾值226 HU設置進行骨性結構重構，選定目標骨性結構后進行閾值增長分割，然后進行人工修整，最終數據以mask格式保存。手動標注工作由3名關節外科專業研究生或住院醫師共同完成，初審及修改工作由2名主治醫師完成，最終標注結果由1名主任醫師審核確認。審核不合格病例退回修改，直至最終審核通過。
將手動標注的CT數據集作為標準數據集（Ground truth data），按照6∶1∶1比例將所有樣本隨機分為訓練集、驗證集和測試集。神經網絡訓練前，將二維橫斷面DICOM格式數據轉換成jpg格式圖片，標注文件轉換成png格式圖片。
1.2 神經網絡的搭建與訓練
1.2.1 神經網絡的搭建
分割神經網絡模型為PointRend_Unet。首先利用Unet網絡[9]作為主干網絡，對膝關節CT圖像進行粗分割，然后使用PointRend[10]對粗分割結果進行精確分割，保證神經網絡既能適應CT圖像不同橫截面骨性結構形態變化，也能獲得較高的骨性結構邊緣分割準確性。
神經網絡搭建分為兩個階段。第1階段：使用3次下采樣學習圖像的深層特征，然后進行3次上采樣還原圖像特征信息。其中，每個下采樣層包括2個卷積層和1個池化層，卷積層的卷積核大小為3×3，池化層中的步長大小為2×2，3個下采樣層中的卷積核個數分別為128、256、512。每個上采樣層包括1個反卷積層和2個卷積層，反卷積層的卷積核大小為2×2，卷積層的卷積核大小為3×3，3個上采樣層中的卷積核個數分別為512、256、128。最后一次上采樣結束后設有1個dropout層，droupout率設置為0.7。每個卷積層后面均設有激活函數，為relu函數。
第2階段：選擇一組概率值為0.5的點，提取被選擇點的特征。這些點的特征通過雙線性插值計算，使用一個小型分類器判斷上述各點的類別。小型分類器由2個卷積層和3個全連接層構成。見圖1。
圖1
分割效果對比圖
a. Unet；b. PointRend_Unet； c. 手動分割；d. 原始影像
Figure1. Comparison of segmentation resultsa. Unet; b. PointRend_Unet; c. Ground truth data; d. Original image
通過神經網絡的分割，膝關節CT圖像數據分別形成股骨、脛骨、腓骨和髕骨區域，最后通過三維重建技術，生成可視化的目標骨性結構三維模型。見圖2。
圖2
PointRend_Unet網絡架構圖
Figure2.
The architecture of PointRend_Unet
1.2.2 神經網絡的訓練
模型訓練過程中，設置標記數據的背景像素值為0、股骨為1、脛骨為2、腓骨為3、髕骨為4，訓練的batch_size為6，設置學習率為0.0001，優化器為Adam優化器，損失函數為Dice loss。將訓練集全部送入網絡進行訓練，根據訓練過程中損失函數的變化，調整訓練批次的大小，最終得到各個部分的粗分割結果。進入PointRend模塊后，使用雙線性插值先上采樣前一步分割預測結果，然后在這個更密集的特征圖中選擇N個最不確定的點，比如概率值接近0.5的點。然后計算這N個點的特征表示，并且預測它們的標記值，該過程一直被重復，直到上采樣到需要的大小。見圖3。
圖3
神經網絡的訓練過程
a. Dice圖；b. Loss圖
Figure3. The training process of neural networka. Dice figure; b. Loss figure
1.2.3 神經網絡的評估
選擇測試集100例膝關節CT數據，對脛骨及股骨通過神經網絡自動分割，計算評估分割準確性的相關指標，評價該神經網絡訓練的效果。評價指標：Dice系數[12]、平均表面距離（average surface distance，ASD）[13]、豪斯多夫距離（Hausdorff distance，HD）[11]，以及每個膝關節CT自動分割、手動分割所需時間。
其中，Dice系數是通過計算自動分割結果（AS）與手動分割結果（GT）之間的交集大小與它們的并集大小比值，量化兩者匹配程度，計算公式如下：
 |
ASD和HD為距離相關參數，其中ASD是自動分割結果邊緣所有點（
）與手動分割結果邊緣所有點（
）距離的平均值，計算公式如下：
 |
HD為自動分割結果邊緣點（AS）與手動分割結果最近邊緣點（GT）之間的最大距離，計算公式如下：
 |
1.3 分割效果臨床評價
從測試集中隨機抽取60例患者數據，每例數據包括自動分割圖像、手動分割圖像和原始圖像。臨床評價采用單盲形式，由5名骨關節外科醫師（1名主任醫師、2名副主任醫師、2名主治醫師）參照原始圖像，對股骨和脛骨中影響假體定位的關鍵解剖位點分割效果進行獨立評分。參照李克特量表[14]，對分割效果分為非常不同意（1分）、不同意（2分）、不一定（3分）、同意（4分）、非常同意（5分）。
1.4 統計學方法
采用 SPSS26.0統計軟件進行分析。計量資料進行正態性檢驗，如符合正態分布，數據以均數±標準差表示，兩種方法分割所需時間比較采用獨立樣本t檢驗，分割效果臨床評價比較采用配對t檢驗；檢驗水準α=0.05。
2 結果
股骨側Dice系數為0.953±0.037、ASD為（0.076±0.048）mm、HD為（3.101±0.726） mm；脛骨側分別為0.950±0.092、（0.083±0.101） mm、（2.984±0.740） mm。自動分割每個膝關節CT圖像數據所需時間為（2.46±0.45） min，較手動分割（64.73±17.07） min縮短，差異有統計學意義（t=36.474，P<0.001）。
分割效果臨床評價顯示，股骨側自動分割組評分為（4.3±0.3）分、手動分割組為（4.4±0.2）分，脛骨側評分分別為（4.5±0.2）、（4.5±0.3）分；股骨側及脛骨側兩組比較差異均無統計學意義（t=1.753，P=0.085；t=0.318，P=0.752）。
3 討論
雖然無影像模式及超聲等無射線暴露技術正在興起[15]，但目前臨床常用的TKA新輔助技術主要還是基于CT圖像，從患者的CT圖像中提取膝關節三維解剖模型，用于后續手術計劃。人工處理CT圖像數據耗時費力，實現精簡、自動、準確的膝關節CT圖像分割是TKA新輔助技術大范圍臨床應用的關鍵。人工智能技術的發展促使了大量醫學影像自動分割系統的開發和研究，常用的神經網絡有deeplab或Unet等，這些方法有效提升了自動分割的穩定性，提高了治療計劃工作流程的效率[16-20]。
TKA術前規劃中，假體放置需要參照重要的膝關節骨性解剖標志、關鍵角度及軸線；為實現術前計劃，術中需要將計劃涉及的骨性結構與實際膝關節進行準確配準。這些都對膝關節CT圖像數據分割處理的準確性提出了更高要求。目前尚無一種神經網絡可以真正滿足TKA手術規劃準確性的要求。骨與軟骨界面CT信號界限不明確造成CT圖像上骨性結構邊緣模糊，以及CT圖像相鄰層與層之間骨皮質存在不連續現象，影響了自動分割的準確性。目前單獨的神經網絡模型測試結果均存在上述問題，因此本研究在Unet輸出后加入PointRend模塊，對相對模糊的邊界進行重新分割，以達到骨性結構快速精準分割。
目前還沒有統一評估自動分割效果的標準[20]。本研究重點關注圖像分割的邊緣效果，因此選取了Dice系數、ASD、HD 3個指標。Dice系數是醫學圖像分割中最常用的神經網絡分割效果評價指標，表示PointRend_Unet分割結果與手動分割結果之間的相似程度，能較好地反映分割效果的內部填充情況。Dice系數范圍是0～1，1代表分割結果和手動分割完全一致。ASD和HD是用來評價醫學圖像分割效果的距離相關參數，能夠較好地反映圖像邊緣的分割效果。ASD表示分割圖像邊緣上所有的點與手動分割圖像邊緣點的平均距離，能夠較穩定地反映整體分割結果，ASD越小表示神經網絡分割效果越好。而HD表示分割圖像邊緣點與手動分割圖像最近邊緣點之間的最大距離，相比于ASD，HD對離群值更敏感，HD越小表示神經網絡分割效果越好。Wu等[21]曾使用算法對膝關節CT圖像上骨性結構進行自動分割實驗，證明了自動分割是可以實現的，且可以提升分割速度，雖然結果顯示表面距離誤差<1 mm，但沒有將該方法用于臨床的后續報道。TKA術前三維規劃中需要重點分析的骨性結構為股骨與脛骨，對分割準確性要求較高，而髕骨和腓骨準確性要求相對不高，因此本研究僅評價了股骨側與脛骨側分割準確度。Dice系數、ASD和HD評價結果提示，本研究搭建的神經網絡架構準確性高，自動分割處理所需時間較手動分割明顯縮短。為進一步評價其應用于臨床的可行性，本研究采用李克特量表對分割結果進行了初步臨床評價。結果顯示自動分割結果與手術分割結果相似，可以用于TKA術前三維規劃，具備臨床應用可行性。
綜上述， 基于深度學習的膝關節CT圖像自動處理準確性高，可以有效提升術前計劃的工作效率，對膝關節骨性結構的快速三維重建與分割，有利于TKA新輔助技術的快速發展。
利益沖突 在課題研究和文章撰寫過程中不存在利益沖突；項目經費支持沒有影響文章觀點和對研究數據客觀結果的統計分析及其報道
倫理聲明 研究方案經中國人民解放軍總醫院倫理委員會批準（倫審第S2020-102-01號）
作者貢獻聲明 柴偉：研究設計及實施、數據審核；宋平：研究實施、數據收集整理及統計分析，文章撰寫；孔祥朋：研究實施、影像數據標注，數據收集整理及統計分析，文章修改；范哲奇、閔升鋒：深度學習神經網絡架構搭建、訓練及測試；智信、曹正、劉星宇、張逸凌：數據標注及收集整理
人工全膝關節置換術（total knee arthroplasty，TKA）是目前治療膝關節終末期疾病的最佳選擇[1-2]。近年來，計算機導航及機器人等新技術發展迅速，TKA手術逐漸向精準化和智能化方向發展。研究表明，與傳統TKA相比，新技術輔助TKA在獲得滿意下肢力線、軟組織平衡和膝關節周圍軟組織保護等方面具有明顯優勢，并且早期臨床療效更好[3–7]。隨著新技術輔助TKA相關研究的深入，如何提高工作效率以及降低時間、人力及物力等各項準備成本，也成為當前研究熱點。基于CT的TKA術前三維規劃中，對膝關節 CT圖像數據的準確分割與重建是關鍵環節，但目前分割處理一般由數據處理工程師完成，這一過程耗時費力[8]。
近年來，人工智能深度學習技術已被成功應用于醫學圖像處理領域，實現了病變部位或目標區域的自動識別及分割處理，而且準確性高[9-11]。本研究借助人工智能深度學習技術，自主搭建神經網絡PointRend_Unet，在保證分割準確性和魯棒性的基礎上，實現膝關節CT圖像數據的快速分割處理，以提高工作效率、降低準備成本，分割結果經臨床評價獲得了較滿意結果。報告如下。
1 材料與方法
1.1 CT 圖像數據庫的建立
收集2018年4月—2020年7月解放軍總醫院第一醫學中心拍攝的800例患者雙側膝關節CT圖像數據（DICOM格式）。掃描范圍為膝關節上20 cm至膝關節下10 cm，層厚0.625～1.000 mm。拍攝時患者取仰臥位，雙下肢盡量伸直，雙膝并攏，髕骨朝向天花板。為保護患者隱私，所有CT圖像數據納入數據庫前去除個人信息。
對膝關節股骨、脛骨、髕骨、腓骨進行逐層手動標注。手動標注方法：將膝關節CT圖像數據導入Mimics軟件（Materialise公司，比利時），基于閾值法先按照骨骼閾值226 HU設置進行骨性結構重構，選定目標骨性結構后進行閾值增長分割，然后進行人工修整，最終數據以mask格式保存。手動標注工作由3名關節外科專業研究生或住院醫師共同完成，初審及修改工作由2名主治醫師完成，最終標注結果由1名主任醫師審核確認。審核不合格病例退回修改，直至最終審核通過。
將手動標注的CT數據集作為標準數據集（Ground truth data），按照6∶1∶1比例將所有樣本隨機分為訓練集、驗證集和測試集。神經網絡訓練前，將二維橫斷面DICOM格式數據轉換成jpg格式圖片，標注文件轉換成png格式圖片。
1.2 神經網絡的搭建與訓練
1.2.1 神經網絡的搭建
分割神經網絡模型為PointRend_Unet。首先利用Unet網絡[9]作為主干網絡，對膝關節CT圖像進行粗分割，然后使用PointRend[10]對粗分割結果進行精確分割，保證神經網絡既能適應CT圖像不同橫截面骨性結構形態變化，也能獲得較高的骨性結構邊緣分割準確性。
神經網絡搭建分為兩個階段。第1階段：使用3次下采樣學習圖像的深層特征，然后進行3次上采樣還原圖像特征信息。其中，每個下采樣層包括2個卷積層和1個池化層，卷積層的卷積核大小為3×3，池化層中的步長大小為2×2，3個下采樣層中的卷積核個數分別為128、256、512。每個上采樣層包括1個反卷積層和2個卷積層，反卷積層的卷積核大小為2×2，卷積層的卷積核大小為3×3，3個上采樣層中的卷積核個數分別為512、256、128。最后一次上采樣結束后設有1個dropout層，droupout率設置為0.7。每個卷積層后面均設有激活函數，為relu函數。
第2階段：選擇一組概率值為0.5的點，提取被選擇點的特征。這些點的特征通過雙線性插值計算，使用一個小型分類器判斷上述各點的類別。小型分類器由2個卷積層和3個全連接層構成。見圖1。
圖1
分割效果對比圖
a. Unet；b. PointRend_Unet； c. 手動分割；d. 原始影像
Figure1. Comparison of segmentation resultsa. Unet; b. PointRend_Unet; c. Ground truth data; d. Original image
通過神經網絡的分割，膝關節CT圖像數據分別形成股骨、脛骨、腓骨和髕骨區域，最后通過三維重建技術，生成可視化的目標骨性結構三維模型。見圖2。
圖2
PointRend_Unet網絡架構圖
Figure2.
The architecture of PointRend_Unet
1.2.2 神經網絡的訓練
模型訓練過程中，設置標記數據的背景像素值為0、股骨為1、脛骨為2、腓骨為3、髕骨為4，訓練的batch_size為6，設置學習率為0.0001，優化器為Adam優化器，損失函數為Dice loss。將訓練集全部送入網絡進行訓練，根據訓練過程中損失函數的變化，調整訓練批次的大小，最終得到各個部分的粗分割結果。進入PointRend模塊后，使用雙線性插值先上采樣前一步分割預測結果，然后在這個更密集的特征圖中選擇N個最不確定的點，比如概率值接近0.5的點。然后計算這N個點的特征表示，并且預測它們的標記值，該過程一直被重復，直到上采樣到需要的大小。見圖3。
圖3
神經網絡的訓練過程
a. Dice圖；b. Loss圖
Figure3. The training process of neural networka. Dice figure; b. Loss figure
1.2.3 神經網絡的評估
選擇測試集100例膝關節CT數據，對脛骨及股骨通過神經網絡自動分割，計算評估分割準確性的相關指標，評價該神經網絡訓練的效果。評價指標：Dice系數[12]、平均表面距離（average surface distance，ASD）[13]、豪斯多夫距離（Hausdorff distance，HD）[11]，以及每個膝關節CT自動分割、手動分割所需時間。
其中，Dice系數是通過計算自動分割結果（AS）與手動分割結果（GT）之間的交集大小與它們的并集大小比值，量化兩者匹配程度，計算公式如下：
|
ASD和HD為距離相關參數，其中ASD是自動分割結果邊緣所有點（）與手動分割結果邊緣所有點（）距離的平均值，計算公式如下：
|
HD為自動分割結果邊緣點（AS）與手動分割結果最近邊緣點（GT）之間的最大距離，計算公式如下：
|
1.3 分割效果臨床評價
從測試集中隨機抽取60例患者數據，每例數據包括自動分割圖像、手動分割圖像和原始圖像。臨床評價采用單盲形式，由5名骨關節外科醫師（1名主任醫師、2名副主任醫師、2名主治醫師）參照原始圖像，對股骨和脛骨中影響假體定位的關鍵解剖位點分割效果進行獨立評分。參照李克特量表[14]，對分割效果分為非常不同意（1分）、不同意（2分）、不一定（3分）、同意（4分）、非常同意（5分）。
1.4 統計學方法
采用 SPSS26.0統計軟件進行分析。計量資料進行正態性檢驗，如符合正態分布，數據以均數±標準差表示，兩種方法分割所需時間比較采用獨立樣本t檢驗，分割效果臨床評價比較采用配對t檢驗；檢驗水準α=0.05。
2 結果
股骨側Dice系數為0.953±0.037、ASD為（0.076±0.048）mm、HD為（3.101±0.726） mm；脛骨側分別為0.950±0.092、（0.083±0.101） mm、（2.984±0.740） mm。自動分割每個膝關節CT圖像數據所需時間為（2.46±0.45） min，較手動分割（64.73±17.07） min縮短，差異有統計學意義（t=36.474，P<0.001）。
分割效果臨床評價顯示，股骨側自動分割組評分為（4.3±0.3）分、手動分割組為（4.4±0.2）分，脛骨側評分分別為（4.5±0.2）、（4.5±0.3）分；股骨側及脛骨側兩組比較差異均無統計學意義（t=1.753，P=0.085；t=0.318，P=0.752）。
3 討論
雖然無影像模式及超聲等無射線暴露技術正在興起[15]，但目前臨床常用的TKA新輔助技術主要還是基于CT圖像，從患者的CT圖像中提取膝關節三維解剖模型，用于后續手術計劃。人工處理CT圖像數據耗時費力，實現精簡、自動、準確的膝關節CT圖像分割是TKA新輔助技術大范圍臨床應用的關鍵。人工智能技術的發展促使了大量醫學影像自動分割系統的開發和研究，常用的神經網絡有deeplab或Unet等，這些方法有效提升了自動分割的穩定性，提高了治療計劃工作流程的效率[16-20]。
TKA術前規劃中，假體放置需要參照重要的膝關節骨性解剖標志、關鍵角度及軸線；為實現術前計劃，術中需要將計劃涉及的骨性結構與實際膝關節進行準確配準。這些都對膝關節CT圖像數據分割處理的準確性提出了更高要求。目前尚無一種神經網絡可以真正滿足TKA手術規劃準確性的要求。骨與軟骨界面CT信號界限不明確造成CT圖像上骨性結構邊緣模糊，以及CT圖像相鄰層與層之間骨皮質存在不連續現象，影響了自動分割的準確性。目前單獨的神經網絡模型測試結果均存在上述問題，因此本研究在Unet輸出后加入PointRend模塊，對相對模糊的邊界進行重新分割，以達到骨性結構快速精準分割。
目前還沒有統一評估自動分割效果的標準[20]。本研究重點關注圖像分割的邊緣效果，因此選取了Dice系數、ASD、HD 3個指標。Dice系數是醫學圖像分割中最常用的神經網絡分割效果評價指標，表示PointRend_Unet分割結果與手動分割結果之間的相似程度，能較好地反映分割效果的內部填充情況。Dice系數范圍是0～1，1代表分割結果和手動分割完全一致。ASD和HD是用來評價醫學圖像分割效果的距離相關參數，能夠較好地反映圖像邊緣的分割效果。ASD表示分割圖像邊緣上所有的點與手動分割圖像邊緣點的平均距離，能夠較穩定地反映整體分割結果，ASD越小表示神經網絡分割效果越好。而HD表示分割圖像邊緣點與手動分割圖像最近邊緣點之間的最大距離，相比于ASD，HD對離群值更敏感，HD越小表示神經網絡分割效果越好。Wu等[21]曾使用算法對膝關節CT圖像上骨性結構進行自動分割實驗，證明了自動分割是可以實現的，且可以提升分割速度，雖然結果顯示表面距離誤差<1 mm，但沒有將該方法用于臨床的后續報道。TKA術前三維規劃中需要重點分析的骨性結構為股骨與脛骨，對分割準確性要求較高，而髕骨和腓骨準確性要求相對不高，因此本研究僅評價了股骨側與脛骨側分割準確度。Dice系數、ASD和HD評價結果提示，本研究搭建的神經網絡架構準確性高，自動分割處理所需時間較手動分割明顯縮短。為進一步評價其應用于臨床的可行性，本研究采用李克特量表對分割結果進行了初步臨床評價。結果顯示自動分割結果與手術分割結果相似，可以用于TKA術前三維規劃，具備臨床應用可行性。
綜上述， 基于深度學習的膝關節CT圖像自動處理準確性高，可以有效提升術前計劃的工作效率，對膝關節骨性結構的快速三維重建與分割，有利于TKA新輔助技術的快速發展。
利益沖突 在課題研究和文章撰寫過程中不存在利益沖突；項目經費支持沒有影響文章觀點和對研究數據客觀結果的統計分析及其報道
倫理聲明 研究方案經中國人民解放軍總醫院倫理委員會批準（倫審第S2020-102-01號）
作者貢獻聲明 柴偉：研究設計及實施、數據審核；宋平：研究實施、數據收集整理及統計分析，文章撰寫；孔祥朋：研究實施、影像數據標注，數據收集整理及統計分析，文章修改；范哲奇、閔升鋒：深度學習神經網絡架構搭建、訓練及測試；智信、曹正、劉星宇、張逸凌：數據標注及收集整理
