引用本文： 湯小勇, 李曉虎, 谷雪蓮, 趙宇軒, 劉洝辰, 劉宇甜, 陶玉蓉. 基于人工智能的膝關節自動建模研究. 中國修復重建外科雜志, 2023, 37(3): 348-352. doi: 10.7507/1002-1892.202212008 復制
退行性骨關節炎是常見膝關節疾病之一，據統計中國該病患病率約為18% [1]，臨床癥狀包括疼痛、活動障礙等。機器人輔助人工全膝關節置換術（total knee arthroplasty，TKA）是治療該病的有效方法[2]，術前利用已分割的患者膝關節醫學圖像進行個性化假體設計和術前規劃，可以提高手術成功率[3]，其中膝關節圖像分割對臨床治療效果起著關鍵作用[4]。
目前，膝關節圖像分割方法包括手動、半自動以及全自動分割。手動分割存在局限性，一方面，基于手動閾值分割的建模效率較低，例如在編輯修復蒙版時，重新描繪股骨、髕骨、脛骨、腓骨輪廓繁瑣，且容易出現偏差。1例膝關節蒙版修復一般需要（64.73±17.07）min[5]，容易影響手術規劃進度。另一方面，在分割骨性結構蒙版時，手動分割效率很大程度上取決于操作員對閾值的主觀設置[6]。當閾值下限設置過大時，骨性結構蒙版缺失增多，隨之編輯修復工作量增加；當閾值下限設置過小時，骨性結構與軟組織粘連，不能有效分割出骨性結構。半自動分割方法，如區域生長[7]和snake 算法[8]，雖然可以提高分割效率，但是分割結果受初始信息影響較大。而傳統的全自動分割方法，如統計形狀模型[9]、基于圖譜的分割[10]和支持向量機[11]等，達到了模型完整性的效果，但由于使用預定義的模板或者模型，對復雜圖像分割的準確性和魯棒性仍需提升。
近年來，深度卷積神經網絡已經廣泛應用于膝關節圖像分割。Norman等[12]和Ronneberger等[13]提出采用二維 U?Net分割膝關節各個部分，但是在分割過程中受到膝關節圖像偽影、積液和部分容積效應的影響，分割精度低。Zhou等[14]將深度卷積神經網絡、三維全連通條件隨機場和三維單形變形模型結合起來分割膝關節MRI圖像。然而，卷積編碼器-解碼器網絡訓練是一種復雜計算，對于每個新評估的圖像需要大量訓練數據集。馬巖等[15]提出了一種包含2個卷積神經網絡——U-Net的級聯網絡結構，用于膝關節MRI圖像的分割。級聯網絡方法能較好地分割出膝關節圖像，但對于一些組織圖像（例如皮質骨）的分割性能仍需提升。吳江平等[16]提出了一種改進U?Net 的卷積神經網絡，但該方法不能提取到膝關節圖像更多的有用特征。
本研究應用了一種在Mimics軟件中基于人工智能（artificial intelligence，AI）的膝關節自動分割算法，經驗證該方法可以準確分割出膝關節CT圖像，建立膝關節三維模型，提高TKA術前規劃效率。報告如下。
1 材料與方法
1.1 研究對象
隨機選擇2022年2月昆山市第一人民醫院3名因體檢需要股骨和脛骨重建的志愿者作為研究對象。志愿者均為男性，年齡分別為28、30、31歲。研究采用荷蘭Philips公司64排CT行下肢掃描，掃描范圍為膝關節上11 cm至膝關節下11 cm；掃描參數：電壓120 kV，電流250 mA，層厚1 mm，像素點512×512，空間分辨率0.488 mm×0.488 mm×1 mm，16位/像素。將志愿者CT數據以 Dicom格式導入Mimics21.0 軟件（Materialise公司，比利時），保存為mcs格式文件。
1.2 建模方法
1.2.1 自動分割建模
登錄Mimics Viewer云平臺上傳CT文件，進行AI自動分割建模操作，記錄操作時間。云平臺提示分割完成后，可將分割文件下載供本地使用。AI分割工作流程自動創建了股骨和脛骨蒙版，可手動進行優化，以修復潛在錯誤[10]。
1.2.2 手動分割建模
首先，在Mimics21.0軟件中導入膝關節CT文件，設置閾值范圍為1 250～3 071 HU，以此分離骨組織與軟組織。然后，運用“Region Grow”功能分割股骨和脛骨。若股骨和脛骨相連，可采用“Split Mask”功能，在股骨和脛骨交界處用不同顏色描繪Region A和Region B，即可分離。然后，運用編輯功能對每層圖像進行填充、擦拭和修補操作，分割出所需骨組織區域，再利用“Calculate 3D from mark”功能得到初步膝關節三維模型。刪除膝關節模型中多余蒙版和點，對膝關節分別進行簡化三角面片、去除釘狀物、修復、松弛、參數化曲面、精確曲面操作[17]。最后，另存為stl格式文件，完成膝關節三維模型建立。
1.3 有效性驗證方法
1.3.1 Pearson相關系數檢驗
參考評估膝關節手術設計相關指標的研究文獻[18-19]，確定基于三維模型測量的股骨遠端和脛骨近端解剖標志點。① 股骨內上髁（medial femoral epicondyle，MFE），定義為股骨內側髁內側的最前部和遠端骨突出；② 股骨外側髁（lateral femoral epicondyle，LFE），定義為股骨外側髁外側的最前部和遠端骨突出；③ 股骨后內側髁（posterior medial femoral condyle，PMFC），定義為股骨內側髁向后突出；④ 股骨后外側髁（posterior lateral femoral condyle，PLFC），定義為股骨外側髁向后突出；⑤ 股骨膝關節中心（femoral knee centre，FKC），定義為將股骨下端模型位于正位視圖時，股骨髁間窩中點；⑥ 股骨滑車近端（femoral trochlea proximal，FTP），定義為股骨滑車溝最深點；⑦ 脛骨膝關節中心（tibial knee centre，TKC），定義為正位視圖中脛骨髁間隆起中點；⑧ 脛骨結節前部（tibial tubercle anterior，TTA），定義為在膝關節前下方脛骨近端明顯突出部位。見圖1。
圖1
股骨遠端和脛骨近端解剖標志點
Figure1.
Anatomical landmarks of the distal femur and proximal tibia
基于上述解剖標志點，計算以下與手術設計相關的參考指標。① 股骨上髁距離（femoral epicondylar distance，FED），定義為MFE與LFE的距離；② 股骨后髁距離（posterior femoral epicondylar distance，PFED），定義為PMFC與PLFC的距離；③ 股骨滑車槽長度（femoral trochlear groove length，FTGL），定義為FKC與FTP的距離；④ 脛骨膝中央結節距離（tibial knee centre tubercle distance，TKCTD），定義為TKC與TTA的距離。每個指標測量3次，取均值。
采用SPSS26.0統計軟件應用Shapiro-Wilk檢驗對上述參考指標數據進行正態性檢驗，均符合正態分布。在Matlab軟件中應用corrcoef函數計算Pearson相關系數（r），評估手動和自動分割建模的相關性 [20]。檢驗水準 α=0.05。
1.3.2 DICE系數驗證
使用DICE系數對骨表面質量進行整體定量評估，DICE系數計算公式如下：
 |
其中，
是手動分割模型的參考體積，
是自動分割模型的預測體積[21]。DICE系數在0～1之間，越接近1，提示手動與自動分割建模的一致性程度越高。
2 結果
采用自動及手動分割建模方法均成功構建膝關節三維模型，包括股骨、脛骨（圖2）。3個膝關節AI自動分割建模所需時間分別為10.45、9.50、10.20 min，較既往文獻報道的手動分割建模耗時（64.73±17.07）min[5]縮短，提高了建模效率。
圖2
通過手動（左）和自動（右）分割生成的膝關節三維模型
Figure2.
Three-dimensional models generated by manual (left) and automatic (right) segmentations
2.1 Pearson相關系數驗證
基于手動和自動分割建模各參數測量結果見表1。除FED和FTGL外，所有指標差異絕對值均在0.10～0.52 mm之間。相關性分析示手動和自動分割生成的模型之間存在強相關性（r=0.999，P<0.001）。
表1
自動和手動分割建模相關測量參數（mm）
Table1.
The parameters measured on three-dimensional models by automatic and manual segmentations and modeling (mm)
2.2 DICE系數驗證
3個膝關節股骨DICE系數分別為0.990、0.996和0.944，脛骨分別為0.943、0.978和0.981，非常接近1，提示手動與自動分割建模一致性程度高。
3 討論
本研究對膝關節CT 數據應用AI算法，實現了股骨和脛骨的自動識別與分割。AI分割每個膝關節 CT 圖像數據所需時間約為10 min，與手動分割相比明顯縮短，加快了圖像提取速度。宋平等[5]基于深度學習分割膝關節CT圖像，股骨 DICE系數為 0.953±0.037、脛骨為 0.950±0.092，而本研究股骨及脛骨DICE系數均高于該研究，提示AI分割準確性高。但是需要注意的是，處理退變嚴重的關節軟骨時，有診斷經驗的影像醫師手動分割是最佳選擇。原因為：① 軟骨退變后，其周圍組織對比不明顯，尤其在脛骨內側緣，部分患者圖像中幾乎一致，這時要分辨真正的內側緣一定要在3個方向同時觀察；② 即便是退變相對較輕的患者，圖像中股骨髁中部、后部軟骨與鄰近滑膜組織亦存在分界不清，此時一定要逐層觀察，通過前后幾層的軟骨形態來確定二者界限；③ 軟骨內出現纖維化、鈣化，導致軟骨與軟骨下骨的交界難以判定，需要逐層觀察判斷；④ 股骨髁邊緣骨質增生嚴重時，容易誤認為是關節軟骨[22]。
目前，有幾種商業軟件可用于圖像分割。其中，Synapse 3D軟件加載原始文件和分割速度較快，但較難復現原始膝關節三維模型。OsiriX軟件分割效果較好且可免費使用，但分割速度較慢[23]。Verima軟件可用性有待臨床實踐進行驗證[20]。Syngo軟件自動分割效率優于Mimics軟件，然而在獲取三維曲面模型、分割兩個連接結構或顯示較小結構方面仍存在不足。Mimics軟件由于其強大的內置功能，可彌補Syngo軟件的不足，且Mimics軟件和配套的硬件比Syngo軟件便宜[24]。本研究明確了采用Mimics軟件能基于AI自動分割獲得膝關節三維模型，但是Mimics軟件界面復雜，對普通用戶的專業知識水平提出了更高要求。因此，為使該軟件在臨床廣泛使用，下一步需要合理簡化軟件界面。
雖然本研究展示了令人滿意的初步成果，但是仍存在一些不足。首先是圖像樣本量少，數據集不足。其次，通過測量各種解剖標志位置進行準確度分析，由于定位不確定性，可能會引入額外誤差。為了減少誤差，可選擇計算機軸位斷層（computer-aided tomography，CAT）掃描，這種掃描方式適合骨骼成像并可建立笛卡爾坐標系，減少測量誤差，此外后髁線容易定位，可選擇其作為參考[18]，彌補CAT掃描和真實股骨幾何結構之間的差距，同時招募專家志愿者識別標志位置，并在數據分析之前評價測量的可靠性。另外，對于一些CT質量較差的膝關節分割性能仍需提升，如何改善這一情況的分割性能是我們下一步研究方向。
綜上述，AI自動分割獲得的膝關節三維模型與手動分割模型具有強相關性和一致性，且建模時間明顯縮短，可有效提升膝關節三維模型重建效率。
志謝 昆山市第一人民醫院骨科陸軻主任為本研究提供CT數據集
利益沖突 在課題研究和文章撰寫過程中不存在利益沖突；經費支持沒有影響文章觀點和對研究數據客觀結果的統計分析及其報道
倫理聲明 研究方案經昆山市第一人民醫院醫學倫理委員會批準（2022-06-002-K01）
作者貢獻聲明 湯小勇：論文撰寫、數據收集、統計分析；谷雪蓮：修改論文，研究方案分析、設計，并對文章的知識性內容作批評性審閱；李曉虎：修改論文并提出建設性意見、研究設計；趙宇軒、劉洝辰、劉宇甜、陶玉蓉：文獻整理
退行性骨關節炎是常見膝關節疾病之一，據統計中國該病患病率約為18% [1]，臨床癥狀包括疼痛、活動障礙等。機器人輔助人工全膝關節置換術（total knee arthroplasty，TKA）是治療該病的有效方法[2]，術前利用已分割的患者膝關節醫學圖像進行個性化假體設計和術前規劃，可以提高手術成功率[3]，其中膝關節圖像分割對臨床治療效果起著關鍵作用[4]。
目前，膝關節圖像分割方法包括手動、半自動以及全自動分割。手動分割存在局限性，一方面，基于手動閾值分割的建模效率較低，例如在編輯修復蒙版時，重新描繪股骨、髕骨、脛骨、腓骨輪廓繁瑣，且容易出現偏差。1例膝關節蒙版修復一般需要（64.73±17.07）min[5]，容易影響手術規劃進度。另一方面，在分割骨性結構蒙版時，手動分割效率很大程度上取決于操作員對閾值的主觀設置[6]。當閾值下限設置過大時，骨性結構蒙版缺失增多，隨之編輯修復工作量增加；當閾值下限設置過小時，骨性結構與軟組織粘連，不能有效分割出骨性結構。半自動分割方法，如區域生長[7]和snake 算法[8]，雖然可以提高分割效率，但是分割結果受初始信息影響較大。而傳統的全自動分割方法，如統計形狀模型[9]、基于圖譜的分割[10]和支持向量機[11]等，達到了模型完整性的效果，但由于使用預定義的模板或者模型，對復雜圖像分割的準確性和魯棒性仍需提升。
近年來，深度卷積神經網絡已經廣泛應用于膝關節圖像分割。Norman等[12]和Ronneberger等[13]提出采用二維 U?Net分割膝關節各個部分，但是在分割過程中受到膝關節圖像偽影、積液和部分容積效應的影響，分割精度低。Zhou等[14]將深度卷積神經網絡、三維全連通條件隨機場和三維單形變形模型結合起來分割膝關節MRI圖像。然而，卷積編碼器-解碼器網絡訓練是一種復雜計算，對于每個新評估的圖像需要大量訓練數據集。馬巖等[15]提出了一種包含2個卷積神經網絡——U-Net的級聯網絡結構，用于膝關節MRI圖像的分割。級聯網絡方法能較好地分割出膝關節圖像，但對于一些組織圖像（例如皮質骨）的分割性能仍需提升。吳江平等[16]提出了一種改進U?Net 的卷積神經網絡，但該方法不能提取到膝關節圖像更多的有用特征。
本研究應用了一種在Mimics軟件中基于人工智能（artificial intelligence，AI）的膝關節自動分割算法，經驗證該方法可以準確分割出膝關節CT圖像，建立膝關節三維模型，提高TKA術前規劃效率。報告如下。
1 材料與方法
1.1 研究對象
隨機選擇2022年2月昆山市第一人民醫院3名因體檢需要股骨和脛骨重建的志愿者作為研究對象。志愿者均為男性，年齡分別為28、30、31歲。研究采用荷蘭Philips公司64排CT行下肢掃描，掃描范圍為膝關節上11 cm至膝關節下11 cm；掃描參數：電壓120 kV，電流250 mA，層厚1 mm，像素點512×512，空間分辨率0.488 mm×0.488 mm×1 mm，16位/像素。將志愿者CT數據以 Dicom格式導入Mimics21.0 軟件（Materialise公司，比利時），保存為mcs格式文件。
1.2 建模方法
1.2.1 自動分割建模
登錄Mimics Viewer云平臺上傳CT文件，進行AI自動分割建模操作，記錄操作時間。云平臺提示分割完成后，可將分割文件下載供本地使用。AI分割工作流程自動創建了股骨和脛骨蒙版，可手動進行優化，以修復潛在錯誤[10]。
1.2.2 手動分割建模
首先，在Mimics21.0軟件中導入膝關節CT文件，設置閾值范圍為1 250～3 071 HU，以此分離骨組織與軟組織。然后，運用“Region Grow”功能分割股骨和脛骨。若股骨和脛骨相連，可采用“Split Mask”功能，在股骨和脛骨交界處用不同顏色描繪Region A和Region B，即可分離。然后，運用編輯功能對每層圖像進行填充、擦拭和修補操作，分割出所需骨組織區域，再利用“Calculate 3D from mark”功能得到初步膝關節三維模型。刪除膝關節模型中多余蒙版和點，對膝關節分別進行簡化三角面片、去除釘狀物、修復、松弛、參數化曲面、精確曲面操作[17]。最后，另存為stl格式文件，完成膝關節三維模型建立。
1.3 有效性驗證方法
1.3.1 Pearson相關系數檢驗
參考評估膝關節手術設計相關指標的研究文獻[18-19]，確定基于三維模型測量的股骨遠端和脛骨近端解剖標志點。① 股骨內上髁（medial femoral epicondyle，MFE），定義為股骨內側髁內側的最前部和遠端骨突出；② 股骨外側髁（lateral femoral epicondyle，LFE），定義為股骨外側髁外側的最前部和遠端骨突出；③ 股骨后內側髁（posterior medial femoral condyle，PMFC），定義為股骨內側髁向后突出；④ 股骨后外側髁（posterior lateral femoral condyle，PLFC），定義為股骨外側髁向后突出；⑤ 股骨膝關節中心（femoral knee centre，FKC），定義為將股骨下端模型位于正位視圖時，股骨髁間窩中點；⑥ 股骨滑車近端（femoral trochlea proximal，FTP），定義為股骨滑車溝最深點；⑦ 脛骨膝關節中心（tibial knee centre，TKC），定義為正位視圖中脛骨髁間隆起中點；⑧ 脛骨結節前部（tibial tubercle anterior，TTA），定義為在膝關節前下方脛骨近端明顯突出部位。見圖1。
圖1
股骨遠端和脛骨近端解剖標志點
Figure1.
Anatomical landmarks of the distal femur and proximal tibia
基于上述解剖標志點，計算以下與手術設計相關的參考指標。① 股骨上髁距離（femoral epicondylar distance，FED），定義為MFE與LFE的距離；② 股骨后髁距離（posterior femoral epicondylar distance，PFED），定義為PMFC與PLFC的距離；③ 股骨滑車槽長度（femoral trochlear groove length，FTGL），定義為FKC與FTP的距離；④ 脛骨膝中央結節距離（tibial knee centre tubercle distance，TKCTD），定義為TKC與TTA的距離。每個指標測量3次，取均值。
采用SPSS26.0統計軟件應用Shapiro-Wilk檢驗對上述參考指標數據進行正態性檢驗，均符合正態分布。在Matlab軟件中應用corrcoef函數計算Pearson相關系數（r），評估手動和自動分割建模的相關性 [20]。檢驗水準 α=0.05。
1.3.2 DICE系數驗證
使用DICE系數對骨表面質量進行整體定量評估，DICE系數計算公式如下：
|
其中，是手動分割模型的參考體積，是自動分割模型的預測體積[21]。DICE系數在0～1之間，越接近1，提示手動與自動分割建模的一致性程度越高。
2 結果
采用自動及手動分割建模方法均成功構建膝關節三維模型，包括股骨、脛骨（圖2）。3個膝關節AI自動分割建模所需時間分別為10.45、9.50、10.20 min，較既往文獻報道的手動分割建模耗時（64.73±17.07）min[5]縮短，提高了建模效率。
圖2
通過手動（左）和自動（右）分割生成的膝關節三維模型
Figure2.
Three-dimensional models generated by manual (left) and automatic (right) segmentations
2.1 Pearson相關系數驗證
基于手動和自動分割建模各參數測量結果見表1。除FED和FTGL外，所有指標差異絕對值均在0.10～0.52 mm之間。相關性分析示手動和自動分割生成的模型之間存在強相關性（r=0.999，P<0.001）。
表1
自動和手動分割建模相關測量參數（mm）
Table1.
The parameters measured on three-dimensional models by automatic and manual segmentations and modeling (mm)
2.2 DICE系數驗證
3個膝關節股骨DICE系數分別為0.990、0.996和0.944，脛骨分別為0.943、0.978和0.981，非常接近1，提示手動與自動分割建模一致性程度高。
3 討論
本研究對膝關節CT 數據應用AI算法，實現了股骨和脛骨的自動識別與分割。AI分割每個膝關節 CT 圖像數據所需時間約為10 min，與手動分割相比明顯縮短，加快了圖像提取速度。宋平等[5]基于深度學習分割膝關節CT圖像，股骨 DICE系數為 0.953±0.037、脛骨為 0.950±0.092，而本研究股骨及脛骨DICE系數均高于該研究，提示AI分割準確性高。但是需要注意的是，處理退變嚴重的關節軟骨時，有診斷經驗的影像醫師手動分割是最佳選擇。原因為：① 軟骨退變后，其周圍組織對比不明顯，尤其在脛骨內側緣，部分患者圖像中幾乎一致，這時要分辨真正的內側緣一定要在3個方向同時觀察；② 即便是退變相對較輕的患者，圖像中股骨髁中部、后部軟骨與鄰近滑膜組織亦存在分界不清，此時一定要逐層觀察，通過前后幾層的軟骨形態來確定二者界限；③ 軟骨內出現纖維化、鈣化，導致軟骨與軟骨下骨的交界難以判定，需要逐層觀察判斷；④ 股骨髁邊緣骨質增生嚴重時，容易誤認為是關節軟骨[22]。
目前，有幾種商業軟件可用于圖像分割。其中，Synapse 3D軟件加載原始文件和分割速度較快，但較難復現原始膝關節三維模型。OsiriX軟件分割效果較好且可免費使用，但分割速度較慢[23]。Verima軟件可用性有待臨床實踐進行驗證[20]。Syngo軟件自動分割效率優于Mimics軟件，然而在獲取三維曲面模型、分割兩個連接結構或顯示較小結構方面仍存在不足。Mimics軟件由于其強大的內置功能，可彌補Syngo軟件的不足，且Mimics軟件和配套的硬件比Syngo軟件便宜[24]。本研究明確了采用Mimics軟件能基于AI自動分割獲得膝關節三維模型，但是Mimics軟件界面復雜，對普通用戶的專業知識水平提出了更高要求。因此，為使該軟件在臨床廣泛使用，下一步需要合理簡化軟件界面。
雖然本研究展示了令人滿意的初步成果，但是仍存在一些不足。首先是圖像樣本量少，數據集不足。其次，通過測量各種解剖標志位置進行準確度分析，由于定位不確定性，可能會引入額外誤差。為了減少誤差，可選擇計算機軸位斷層（computer-aided tomography，CAT）掃描，這種掃描方式適合骨骼成像并可建立笛卡爾坐標系，減少測量誤差，此外后髁線容易定位，可選擇其作為參考[18]，彌補CAT掃描和真實股骨幾何結構之間的差距，同時招募專家志愿者識別標志位置，并在數據分析之前評價測量的可靠性。另外，對于一些CT質量較差的膝關節分割性能仍需提升，如何改善這一情況的分割性能是我們下一步研究方向。
綜上述，AI自動分割獲得的膝關節三維模型與手動分割模型具有強相關性和一致性，且建模時間明顯縮短，可有效提升膝關節三維模型重建效率。
志謝 昆山市第一人民醫院骨科陸軻主任為本研究提供CT數據集
利益沖突 在課題研究和文章撰寫過程中不存在利益沖突；經費支持沒有影響文章觀點和對研究數據客觀結果的統計分析及其報道
倫理聲明 研究方案經昆山市第一人民醫院醫學倫理委員會批準（2022-06-002-K01）
作者貢獻聲明 湯小勇：論文撰寫、數據收集、統計分析；谷雪蓮：修改論文，研究方案分析、設計，并對文章的知識性內容作批評性審閱；李曉虎：修改論文并提出建設性意見、研究設計；趙宇軒、劉洝辰、劉宇甜、陶玉蓉：文獻整理
