引用本文： 郭振, 陳凌智, 王立龍, 呂傳峰, 謝國彤, 高艷, 李君. 基于深度卷積神經網絡的眼底豹紋分割量化及應用. 中華眼底病雜志, 2022, 38(2): 114-119. doi: 10.3760/cma.j.cn511434-20220110-00021 復制
豹紋狀眼底被定義為在黃斑中心凹周圍以及血管弓周圍可以清楚地觀察到大的脈絡膜血管，是病理性近視最早出現的一種重要眼底表現[1-2]。對病理性近視的早期眼底檢測以及及時轉診和治療對于預防視力喪失至關重要[3]。大量研究表明，眼底豹紋的嚴重程度與近視患者眼部其他因素如眼軸長度、屈光度等密切相關[2-5]，但需要依賴于眼科醫生經驗和識別能力對眼底豹紋程度進行人工分級，易引入個人主觀判讀偏差且無法對眼底豹紋狀改變做精細的量化分析。近年，已經有研究利用人工智能（AI）技術自動識別豹紋狀眼底，但無法精準分析豹紋分布特征[6-8]；同時，雖然有研究面向老年群體進行自動測量全局眼底豹紋密度的初探，但未深入研究適合眼底豹紋自動分割量化的技術[9]。本研究提出適配近視患者眼底豹紋特征的基于深度卷積神經網絡（DCNN）的語義分割模型，其可用于快速提取彩色眼底像上的豹紋狀改變區域，并結合基于DCNN的目標檢測模型定位到黃斑和視盤周圍區域，以實現自動測量眼底全局及局部區域的豹紋分布密度。現將結果報道如下。
1 對象和方法
應用研究。本研究經山東第一醫科大學附屬青島眼科醫院倫理委員會審批（批準號：2020-53號）；遵循《赫爾辛基宣言》原則，回顧性收集身份信息脫敏后的臨床數據，準予免除簽署知情同意書。
將2021年5～7月于山東第一醫科大學附屬青島眼科醫院北部院區角膜屈光科行近視手術的患者514例1 028只眼的1 005張彩色眼底像和屈光檢查數據建立AI數據庫。其中，男性245例（47.67%，245/514），女性269例（52.33%，269/514）；年齡（23.35±6.96）歲。患者均符合角膜屈光手術標準。排除圓錐角膜、青光眼、白內障、葡萄膜炎、黃斑病變、視網膜血管性疾病及視神經病變。
采用日本Canon公司CR-2AF免散瞳眼底照相機，拍攝患者以黃斑為中心45°彩色眼底像，分辨率2976×1984像素。參照文獻[10]確立眼底圖像采集標準，主要判斷依據包括眼底結構位置正確、曝光適度、成像范圍內無影響判讀的反光或暗影等干擾。
所有彩色眼底像由6名不同年資的眼底病專業醫師進行標注。首先，由兩名具有10年以上眼底病臨床經驗的高級眼科醫生共同制定眼底圖像標注規范并整理典型標注示例；標注內容包含眼底豹紋、視盤及黃斑中心凹等3項，其中眼底豹紋采用像素級標注，視盤及黃斑中心凹以矩形框標定。其后，1 005張圖像隨機分給4名經過培訓的初級眼底病專業醫生（2～3年臨床經驗）進行標注。初級醫生標注完成后，標注結果再隨機均分給兩名高級眼科醫生檢查確認標注質量，如果認為標注有誤則做相應修改補充。
圖像預處理。由于收集的圖像均含有冗余黑色背景，先批量提取眼底區域，應用零像素將圖像填充為1800×1800像素的方形圖像。通過觀察可知豹紋結構信息主要集中于彩色眼底像的R通道，采用RGB顏色通道重標定方法（CCR算法），對R通道進行限制對比度直方圖均衡（CLAHE算法）增強處理，同時對G、B通道分別乘以0.50。其后，將方形圖像縮放為512×512像素用于模型訓練和測試。除采用CCR方法對圖像進行預處理外，同時采用基于Lab顏色空間的CLAHE算法[11]、基于多重迭代照度估計的Retinex算法（FM Retinex算法）[12]、具有色彩保護的多尺度Retinex算法（MSRCP算法）[13]等對圖像進行預處理，但未針對性優化眼底豹紋細節（圖1）。對比上述4種圖像增強方法與原始圖像對于豹紋分割模型效果的影響。
圖1
不同圖像處理方法預處理效果。1A示原圖；1B示限制對比度直方圖均衡；1C示基于多重迭代照度估計的Retinex算法；1D示具有色彩保護的多尺度Retinex算法；1E示RGB顏色通道重標定方法
DCNN模型構建。建立眼底豹紋分割模型識別全圖范圍內的豹紋結構區域；構建眼底組織結構檢測模型用于視盤及黃斑中心凹定位（圖2）。豹紋分割模型為基于Unet架構[14]的神經網絡，利用多個卷積層由淺至深提取不同層次的特征圖，通過多次上采樣及特征融合操作生成預測目標掩模。采用ResNet34[15]作為特征提取網絡。眼底豹紋分割模型以CCR增強后圖像作為輸入，采用Dice損失（Dice Loss）[16]、邊緣重疊率損失（EOR Loss）[17]、中心線損失（clDice Loss）[18]的加權和作為損失函數，經過多輪迭代訓練確定網絡參數。眼底組織結構檢測模型采用引入FPN網絡[19]的目標檢測模型，結合多尺度信息回歸矩形框，模型輸出端分別選取視盤及黃斑中心凹預測得分最大的矩形框，輸入不采取圖像增強操作。在1 005張眼底圖像中，隨機提取804張圖像用于訓練集和驗證集，其余201張作為獨立測試集。
圖2
彩色眼底像豹紋自動量化流程圖。FTD：視野范圍內后極部豹紋密度；MTD：黃斑區豹紋密度；PTD：視盤區豹紋密度
豹紋量化指標計算。眼底豹紋分割模型、眼底組織結構檢測模型訓練完成后用于眼底圖像識別，得到豹紋預測掩模及視盤、黃斑中心凹的預測框，在此基礎上計算視野范圍內后極部豹紋密度（FTD）、黃斑區豹紋密度（MTD）、視盤區豹紋密度（PTD）。視野范圍內FTD定義為預測掩模的豹紋像素個數與整個拍攝視野像素個數的比值；MTD為以黃斑中心凹預測框中心點為圓心，6 mm直徑圓形黃斑區域的豹紋密度；PTD為視盤預測框中心點視盤周邊的橢圓形區域的豹紋密度，橢圓長軸、短軸分別為6.0、4.5 mm，若該區域超出拍攝視野，則舍棄視野外的像素點。
測試集DCNN模型評價指標包括豹紋分割精度、眼底組織結構定位精度和豹紋量化指標。醫學圖像自動分割算法主要評價指標分別為Dice系數、準確率、靈敏度、特異性及約登指數。Dice系數為模型分割掩模與人工標注掩模交并集比值；準確率定義為預測正確的像素個數與圖片像素總數的比值；靈敏度衡量豹紋被正確識別的比例；特異性代表非豹紋的像素被正確識別的比例；約登指數定義為靈敏度與特異性之和減去1，用于綜合評價模型的可靠性。視盤、黃斑中心凹定位精度采用歸一化平均歐式距離（NMED）表示，計算方式如下：取經歸一化的預測框和人工標注框的中心點坐標，計算歐式距離后求平均值。FTD、MTD、PTD分別通過豹紋標注圖和預測圖計算，預測精度采用平均絕對誤差（MAE）和均方根誤差（RMSE）衡量，MAE即預測值與標注值絕對誤差的平均值，RMSE則由預測值與標注值之差的平方和求均值并開根號計算得到。
2 結果
CCR算法圖像預處理后，豹紋分割模型的Dice系數、準確率、靈敏度、特異性、約登指數均較原始圖像以及CLAHE、FM Retinex、MSRCP算法高（表1）。
表1
不同圖像預處理方法對豹紋分割結果的影響
豹紋分割模型訓練階段在Dice Loss基礎上加入EOR Loss、clDice Loss后，模型的Dice系數、靈敏度及約登指數均有提升；模型的Dice系數、準確率、靈敏度、特異性及約登指數分別為0.723 4、94.25%、74.03%、96.00%、70.03%（表2）。
表2
不同損失函數對豹紋分割結果的影響
眼底組織結構檢測模型預測框與人工標注矩形框中心點計算的視盤中心、黃斑中心凹NMED分別為0.005 46、0.014 93。人工標注和模型預測計算的FTD分別為0.135 1±0.110 6、0.129 8±0.118 5，MAE為0.014 3，RMSE為0.017 8；MTD分別為0.143 2±0.133 0、0.145 3±0.146 7，MAE為0.020 7，RMSE為0.032 3；PTD分別為0.126 9±0.089 9、0.114 4±0.102 3，MAE為0.026 7，RMSE為0.036 5（圖3）。
圖3
豹紋分割量化測量結果。3A～3C示人工標注及計算的豹紋密度值；3D～3F示模型預測及計算的豹紋密度值。FTD：后極部豹紋密度；MTD：黃斑區豹紋密度；PTD：視盤區豹紋密度
3 討論
近年，以DCNN為代表的深度學習技術已經成功應用到基于眼底彩色照相的各類視網膜病變（如糖尿病視網膜病變、老年性黃斑變性、青光眼性視神經病變等）的自動識別和量化分割任務[20-24]。現有針對眼底豹紋的研究由眼底病醫生進行人工分級[2-3, 5]，但需依賴于眼底病醫生的臨床經驗，并且人眼對圖像的識別精度和速度是有限的，特別是在混合了亮度、對比度和成像質量等因素的環境中。因此開始出現DCNN方法自動檢測和分析眼底豹紋的研究。在一項有6個國家參與的回顧性多中心研究中，深度學習算法顯示出強大的診斷性能，在隨機選擇的數據集中，深度學習算法對于檢測近視性黃斑病變和高度近視的表現超過了該研究中所有（共6位）眼科專家[6]。這預示深度學習算法可以成為全球近視人群中危險分層和篩查的有效工具。Lu等[7]應用DCNN實現了對病理性近視眼底的分級、分類識別，但無法精細對眼底豹紋密集程度進行分級和量化。
Shao等[9]納入50歲以上老年社區居民的彩色眼底像，使用DCNN分割模型提取眼底豹紋區域并計算全局的FTD，用于分析眼底豹紋與年齡、屈光不正等因素的相關性。而Guo等[3]研究顯示中國青少年眼底豹紋狀改變的患病率相對較高，眼底豹紋狀改變與近視早期發病有關。近視眼患病率不斷上升的趨勢使得近視防控上升為國家戰略，做好近視防控工作首先需要有效地檢測和及早識別高危個體，針對眼底豹紋的早期病變發展變化進行定量檢測可能更有防控意義。
在已有研究的基礎上，本研究利用DCNN方法實現了眼底全局和局部區域豹紋分布密度的自動測量。本研究發現，CCR算法可以突出彩色眼底像中豹紋細節，減少反光、暗影和其他眼底組織的影響。通過對比CLAHE、FM Retinex、MSRCP算法的不同圖像增強方法對圖像預處理的效果，我們發現，與原始圖像比較，基于CLAHE算法預處理訓練的模型Dice系數、準確率和特異性略有提升，基于FM Retinex算法和MSRCP算法的模型效果不佳，經過CCR算法預處理的模型各項指標均優于其他模型，相較于原始圖像訓練Dice系數提升了0.014 1，靈敏度提升了1.85%，約登指數提升了2.03%。在模型訓練過程中也發現在Dice Loss基礎上增加EOR Loss和clDice Loss可以再略微提升豹紋區域的分割精度。另外，本研究不僅計算全局眼底豹紋量化參數FTD，還利用DCNN目標檢測模型自動定位出黃斑區域和視盤周邊區域，同時計算出這兩個區域的局部豹紋分布密度MTD和PTD。通過對比人工標注與模型預測計算的豹紋密度指標，發現FTD、MTD和PTD的MAE分別為0.014 3、0.020 7、0.026 7，RMSE分別為0.017 8、0.032 3、0.036 5。由AI模型可以較為準確地自動計算出豹紋分布密度，部分誤差較大的情況主要因模型漏識對比度較弱或形態細小的豹紋引起（如圖3F所示的視盤周邊豹紋）。
本研究局限性在于目前處于模型建立階段，樣本量較小，需要在后續研究中繼續擴大樣本量，覆蓋不同眼底彩色照相機設備類型，并進一步優化和提升DCNN模型精度，以實現更為精確地眼底豹紋改變測量。同時，本研究測量的豹紋密度參數與近視患者眼部其他參數及未來發展趨勢的相關性還有待后續研究進一步驗證。
豹紋狀眼底被定義為在黃斑中心凹周圍以及血管弓周圍可以清楚地觀察到大的脈絡膜血管，是病理性近視最早出現的一種重要眼底表現[1-2]。對病理性近視的早期眼底檢測以及及時轉診和治療對于預防視力喪失至關重要[3]。大量研究表明，眼底豹紋的嚴重程度與近視患者眼部其他因素如眼軸長度、屈光度等密切相關[2-5]，但需要依賴于眼科醫生經驗和識別能力對眼底豹紋程度進行人工分級，易引入個人主觀判讀偏差且無法對眼底豹紋狀改變做精細的量化分析。近年，已經有研究利用人工智能（AI）技術自動識別豹紋狀眼底，但無法精準分析豹紋分布特征[6-8]；同時，雖然有研究面向老年群體進行自動測量全局眼底豹紋密度的初探，但未深入研究適合眼底豹紋自動分割量化的技術[9]。本研究提出適配近視患者眼底豹紋特征的基于深度卷積神經網絡（DCNN）的語義分割模型，其可用于快速提取彩色眼底像上的豹紋狀改變區域，并結合基于DCNN的目標檢測模型定位到黃斑和視盤周圍區域，以實現自動測量眼底全局及局部區域的豹紋分布密度。現將結果報道如下。
1 對象和方法
應用研究。本研究經山東第一醫科大學附屬青島眼科醫院倫理委員會審批（批準號：2020-53號）；遵循《赫爾辛基宣言》原則，回顧性收集身份信息脫敏后的臨床數據，準予免除簽署知情同意書。
將2021年5～7月于山東第一醫科大學附屬青島眼科醫院北部院區角膜屈光科行近視手術的患者514例1 028只眼的1 005張彩色眼底像和屈光檢查數據建立AI數據庫。其中，男性245例（47.67%，245/514），女性269例（52.33%，269/514）；年齡（23.35±6.96）歲。患者均符合角膜屈光手術標準。排除圓錐角膜、青光眼、白內障、葡萄膜炎、黃斑病變、視網膜血管性疾病及視神經病變。
采用日本Canon公司CR-2AF免散瞳眼底照相機，拍攝患者以黃斑為中心45°彩色眼底像，分辨率2976×1984像素。參照文獻[10]確立眼底圖像采集標準，主要判斷依據包括眼底結構位置正確、曝光適度、成像范圍內無影響判讀的反光或暗影等干擾。
所有彩色眼底像由6名不同年資的眼底病專業醫師進行標注。首先，由兩名具有10年以上眼底病臨床經驗的高級眼科醫生共同制定眼底圖像標注規范并整理典型標注示例；標注內容包含眼底豹紋、視盤及黃斑中心凹等3項，其中眼底豹紋采用像素級標注，視盤及黃斑中心凹以矩形框標定。其后，1 005張圖像隨機分給4名經過培訓的初級眼底病專業醫生（2～3年臨床經驗）進行標注。初級醫生標注完成后，標注結果再隨機均分給兩名高級眼科醫生檢查確認標注質量，如果認為標注有誤則做相應修改補充。
圖像預處理。由于收集的圖像均含有冗余黑色背景，先批量提取眼底區域，應用零像素將圖像填充為1800×1800像素的方形圖像。通過觀察可知豹紋結構信息主要集中于彩色眼底像的R通道，采用RGB顏色通道重標定方法（CCR算法），對R通道進行限制對比度直方圖均衡（CLAHE算法）增強處理，同時對G、B通道分別乘以0.50。其后，將方形圖像縮放為512×512像素用于模型訓練和測試。除采用CCR方法對圖像進行預處理外，同時采用基于Lab顏色空間的CLAHE算法[11]、基于多重迭代照度估計的Retinex算法（FM Retinex算法）[12]、具有色彩保護的多尺度Retinex算法（MSRCP算法）[13]等對圖像進行預處理，但未針對性優化眼底豹紋細節（圖1）。對比上述4種圖像增強方法與原始圖像對于豹紋分割模型效果的影響。
圖1
不同圖像處理方法預處理效果。1A示原圖；1B示限制對比度直方圖均衡；1C示基于多重迭代照度估計的Retinex算法；1D示具有色彩保護的多尺度Retinex算法；1E示RGB顏色通道重標定方法
DCNN模型構建。建立眼底豹紋分割模型識別全圖范圍內的豹紋結構區域；構建眼底組織結構檢測模型用于視盤及黃斑中心凹定位（圖2）。豹紋分割模型為基于Unet架構[14]的神經網絡，利用多個卷積層由淺至深提取不同層次的特征圖，通過多次上采樣及特征融合操作生成預測目標掩模。采用ResNet34[15]作為特征提取網絡。眼底豹紋分割模型以CCR增強后圖像作為輸入，采用Dice損失（Dice Loss）[16]、邊緣重疊率損失（EOR Loss）[17]、中心線損失（clDice Loss）[18]的加權和作為損失函數，經過多輪迭代訓練確定網絡參數。眼底組織結構檢測模型采用引入FPN網絡[19]的目標檢測模型，結合多尺度信息回歸矩形框，模型輸出端分別選取視盤及黃斑中心凹預測得分最大的矩形框，輸入不采取圖像增強操作。在1 005張眼底圖像中，隨機提取804張圖像用于訓練集和驗證集，其余201張作為獨立測試集。
圖2
彩色眼底像豹紋自動量化流程圖。FTD：視野范圍內后極部豹紋密度；MTD：黃斑區豹紋密度；PTD：視盤區豹紋密度
豹紋量化指標計算。眼底豹紋分割模型、眼底組織結構檢測模型訓練完成后用于眼底圖像識別，得到豹紋預測掩模及視盤、黃斑中心凹的預測框，在此基礎上計算視野范圍內后極部豹紋密度（FTD）、黃斑區豹紋密度（MTD）、視盤區豹紋密度（PTD）。視野范圍內FTD定義為預測掩模的豹紋像素個數與整個拍攝視野像素個數的比值；MTD為以黃斑中心凹預測框中心點為圓心，6 mm直徑圓形黃斑區域的豹紋密度；PTD為視盤預測框中心點視盤周邊的橢圓形區域的豹紋密度，橢圓長軸、短軸分別為6.0、4.5 mm，若該區域超出拍攝視野，則舍棄視野外的像素點。
測試集DCNN模型評價指標包括豹紋分割精度、眼底組織結構定位精度和豹紋量化指標。醫學圖像自動分割算法主要評價指標分別為Dice系數、準確率、靈敏度、特異性及約登指數。Dice系數為模型分割掩模與人工標注掩模交并集比值；準確率定義為預測正確的像素個數與圖片像素總數的比值；靈敏度衡量豹紋被正確識別的比例；特異性代表非豹紋的像素被正確識別的比例；約登指數定義為靈敏度與特異性之和減去1，用于綜合評價模型的可靠性。視盤、黃斑中心凹定位精度采用歸一化平均歐式距離（NMED）表示，計算方式如下：取經歸一化的預測框和人工標注框的中心點坐標，計算歐式距離后求平均值。FTD、MTD、PTD分別通過豹紋標注圖和預測圖計算，預測精度采用平均絕對誤差（MAE）和均方根誤差（RMSE）衡量，MAE即預測值與標注值絕對誤差的平均值，RMSE則由預測值與標注值之差的平方和求均值并開根號計算得到。
2 結果
CCR算法圖像預處理后，豹紋分割模型的Dice系數、準確率、靈敏度、特異性、約登指數均較原始圖像以及CLAHE、FM Retinex、MSRCP算法高（表1）。
表1
不同圖像預處理方法對豹紋分割結果的影響
豹紋分割模型訓練階段在Dice Loss基礎上加入EOR Loss、clDice Loss后，模型的Dice系數、靈敏度及約登指數均有提升；模型的Dice系數、準確率、靈敏度、特異性及約登指數分別為0.723 4、94.25%、74.03%、96.00%、70.03%（表2）。
表2
不同損失函數對豹紋分割結果的影響
眼底組織結構檢測模型預測框與人工標注矩形框中心點計算的視盤中心、黃斑中心凹NMED分別為0.005 46、0.014 93。人工標注和模型預測計算的FTD分別為0.135 1±0.110 6、0.129 8±0.118 5，MAE為0.014 3，RMSE為0.017 8；MTD分別為0.143 2±0.133 0、0.145 3±0.146 7，MAE為0.020 7，RMSE為0.032 3；PTD分別為0.126 9±0.089 9、0.114 4±0.102 3，MAE為0.026 7，RMSE為0.036 5（圖3）。
圖3
豹紋分割量化測量結果。3A～3C示人工標注及計算的豹紋密度值；3D～3F示模型預測及計算的豹紋密度值。FTD：后極部豹紋密度；MTD：黃斑區豹紋密度；PTD：視盤區豹紋密度
3 討論
近年，以DCNN為代表的深度學習技術已經成功應用到基于眼底彩色照相的各類視網膜病變（如糖尿病視網膜病變、老年性黃斑變性、青光眼性視神經病變等）的自動識別和量化分割任務[20-24]。現有針對眼底豹紋的研究由眼底病醫生進行人工分級[2-3, 5]，但需依賴于眼底病醫生的臨床經驗，并且人眼對圖像的識別精度和速度是有限的，特別是在混合了亮度、對比度和成像質量等因素的環境中。因此開始出現DCNN方法自動檢測和分析眼底豹紋的研究。在一項有6個國家參與的回顧性多中心研究中，深度學習算法顯示出強大的診斷性能，在隨機選擇的數據集中，深度學習算法對于檢測近視性黃斑病變和高度近視的表現超過了該研究中所有（共6位）眼科專家[6]。這預示深度學習算法可以成為全球近視人群中危險分層和篩查的有效工具。Lu等[7]應用DCNN實現了對病理性近視眼底的分級、分類識別，但無法精細對眼底豹紋密集程度進行分級和量化。
Shao等[9]納入50歲以上老年社區居民的彩色眼底像，使用DCNN分割模型提取眼底豹紋區域并計算全局的FTD，用于分析眼底豹紋與年齡、屈光不正等因素的相關性。而Guo等[3]研究顯示中國青少年眼底豹紋狀改變的患病率相對較高，眼底豹紋狀改變與近視早期發病有關。近視眼患病率不斷上升的趨勢使得近視防控上升為國家戰略，做好近視防控工作首先需要有效地檢測和及早識別高危個體，針對眼底豹紋的早期病變發展變化進行定量檢測可能更有防控意義。
在已有研究的基礎上，本研究利用DCNN方法實現了眼底全局和局部區域豹紋分布密度的自動測量。本研究發現，CCR算法可以突出彩色眼底像中豹紋細節，減少反光、暗影和其他眼底組織的影響。通過對比CLAHE、FM Retinex、MSRCP算法的不同圖像增強方法對圖像預處理的效果，我們發現，與原始圖像比較，基于CLAHE算法預處理訓練的模型Dice系數、準確率和特異性略有提升，基于FM Retinex算法和MSRCP算法的模型效果不佳，經過CCR算法預處理的模型各項指標均優于其他模型，相較于原始圖像訓練Dice系數提升了0.014 1，靈敏度提升了1.85%，約登指數提升了2.03%。在模型訓練過程中也發現在Dice Loss基礎上增加EOR Loss和clDice Loss可以再略微提升豹紋區域的分割精度。另外，本研究不僅計算全局眼底豹紋量化參數FTD，還利用DCNN目標檢測模型自動定位出黃斑區域和視盤周邊區域，同時計算出這兩個區域的局部豹紋分布密度MTD和PTD。通過對比人工標注與模型預測計算的豹紋密度指標，發現FTD、MTD和PTD的MAE分別為0.014 3、0.020 7、0.026 7，RMSE分別為0.017 8、0.032 3、0.036 5。由AI模型可以較為準確地自動計算出豹紋分布密度，部分誤差較大的情況主要因模型漏識對比度較弱或形態細小的豹紋引起（如圖3F所示的視盤周邊豹紋）。
本研究局限性在于目前處于模型建立階段，樣本量較小，需要在后續研究中繼續擴大樣本量，覆蓋不同眼底彩色照相機設備類型，并進一步優化和提升DCNN模型精度，以實現更為精確地眼底豹紋改變測量。同時，本研究測量的豹紋密度參數與近視患者眼部其他參數及未來發展趨勢的相關性還有待后續研究進一步驗證。
