引用本文： 范雯, 王曉玲, 馬梟, 袁松濤, 陳長征, 紀則軒. 基于超廣角熒光素眼底血管造影圖像行糖尿病視網膜病變分期的多模態深度學習模型研究. 中華眼底病雜志, 2022, 38(2): 139-145. doi: 10.3760/cma.j.cn511434-20211231-00736 復制
熒光素眼底血管造影（FFA）是診斷和評估糖尿病視網膜病變（DR）嚴重程度的重要手段，但傳統FFA檢查只能觀察到視網膜50°范圍，即便采用DR早期治療研究組（ETDRS）提出的標準7視野（7-SF）檢查，也僅能覆蓋視網膜75°范圍，約占視網膜總面積的25.00%[1]，無法充分顯示DR周邊視網膜病變情況。超廣角FFA（UWFA）單次成像可提供視網膜200°范圍的視網膜血管圖像，約占視網膜總面積的82.00%[2]，可以同時顯示眼底后極部和周邊部的病變特征。目前已有研究證實UWFA上缺血指數、滲漏指數及微動脈瘤計數與疾病嚴重程度具有相關性[3-5]。這些生物標志物未來可能成為疾病嚴重程度評估的重要指標。同時也有研究發現，UWFA與傳統7-SF檢查在評估疾病嚴重程度方面總體呈現較高的一致性[6-7]。但是，7-SF檢查并不能完全捕獲生物標志物，如非增生型DR（NPDR）的微動脈瘤以及增生型DR（PDR）位于顳側的非灌注區[8]。同時，由于UWFA成像范圍更大且分辨率更高，現有用于自動生物標志物分割的監督方法更耗時耗力，從而更加依賴于弱監督模型。為此，本研究提出一種圖像級監督深度學習模型以評估多個DR相關指標。通過聯合優化CycleGAN和卷積神經網絡（CNN）分類器進行病變檢測和生物標志物定位，應用改進后的CycleGAN將帶有病變的異常圖像轉換為去除病變的正常圖像，從而得到含有病變區域的差分圖像，并使用CNN分類器對差分圖像進行分類以獲得預測結果，從而實現相關指標的評估和DR病變的分期。現將結果報道如下。
1 對象和方法
回顧性研究。本研究經武漢大學人民醫院臨床倫理委員會審批（倫理號：WDRY2021-K034）；遵循《赫爾辛基宣言》原則。本研究圖像資料中均不包含患者個人信息，倫理委員會對患者的知情同意進行了豁免。
2015年至2020年于武漢大學人民醫院眼科中心就診并接受UWFA檢查的DR患者297例399只眼的798張圖像作為模型的訓練集和測試集。DR分級標準采用ETDRS標準[9]，分為無明顯視網膜病變（Normal）、NPDR、PDR。399只眼中，Normal、NPDR、PDR分別為119、171、109只眼。右眼205只（51.4%，205/399），左眼194只（48.6%，194/399）。排除標準：（1）大量視網膜前出血遮蔽熒光和屈光間質混濁導致成像質量不佳者；（2）既往接受過激光光凝或手術治療者；（3）存在早期（1 min內）或晚期（5～7 min）圖像缺失者。所有圖像均取對應時間段的正位圖像。
采用基于CycleGAN和CNN的聯合優化模型框架（圖1），分別是基于CycleGAN的生成模型和基于CNN的生成器和分類器的檢測定位模型。具有循環一致性的CycleGAN可以生成更逼真可靠的圖像，CNN分類器進一步幫助生成器關注顯著區域而忽視不相關區域，并獲得測試圖像的預測類別。其中，CycleGAN中的鑒別器
和CNN分類器
以不同的方式輔助生成器完成準確可靠的生成任務，CycleGAN中的鑒別器
和生成器
以對抗方式實現局部最優解，而生成器
和分類器
則以協作方式區分輸入圖像的域。由于早期和晚期圖像未配準，采用兩個獨立的分支進行生成，并進行適當的融合以進行最終的圖像分類。兩個獨立的生成分支包含獨立的生成器和鑒別器，但共享相同的分類器以區分正常和異常情況，最后融合兩個分類器的結果。本研究所采用模型的有效性已在彩色眼底像數據集的病變定位應用中得到驗證[10]。
圖1
基于CycleGAN和CNN的聯合優化模型框架。CNN：卷積神經網絡
基于CycleGAN的生成模型：正常圖像域和異常圖像域分別為
和
，CycleGAN中的兩個生成器表示為
和
。判別器
從
域中區分真實圖像和生成圖像，判別器
從
域中區分真實圖像和生成圖像。用于優化模型的GAN損失函數如下：
 |
其中
是真實數據的分布。
的GAN損失與公式（1）類似，只需要將
和
替換為
和
即可。此外，CycleGAN還引入了兩個循環一致性損失來限制生成的圖像
與原始圖像
是相似的，同理生成圖像
與原始圖像
是相似的，循環一致性損失定義為：
 |
因此，CycleGAN的總損失函數為：
 |
其中
是調節GAN損失和循環一致性損失的超參數。訓練CycleGAN的整體損失函數可以寫成：
 |
基于生成器和分類器的檢測定位模型：CycleGAN中的生成器
可識別到輸入圖像中的病變區域，并將病變區域轉換為正常組織區域，通過從輸入圖像中減去生成的圖像得到病變區域，從而生成器
具備了定位病變的能力。CycleGAN中的生成器
用于在輸入圖像中添加生物標志物，生成與輸入正常圖像對應的患病圖像，通過從輸入圖像中減去生成的圖像，得到生物標志物或病變區域的常見位置和形態。
Res-guided生成器：聯合優化模型中生成器是模型輸出病變定位的主要網絡，同時分類器也需根據生成器得到的差分圖像以區分正常圖像和異常圖像。本研究將可學習的殘差特征和像素自適應卷積相結合指導U-Net生成更細致的圖像，采用Res-guided down-sampling block（R-Down）和Res-guided up-sampling block（R-Up）替換了標準的卷積和反卷積層。
訓練階段對訓練圖像通過翻轉、旋轉和平移的方式進行擴增。訓練時生成對抗網絡的鑒別器是將圖像分類中的NPDR和PDR合并為異常（Abnormal），而CNN分類器則直接對模型獲得的差分圖像分為Normal、NPDR、PDR；展示可視化結果時分別展示Normal、NPDR、PDR病例并說明具體定位效果。
采用多模態聯合優化模型對病變區域進行定位（圖2），主要指標為熒光素滲漏區和無灌注區；采用五折交叉檢驗評估模型。為避免UWFA圖像中視網膜外圍區域對無灌注區統計造成的影響，采用7-SF檢查進行DR診斷和分類。統計的無灌注區和滲漏區面積均為7-SF內的面積，取早期圖像中無灌注區面積與黃斑中心凹和視盤中心距離的平方（
）的比值作為缺血指數，取晚期圖像中滲漏面積與
的比值作為滲漏指數。分別對缺血指數、滲漏指數與DR嚴重程度的相關性進行單因素一般線性模型顯著性分析。以P＜0.05為差異有統計學意義。
圖2
UWFA圖像中滲漏區和無灌注區定位效果圖。2A～2C和2D～2F分別示早期和晚期原始病變、滲漏區域（藍色）、無灌注區（紅色）。UWFA：超廣角熒光素眼底血管造影
2 結果
首先定性定位異常區域，分別從Normal、NPDR、PDR患眼中定位病灶區域（圖3）。生成圖像基本去除了所有病變區域，包括范圍很小的滲漏點，同時保留了正常血管結構。差分圖像則直觀揭示了生物標志物的分布，該算法的重點區域準確地集中在生物標志物上。熱力圖標示出面積較大的滲漏區域，定位基本與原圖中病變區域一致（圖4，5）。說明多模態聯合優化模型能夠有效地定位UWFA圖像中的病變區域。
圖3
Normal、NPDR、PDR患眼的生成定位結果。3A～3C分別示Normal、NPDR、PDR患眼真實圖像；3D～3F分別示Normal、NPDR、PDR患眼生成圖像；3G～3I分別示Normal、NPDR、PDR患眼差分圖像；3J～3L分別示Normal、NPDR、PDR患眼熱力圖。Normal：無視網膜病變；NPDR：非增生型糖尿病視網膜病變（DR）；PDR：增生型DR
圖4
NPDR患眼UWFA早期、晚期病變區域生成定位結果。4A～4D和4E～4H分別示早期、晚期真實圖像、生成圖像、差分圖像、熱力圖。差分圖像紅色標示為檢測出的病變顯著區域。NPDR：非增生型糖尿病視網膜病變；UWFA：超廣角熒光素眼底血管造影
圖5
PDR患眼UWFA早期、晚期病變區域生成定位結果。5A～5D和5E～5H分別示早期、晚期真實圖像、生成圖像、差分圖像、熱力圖。差分圖像紅色標示為檢測出的病變顯著區域。PDR：增生型糖尿病視網膜病變；UWFA：超廣角熒光素眼底血管造影
五折交叉檢驗結果顯示，模型的平均分類正確率為0.983。說明模型能夠區分正常圖像和異常圖像，且具有較高的穩定性。單因素一般線性模型顯著性分析結果顯示，缺血指數和滲漏指數與DR嚴重程度均呈顯著正相關（β=6.088，10.850，P＜0.001）（圖6）。
圖6
DR嚴重程度與缺血指數和滲漏指數相關性分析箱線圖。6A示缺血指數與DR嚴重程度的相關性；6B示滲漏指數與DR嚴重程度的相關性。Normal：無視網膜病變；DR：糖尿病視網膜病變；NPDR：非增生型DR；PDR：增生型DR
3 討論
對于DR的UWFA圖像的分析，早期均依賴于手動劃分病變區域以進行DR分期[10]。然而，人工劃分和分析需要依賴有經驗的眼底病醫生。傳統的視覺處理方法也被應用于自動提取DR的相關標志物[11]，但其模型的泛化能力有待進一步加強。因此，有必要開發一種具有高精度和泛化能力強的基于UWFA圖像的病變檢測方法。
深度學習在檢測視網膜病變眼底圖像方面展現出強大的應用能力，近年在超廣角眼底照相和UWFA圖像的病變檢測中取得了較為理想的效果[12-16]。然而，現有用于自動生物標志物分割的有監督方法都需要像素級注釋來訓練模型，非常耗時耗力。相比之下，圖像級的標注更容易獲得，如給出眼底圖像是否含有病變，然后通過深度模型精確定位病變區域。目前多數檢測和定位模型只能粗略定位生物標志物或病變區域，具有圖像級注釋的生物標志物的精確定位仍然是一個有價值的且未能很好解決的問題。近年，生成對抗網絡被應用于檢測疾病和定位病變區域。Schlegl等[17]提出一種無監督的fast AnoGAN模型，能夠識別出異常圖像和異常區域從而作為生物標志物的候選。Siddiquee等[18]提出一種Fixed-point GAN模型，根據圖像的像素級標注進行病變檢測和定位，通過將輸入圖像轉換到健康域，可以從輸入和輸出的差分圖像中檢測和定位病變。Zhang等[19]將GAN和CNN分類器結合起來，利用GAN中的鑒別器和CNN分類器幫助GAN中的生成器去除輸入圖像中的病變區域。雖然該模型同樣是從原始輸入中減去生成器的輸出圖像來檢測和定位圖像中的生物標志物，但該模型的性能受到原始GAN的限制。CycleGAN擁有兩組生成器和鑒別器，可以利用循環一致性損失進行不配對的圖像轉換任務[20]。CycleGAN中的兩個生成器分別學習源域和目標域的特征，即使源域和目標域的圖像是不配對的。本研究采用UWFA早期、晚期正位圖像，為減少人工標注，在一只眼上采集的若干張圖像均為未配準，因此將早期、晚期正位圖像視為不同模態的數據。同樣，不含病變區域和含病變區域的圖像也可視為兩個圖像域，并且兩個圖像域之間也是不配對的，因此均適合通過CycleGAN做生成任務。相較于傳統的生成對抗網絡，本研究方法可以獲得細節更為豐富的生成圖像；相較于深度分類網絡，本研究方法的聯合優化策略可以使得生成對抗網絡和深度分類網絡達到協同更新的效果，兩者相互輔助，可獲得更高的分類精度；相較于全監督分割網絡，本研究方法為弱監督學習方法，即采用圖像級標注訓練數據自動定位生物標志物并對其大小進行自動判讀，達到較為理想的結果。本研究方法泛化能力更強，對于臨床醫生的使用更為友好，且更容易拓展到其他病變分析應用中。
本研究借助多模態聯合優化模型在UWFA圖像上得到DR生物標志物指標滲漏區和無灌注區，發現缺血指數和滲漏指數均與DR嚴重程度呈顯著正相關，可用于DR診斷和分期。本研究模型具有較高的準確性，若該模型能夠被廣泛應用于臨床，能夠為DR患者和臨床醫生帶來極大的便利。如該模型可用作醫院的智能UWFA圖像分析系統和電子病歷管理系統，患者可以在血管造影檢查后立即獲得AI的初步診斷報告，以及時獲得病情信息。同時，這類系統工具也可以減輕資深專家的工作量，能夠客觀高效地篩查和診斷患者，而無需完全依賴有經驗的眼底病醫生。
本研究的局限性為生成對抗網絡中普遍存在的問題，即訓練難度較大、模型不易收斂等。對于一些成像質量稍差的圖像，由于UWFA 的遠周邊部無灌注區的成像對比度差，所以采用此模型未能達到很好的準確率。
熒光素眼底血管造影（FFA）是診斷和評估糖尿病視網膜病變（DR）嚴重程度的重要手段，但傳統FFA檢查只能觀察到視網膜50°范圍，即便采用DR早期治療研究組（ETDRS）提出的標準7視野（7-SF）檢查，也僅能覆蓋視網膜75°范圍，約占視網膜總面積的25.00%[1]，無法充分顯示DR周邊視網膜病變情況。超廣角FFA（UWFA）單次成像可提供視網膜200°范圍的視網膜血管圖像，約占視網膜總面積的82.00%[2]，可以同時顯示眼底后極部和周邊部的病變特征。目前已有研究證實UWFA上缺血指數、滲漏指數及微動脈瘤計數與疾病嚴重程度具有相關性[3-5]。這些生物標志物未來可能成為疾病嚴重程度評估的重要指標。同時也有研究發現，UWFA與傳統7-SF檢查在評估疾病嚴重程度方面總體呈現較高的一致性[6-7]。但是，7-SF檢查并不能完全捕獲生物標志物，如非增生型DR（NPDR）的微動脈瘤以及增生型DR（PDR）位于顳側的非灌注區[8]。同時，由于UWFA成像范圍更大且分辨率更高，現有用于自動生物標志物分割的監督方法更耗時耗力，從而更加依賴于弱監督模型。為此，本研究提出一種圖像級監督深度學習模型以評估多個DR相關指標。通過聯合優化CycleGAN和卷積神經網絡（CNN）分類器進行病變檢測和生物標志物定位，應用改進后的CycleGAN將帶有病變的異常圖像轉換為去除病變的正常圖像，從而得到含有病變區域的差分圖像，并使用CNN分類器對差分圖像進行分類以獲得預測結果，從而實現相關指標的評估和DR病變的分期。現將結果報道如下。
1 對象和方法
回顧性研究。本研究經武漢大學人民醫院臨床倫理委員會審批（倫理號：WDRY2021-K034）；遵循《赫爾辛基宣言》原則。本研究圖像資料中均不包含患者個人信息，倫理委員會對患者的知情同意進行了豁免。
2015年至2020年于武漢大學人民醫院眼科中心就診并接受UWFA檢查的DR患者297例399只眼的798張圖像作為模型的訓練集和測試集。DR分級標準采用ETDRS標準[9]，分為無明顯視網膜病變（Normal）、NPDR、PDR。399只眼中，Normal、NPDR、PDR分別為119、171、109只眼。右眼205只（51.4%，205/399），左眼194只（48.6%，194/399）。排除標準：（1）大量視網膜前出血遮蔽熒光和屈光間質混濁導致成像質量不佳者；（2）既往接受過激光光凝或手術治療者；（3）存在早期（1 min內）或晚期（5～7 min）圖像缺失者。所有圖像均取對應時間段的正位圖像。
采用基于CycleGAN和CNN的聯合優化模型框架（圖1），分別是基于CycleGAN的生成模型和基于CNN的生成器和分類器的檢測定位模型。具有循環一致性的CycleGAN可以生成更逼真可靠的圖像，CNN分類器進一步幫助生成器關注顯著區域而忽視不相關區域，并獲得測試圖像的預測類別。其中，CycleGAN中的鑒別器和CNN分類器以不同的方式輔助生成器完成準確可靠的生成任務，CycleGAN中的鑒別器和生成器以對抗方式實現局部最優解，而生成器和分類器則以協作方式區分輸入圖像的域。由于早期和晚期圖像未配準，采用兩個獨立的分支進行生成，并進行適當的融合以進行最終的圖像分類。兩個獨立的生成分支包含獨立的生成器和鑒別器，但共享相同的分類器以區分正常和異常情況，最后融合兩個分類器的結果。本研究所采用模型的有效性已在彩色眼底像數據集的病變定位應用中得到驗證[10]。
圖1
基于CycleGAN和CNN的聯合優化模型框架。CNN：卷積神經網絡
基于CycleGAN的生成模型：正常圖像域和異常圖像域分別為和，CycleGAN中的兩個生成器表示為和。判別器從域中區分真實圖像和生成圖像，判別器從域中區分真實圖像和生成圖像。用于優化模型的GAN損失函數如下：
|
其中是真實數據的分布。的GAN損失與公式（1）類似，只需要將和替換為和即可。此外，CycleGAN還引入了兩個循環一致性損失來限制生成的圖像與原始圖像是相似的，同理生成圖像與原始圖像是相似的，循環一致性損失定義為：
|
因此，CycleGAN的總損失函數為：
|
其中是調節GAN損失和循環一致性損失的超參數。訓練CycleGAN的整體損失函數可以寫成：
|
基于生成器和分類器的檢測定位模型：CycleGAN中的生成器可識別到輸入圖像中的病變區域，并將病變區域轉換為正常組織區域，通過從輸入圖像中減去生成的圖像得到病變區域，從而生成器具備了定位病變的能力。CycleGAN中的生成器用于在輸入圖像中添加生物標志物，生成與輸入正常圖像對應的患病圖像，通過從輸入圖像中減去生成的圖像，得到生物標志物或病變區域的常見位置和形態。
Res-guided生成器：聯合優化模型中生成器是模型輸出病變定位的主要網絡，同時分類器也需根據生成器得到的差分圖像以區分正常圖像和異常圖像。本研究將可學習的殘差特征和像素自適應卷積相結合指導U-Net生成更細致的圖像，采用Res-guided down-sampling block（R-Down）和Res-guided up-sampling block（R-Up）替換了標準的卷積和反卷積層。
訓練階段對訓練圖像通過翻轉、旋轉和平移的方式進行擴增。訓練時生成對抗網絡的鑒別器是將圖像分類中的NPDR和PDR合并為異常（Abnormal），而CNN分類器則直接對模型獲得的差分圖像分為Normal、NPDR、PDR；展示可視化結果時分別展示Normal、NPDR、PDR病例并說明具體定位效果。
采用多模態聯合優化模型對病變區域進行定位（圖2），主要指標為熒光素滲漏區和無灌注區；采用五折交叉檢驗評估模型。為避免UWFA圖像中視網膜外圍區域對無灌注區統計造成的影響，采用7-SF檢查進行DR診斷和分類。統計的無灌注區和滲漏區面積均為7-SF內的面積，取早期圖像中無灌注區面積與黃斑中心凹和視盤中心距離的平方（）的比值作為缺血指數，取晚期圖像中滲漏面積與的比值作為滲漏指數。分別對缺血指數、滲漏指數與DR嚴重程度的相關性進行單因素一般線性模型顯著性分析。以P＜0.05為差異有統計學意義。
圖2
UWFA圖像中滲漏區和無灌注區定位效果圖。2A～2C和2D～2F分別示早期和晚期原始病變、滲漏區域（藍色）、無灌注區（紅色）。UWFA：超廣角熒光素眼底血管造影
2 結果
首先定性定位異常區域，分別從Normal、NPDR、PDR患眼中定位病灶區域（圖3）。生成圖像基本去除了所有病變區域，包括范圍很小的滲漏點，同時保留了正常血管結構。差分圖像則直觀揭示了生物標志物的分布，該算法的重點區域準確地集中在生物標志物上。熱力圖標示出面積較大的滲漏區域，定位基本與原圖中病變區域一致（圖4，5）。說明多模態聯合優化模型能夠有效地定位UWFA圖像中的病變區域。
圖3
Normal、NPDR、PDR患眼的生成定位結果。3A～3C分別示Normal、NPDR、PDR患眼真實圖像；3D～3F分別示Normal、NPDR、PDR患眼生成圖像；3G～3I分別示Normal、NPDR、PDR患眼差分圖像；3J～3L分別示Normal、NPDR、PDR患眼熱力圖。Normal：無視網膜病變；NPDR：非增生型糖尿病視網膜病變（DR）；PDR：增生型DR
圖4
NPDR患眼UWFA早期、晚期病變區域生成定位結果。4A～4D和4E～4H分別示早期、晚期真實圖像、生成圖像、差分圖像、熱力圖。差分圖像紅色標示為檢測出的病變顯著區域。NPDR：非增生型糖尿病視網膜病變；UWFA：超廣角熒光素眼底血管造影
圖5
PDR患眼UWFA早期、晚期病變區域生成定位結果。5A～5D和5E～5H分別示早期、晚期真實圖像、生成圖像、差分圖像、熱力圖。差分圖像紅色標示為檢測出的病變顯著區域。PDR：增生型糖尿病視網膜病變；UWFA：超廣角熒光素眼底血管造影
五折交叉檢驗結果顯示，模型的平均分類正確率為0.983。說明模型能夠區分正常圖像和異常圖像，且具有較高的穩定性。單因素一般線性模型顯著性分析結果顯示，缺血指數和滲漏指數與DR嚴重程度均呈顯著正相關（β=6.088，10.850，P＜0.001）（圖6）。
圖6
DR嚴重程度與缺血指數和滲漏指數相關性分析箱線圖。6A示缺血指數與DR嚴重程度的相關性；6B示滲漏指數與DR嚴重程度的相關性。Normal：無視網膜病變；DR：糖尿病視網膜病變；NPDR：非增生型DR；PDR：增生型DR
3 討論
對于DR的UWFA圖像的分析，早期均依賴于手動劃分病變區域以進行DR分期[10]。然而，人工劃分和分析需要依賴有經驗的眼底病醫生。傳統的視覺處理方法也被應用于自動提取DR的相關標志物[11]，但其模型的泛化能力有待進一步加強。因此，有必要開發一種具有高精度和泛化能力強的基于UWFA圖像的病變檢測方法。
深度學習在檢測視網膜病變眼底圖像方面展現出強大的應用能力，近年在超廣角眼底照相和UWFA圖像的病變檢測中取得了較為理想的效果[12-16]。然而，現有用于自動生物標志物分割的有監督方法都需要像素級注釋來訓練模型，非常耗時耗力。相比之下，圖像級的標注更容易獲得，如給出眼底圖像是否含有病變，然后通過深度模型精確定位病變區域。目前多數檢測和定位模型只能粗略定位生物標志物或病變區域，具有圖像級注釋的生物標志物的精確定位仍然是一個有價值的且未能很好解決的問題。近年，生成對抗網絡被應用于檢測疾病和定位病變區域。Schlegl等[17]提出一種無監督的fast AnoGAN模型，能夠識別出異常圖像和異常區域從而作為生物標志物的候選。Siddiquee等[18]提出一種Fixed-point GAN模型，根據圖像的像素級標注進行病變檢測和定位，通過將輸入圖像轉換到健康域，可以從輸入和輸出的差分圖像中檢測和定位病變。Zhang等[19]將GAN和CNN分類器結合起來，利用GAN中的鑒別器和CNN分類器幫助GAN中的生成器去除輸入圖像中的病變區域。雖然該模型同樣是從原始輸入中減去生成器的輸出圖像來檢測和定位圖像中的生物標志物，但該模型的性能受到原始GAN的限制。CycleGAN擁有兩組生成器和鑒別器，可以利用循環一致性損失進行不配對的圖像轉換任務[20]。CycleGAN中的兩個生成器分別學習源域和目標域的特征，即使源域和目標域的圖像是不配對的。本研究采用UWFA早期、晚期正位圖像，為減少人工標注，在一只眼上采集的若干張圖像均為未配準，因此將早期、晚期正位圖像視為不同模態的數據。同樣，不含病變區域和含病變區域的圖像也可視為兩個圖像域，并且兩個圖像域之間也是不配對的，因此均適合通過CycleGAN做生成任務。相較于傳統的生成對抗網絡，本研究方法可以獲得細節更為豐富的生成圖像；相較于深度分類網絡，本研究方法的聯合優化策略可以使得生成對抗網絡和深度分類網絡達到協同更新的效果，兩者相互輔助，可獲得更高的分類精度；相較于全監督分割網絡，本研究方法為弱監督學習方法，即采用圖像級標注訓練數據自動定位生物標志物并對其大小進行自動判讀，達到較為理想的結果。本研究方法泛化能力更強，對于臨床醫生的使用更為友好，且更容易拓展到其他病變分析應用中。
本研究借助多模態聯合優化模型在UWFA圖像上得到DR生物標志物指標滲漏區和無灌注區，發現缺血指數和滲漏指數均與DR嚴重程度呈顯著正相關，可用于DR診斷和分期。本研究模型具有較高的準確性，若該模型能夠被廣泛應用于臨床，能夠為DR患者和臨床醫生帶來極大的便利。如該模型可用作醫院的智能UWFA圖像分析系統和電子病歷管理系統，患者可以在血管造影檢查后立即獲得AI的初步診斷報告，以及時獲得病情信息。同時，這類系統工具也可以減輕資深專家的工作量，能夠客觀高效地篩查和診斷患者，而無需完全依賴有經驗的眼底病醫生。
本研究的局限性為生成對抗網絡中普遍存在的問題，即訓練難度較大、模型不易收斂等。對于一些成像質量稍差的圖像，由于UWFA 的遠周邊部無灌注區的成像對比度差，所以采用此模型未能達到很好的準確率。
