心肌灌注顯像作為無創影像學技術之一，為冠心病心肌缺血的診斷提供依據。本文針對心肌灌注顯像圖中的靶心圖，基于U型網絡（U-Net）提出包含多層轉置卷積上采樣拼接模塊和四通路可加權通道注意力模塊的分支結構，并將分支結構的輸出結果與主干U-Net的輸出結果進行融合，實現心肌灌注靶心圖心臟缺血缺失程度部位的精確分割。實驗結果表明：多層轉置卷積上采樣拼接模塊實現了不同深度特征圖的融合，有效地降低與缺失程度相似的重度稀疏程度對分割的干擾。四通路可加權通道注意力模塊能進一步提高兩種相似程度的區分能力及對目標邊緣細節的學習能力，保留更豐富的邊緣細節特征。本文所用實驗數據來自天津醫科大學總醫院、天津泰達醫院、天津第一、第三中心醫院數據庫，在自建數據集上雅卡爾（Jaccard）系數較U-Net提高5.00%。研究結果表明，本文模型優于目前基于U-Net進行優化的其他模型，主觀評價滿足臨床診斷的精度要求。
引用本文： 王赫, 張如意, 孟召偉, 朱珊, 張為. 心肌灌注靶心圖缺血缺失程度分割方法. 生物醫學工程學雜志, 2021, 38(6): 1072-1080. doi: 10.7507/1001-5515.202102019 復制
引言
心臟作為人體的重要器官，以泵血的方式向全身供應氧和各種營養物質，并帶走代謝終產物使人體維持正常代謝的功能。據《中國心血管健康與疾病報告2019》公布，心血管疾病死亡率居城鄉居民死亡率首位，且患病率仍處于上升階段[1]，而心血管疾病以冠心病最為常見[2]。大量患有冠心病的患者由于未及時發現病情，錯過最佳治療時機，因此普及對心臟的檢測能盡早對冠心病患者實施干預，延緩病程進展，并降低病情進一步發展帶來的經濟上的損失。
心肌灌注顯像（myocardial perfusion imaging，MPI）是輔助冠心病心肌缺血診斷、危險度分層和治療決策制定的主要無創性影像學技術之一。該技術彌補了諸如電子計算機斷層掃描（computed tomography，CT）冠狀動脈造影和磁共振成像（magnetic resonance imaging，MRI）等心臟檢查方法的缺陷，并且在冠心病的診斷、分層和預后中發揮重要作用[3]。對于早期且輕度的冠心病患者，在血管造影術之前預先采用MPI方式進行診斷，可以減少侵入式冠狀動脈造影成像對患者身體的影響以及相應的檢查費用，且可以作為制定適當治療計劃的依據[4-6]。MPI成像包括若干張三個軸向的心臟切片圖以及一張靶心圖。經驗豐富的影像專家通常對軸向進行分析后，通過靶心圖對診斷結果進行相互驗證。早期針對MPI圖像的檢測，主要包括定量圖像分析方法、基于案例的推理、基于規則的專家系統和模糊理論集[7-11]。近些年，一些深度學習方法利用MPI的豐富信息，進行血管重建，或聯合臨床定量數據以提高診斷率，并開展與專家視覺評分比較等研究。Rahmani等[12]結合不同的臨床和定量數據，應用人工神經網絡（artificial neural network，ANN）提高了MPI圖像的診斷準確性。Alonso等[13]和Berkaya等[14]基于MPI中三個軸向圖開展疾病的分類以及心源性死亡的預測。上述研究成功將深度學習應用到MPI圖像的分析中，并證明其高效性和有效性，但目前基于深度學習展開的MPI研究存在兩個待解決的問題：① 一些研究利用了MPI軸向圖信息，但并沒有針對靶心圖進行研究，忽略了靶心圖的信息價值；② MPI按半定量分析法中五級評分法分為：正常、輕度稀疏、中度稀疏、重度稀疏、缺失[15]。由于幾種缺血程度互相嵌套無明顯邊界，按程度精確分割存在一定難度，因此目前幾乎沒有較為精確的區分不同缺血程度的研究。
2015年Ronneberger等[16]提出了U 型網絡（U-Net），這促進了語義分割更廣泛地應用于醫學圖像的處理。受其他領域如殘差模塊[17-18]、注意力機制[19-22]、密集連接模塊[23]以及三維（three dimensions，3D）網絡[24]等的啟發，以U-Net為基礎進行改進的網絡也越來越多地應用到各種醫學圖像的處理上。Oktay等[25]提出添加注意力模塊的U-Net （Attention U-Net）用于3D胰腺的分割；Li 等[26]提出混合密集連接U-Net（hybrid densely connected U-Net，H-DenseUNet）分割模型，該特征提取器分別采用層數不同的密集連接模塊來提取特征，實現肝臟和腫瘤的分割；Ibtehaz 等[27]在特征提取器和跳躍連接路徑中引入殘差模塊，進而提出多重殘差U-Net（MultiResUNet），多個公開數據集的實驗結果表明，該模型的分割效果優于U-Net。上述改進的方法大多通過增加特征提取器的層數和網絡的深度來提高分割精度，但同時增加了計算成本，且大多應用于熒光顯微鏡圖像、皮膚病、3D模態圖像中器官的分割以及腫瘤的分割，幾乎沒有開展針對MPI靶心圖處理的研究。
受上述研究的啟發，本文提出一種輕量級語義分割新方法，將其應用在MPI靶心圖的分割上。實現對MPI靶心圖心臟缺血缺失程度部位的精確分割，以便計算缺失程度部位的面積占比，提高冠心病中心肌缺血程度的診斷精度。
1 心肌灌注靶心圖缺血缺失程度分割方法
1.1 MPI靶心圖數據集
本文實驗數據來自患有不同程度冠心病的771位患者，其中天津醫科大學總醫院共235例，天津泰達醫院共167例，天津市第一中心、第三中心醫院分別為142例和227例。該數據庫中符合缺失程度的靶心圖共88張，數量占比較少。然而缺失程度的精確分割能判斷出壞死心肌的部位，分割出來的面積能體現壞死心肌在整個心臟的占比大小，更具有臨床意義并符合實際臨床需求。且，由于缺失程度與重度稀疏程度相互彌散，二者特征相似度較大，因而將其精確分割難度較大。數據集的挑選和標注由三名影像學經驗豐富的醫師完成，且所有患者均簽署知情同意書。本研究經天津醫科大學總醫院倫理委員會審查通過。為保證醫學圖像在現實中有真實對應的形態存在，因而沒有進行任何數據增強等形式的預處理操作，研究采用的單光子發射CT機（Symbia T2 SPECT-CT，SIEMENS, 德國）不存在噪聲、模糊、對比度、亮度不均、幾何形態學畸變等問題。為比較方法本身的分割效果，也沒有對分割結果進行任何的后處理操作。
MPI靶心圖如圖1所示，根據半定量分析法中的五級評分法，心臟缺血程度分為以下5種：深綠色泛黑和全黑色為缺失，綠色及淺綠色為重度稀疏，紫色偏藍為中度稀疏，淺紫色偏橙為輕度稀疏，亮橙色為健康正常供血部位。該圖有兩個特征：① 各種缺血程度部位相互融合、嵌套，邊界不清晰，輪廓界定不明顯，重度稀疏和缺失的特征極為相似難以區分；② 囊括五種缺血程度的部位符合醫學影像中患病部位的特點：分布隨機、形狀不規則且邊緣細節較為豐富。針對以上特點本文提出新的方法，以期實現對MPI靶心圖中心臟缺血缺失程度部位的精確分割。
圖1
包含五種缺血程度的MPI靶心圖
Figure1.
MPI bull-eye with five degrees of ischemia
1.2 整體結構
通常，獲取到標準統一、滿足研究條件的醫學圖像相較于一般工業領域的圖像要更加困難，因而醫學圖像數據集往往較小。而U-Net因其輕量且僅需少量的數據即可達到較高分割精度的特點，廣泛應用于醫學圖像的分割。U-Net的結構主要包括編碼器、解碼器和跳躍連接（skip connection）三部分。給U-Net分割效果帶來最大提升的是skip connection結構，該結構能更充分地利用輸入圖像的信息，使模型快速收斂達到穩定。本文方法以U-Net為骨干，整體結構如圖2所示，其中圈C表示按通道拼接（concatenate）操作，橙紅色的虛線框內為本文設計的分支網絡。U-Net解碼器生成的特征圖與編碼器中對應分辨率的特征圖進行skip connection操作后，再進行上采樣操作。生成的特征圖F1、F2、F3具有不同層次的特征，靠近像素級分類結果的特征圖F3具有較淺層次的特征，U-Net網絡底部的特征圖F1具有較深層次的特征。本文方法的基本思想是設計分支網絡，更充分地利用上述包含不同豐富信息的特征圖，將分支輸出Y1與U-Net的主干輸出X4拼接，并通過一層卷積操作實現分支輸出對主干輸出細節特征的補充和融合，從而達到最佳的分割效果。分支網絡主要包含兩部分：① 對F1、F2、F3進行多層轉置卷積上采樣拼接操作；② 將拼接后的特征圖X1,2,3_c輸入到四通路可加權通道注意力模塊（weighted channels attention module，WCAM），而模塊的輸出作為特征圖X1,2,3_c在通道上的權重與X1,2,3_c加權。
圖2
本文提出方法的整體結構圖
Figure2.
The overall structure of the method presented in this paper
1.3 多層轉置卷積上采樣拼接模塊
Xie等[28]提出的整體嵌套邊緣檢測（holistically-nested edge detection，HED）是邊緣檢測問題中杰出的網絡模型，對于邊緣的檢測和提取準確細致。受HED的啟發，針對上文提到數據集具有待分割部分的輪廓無明顯界定、重度稀疏和缺失的特征相似的特點，本文設計了多層轉置卷積上采樣拼接結構，以保留網絡在不同深度提取到的特征，加大了模型對邊緣信息的敏感性。該結構如圖3所示，將含有不同深淺特征而大小分別為256 × 32 × 32、128 × 64 × 64、64 × 128 × 128的特征圖F1、F2、F3進行卷積核相同但步長和輸出填充不同的轉置卷積操作，上采樣至相同大小的分辨率，輸出大小為1 × 256 × 256的特征圖X1、X2、X3，如式（1）所示:
圖3
多層轉置卷積上采樣拼接模塊
Figure3.
Multi-layer transposed convolution up-sampling concatenate module
 |
式中，Cl,m是卷積核，S是步長，K是卷積核大小，P是填充，OP是輸出填充，h、w是特征圖F的寬和高。卷積核大小為3×3，由淺到深采用的步長依次是2、4、8，輸出填充依次是1、1、5，轉置卷積的輸出X1、X2、X3 經concatenate后經加權通道注意力模塊對通道進行加權操作，實現對邊緣信息的最大化提取，對輪廓界定不明顯的目標實現更精確的分割。由于上采樣后將特征圖通道數分別由256、128、64統一調整為1，因此多層轉置卷積上采樣結構僅引入少量參數和計算量，但實驗結果表明該結構的引入使分割精度得到了明顯的提升。
1.4 四通路可加權通道注意力模塊
Woo等[29]提出的卷積注意力模塊（convolutional block attention module，CBAM）是經典的注意力機制模塊，包含空間注意力和通道注意力兩個子模塊，其中通道注意力子模塊將輸入的大小為c × h × w（其中，c為通道數，h為高度，w為寬度）的特征圖F分別送入兩條通路進行處理：① 經全局最大池化操作，輸出大小為c × 1 × 1的Fmp，再經兩層卷積和激活操作生成特征圖Fmp_c；② 經全局平均池化操作，輸出大小為c × 1 × 1的Fap，再經兩層卷積和激活操作生成特征圖Fap_c。最后將Fmp_c、Fap_c逐像素相加，再進行S型生長曲線（sigmoid）處理輸出最后的Y。這樣并行的連接方式比全局平均池化和全局最大池化中任何一種單獨操作丟失的信息更少，效果更好，對于目標的細節信息保留得更完整。受到CBAM中通道注意力子模塊的啟發，本文提出了WCAM，結構如圖4所示。考慮到將輸入特征圖直接全局平均池化和全局最大池化到寬度和高度為1保留下來的細節比較有限，因此本文方法額外增加了兩個通路。將輸入特征圖M進行全局平均池化和全局最大池化操作，生成大小為c×3×3的特征圖 Map3和Mmp3，再分別通過卷積核為3 × 3和1 × 1的卷積層以及修正線性單元(rectified linear unit, ReLU)激活，生成大小為c × 1 × 1的特征圖Map3_c和Mmp3_c，通過增大全局池化層輸出的特征圖尺寸，保留更多信息。核為3 × 3的卷積層也可以在模型學習過程中，對池化后特征圖的每一個像素值以卷積的方式加權。最后將四個通路輸出的特征圖Map1_c、Mmp1_c、Map3_c和Mmp3_c以一定的權重進行加權以達到最精確的分割效果，輸出特征圖Mout如式（2）所示：
圖4
WCAM結構圖
Figure4.
Structure of WCAM
 |
式（2）中，AvgPool_n，MaxPool_n分別為將特征圖的大小平均池化，最大池化到n × n的操作，Conv2d_n表示卷積核為n × n的卷積操作，n分別取1和3，后面實驗令α、β = 1.0， γ、δ = 0.5。
2 實驗結果與分析
2.1 客觀評價指標及訓練細節
語義分割的效果主要從兩方面評價：主觀感受的定性評價和指標系數的定量客觀評價。本文采用雅卡爾（Jaccard）系數在客觀角度對分割效果進行評價。
Jaccard系數[30] 是一種集合相似度度量函數，用來比較有限樣本集A，B之間的相似性與差異性，如式（3）所示。Jaccard系數越大，A與B兩集合的相似程度越高。
 |
本文實驗采用二值交叉熵損失作為訓練方法的損失函數，利用自適應矩估計（adaptive moment estimation，Adam）算法為訓練過程優化，采用學習率衰減策略，起始為0.005，在50輪（epoch）后每20輪衰減一半，批處理個數為8，圖形處理器（graphics processing unit，GPU）（Tesla P40, NVIDIA Corporation，美國）加速訓練過程，統一計算設備架構（compute unified device architecture，CUDA）版本10.0。
2.2 MPI靶心圖的實驗結果及分析
本節主要介紹本文方法與一些基于U-Net最新的分割方法在自建MPI靶心圖數據集上的訓練和測試結果，并通過Jaccard指標對網絡性能進行客觀評價，通過分析分割結果圖對網絡性能進行主觀評價。由于數據集的規模較小，因而將數據集隨機劃分為十份，采用十折交叉驗證進行試驗。以下實驗均在相同訓練參數和實驗環境下復現，結果如表1所示，本文方法 Jaccard高于U-Net 5.00%，在MPI靶心圖數據集上表現最好，且參數量是表現同樣出色的16層H-DenseUNet（H-DenseUNet-16）的51.6%，與U-Net參數量基本相同。
表1
MPI靶心圖數據集的十折交叉驗證實驗結果和參數量
Table1.
Experimental results and number of parameters of 10-fold cross validation of MPI bull-eye graph dataset
同時，在對分割輸出結果的主觀分析中，本文方法在針對邊緣界定模糊、顏色分布不均勻的目標分割中表現出色。MPI靶心圖分割難點在于精確地判斷出每種患病程度，因此排除相似程度之間的干擾，正確判斷缺失程度并將其精確分割是至關重要的。本文方法較其他方法表現出色的方面體現在兩點：① 通過有限的數據訓練，能成功排除重度稀疏程度與缺失程度相互融合嵌套，對其產生的相似性干擾，較為精確地分割出缺失程度部位；② 對于邊界信息豐富的目標，能保留更多的邊緣細節，分割結果更精確。
如圖5所示，第一張圖是靶心圖原圖，圖中黃色框包含重度稀疏的程度，該部位與缺失程度部位彼此嵌套，很難界定。第二張圖是專業醫師標注的標簽，圖中綠色框與原圖中黃色框對應，將難以界定的分割難點區域標出，后面的圖分別是不同的網絡分割的結果圖，圖片下方注明了對應的網絡名稱。本文方法的結果將上述分割難點區域用紅色的框標出。本文方法應用少量有限的數據對網絡進行訓練，最終將缺失程度精確分割。而其它幾種方法都沒有成功區分出兩種程度的差異，表明本文方法在缺血程度的區分和相似程度抗干擾能力上優于其他三種方法。
圖5
相似程度相互嵌套情況下幾種方法的分割結果
Figure5.
Segmentation results of several methods when the degree of similarity is nested
如圖6所示，圖片的標注和順序同圖5相同，五種方法全部將重度稀疏和缺失兩種程度區分出來，但對分割結果保留的細節各有不同，經過與原圖和標簽的對比可見，本文方法保留的細節更多，分割精度更高， Attention U-Net對于下半部分的分割不太準確，而MultiResUNet、H-DenseUNet-16對于上半部分的分割效果不太準確。
圖6
幾種方法對細節的分割結果
Figure6.
Segmentation results of several methods for details
實驗證明，本文方法針對數據數量有限、目標邊界界定較為模糊、心臟不同缺血程度相互嵌套的數據集，能充分學習更多的邊緣細節特征，并且可以合理區分缺失程度和重度稀疏程度，最終得到相對精確的分割結果，模型參數量小且表現優異。
2.3 消融實驗
為了解本文方法各個部分的貢獻，本小節采用十折交叉驗證法進行消融實驗，并從客觀和主觀分析每個結構的效果。如表2所示，在U-Net的基礎上增加多層轉置卷積上采樣拼接模塊后Jaccard提高了3.5%，增加 WCAM后提高了1.5%，同時比增加CBAM中通道注意力子模塊提高了0.9%。客觀指標充分證明了多層轉置卷積上采樣拼接模塊和WCAM的有效性，同時證明在MPI靶心圖數據集上，WCAM較CBAM中通道注意力子模塊效果更好。
表2
不同模塊對實驗結果貢獻的對比
Table2.
Comparison of the contribution of different modules to experimental results
如圖7所示，第一張為靶心圖原圖，圖中黃色框是易產生錯誤分割的重度稀疏干擾。第二張是專業醫師標注的標簽，其中綠色框對應于原圖黃色框中干擾部分的位置。后面的幾張圖分別是U-Net以及在其基礎上增加不同模塊后網絡的分割結果，圖片下方注明了添加的模塊名稱，圖中的紅色框對應原圖中方框內的干擾所在的位置。從實驗結果可以看出，U-Net的分割結果中紅色框里的面積較大，而增加了多層轉置卷積上采樣拼接模塊的方法中紅框內的面積明顯減小，但是該子圖的圖片下部分將一些重度稀疏干擾分割出來，“多層轉置卷積上采樣拼接模塊 + CBAM”的方法將干擾面積進一步減小，到本文方法成功排除干擾，得到與標簽極為接近的分割結果。
圖7
重度稀疏與缺失程度特征相似存在干擾情況下消融實驗分割效果對比
Figure7.
Comparison of segmentation results of ablation experiments in the presence of interference with severe sparse and missing features
如圖8所示，第一張圖為靶心圖原圖，圖中黃色框中的部分是邊緣細節豐富的區域。第二張是專業醫師標注的標簽，圖中綠色框對應于原圖黃色框中邊緣細節豐富的區域。后面幾張圖同圖7順序相同，圖片下方注明了添加的模塊名稱，圖中紅色框對應于原圖中邊緣細節豐富的位置。從U-Net到增加多層轉置卷積上采樣拼接模塊的方法到增加CBAM，再到本文方法，紅框中分割結果的形狀變化越來越接近標簽，說明后者比前者學習到更多的細節，從只增加多層轉置卷積上采樣拼接模塊分割結果中可以看到方框中已經保留了一些細節，而本文方法對于方框中目標的邊界細節保留最為細致。
圖8
消融實驗對目標邊緣細節特征分割效果對比
Figure8.
Comparison of the segmentation results of the target edge detail feature in the ablation experiment
本小節實驗從客觀和主觀兩方面證明，多層轉置卷積上采樣拼接模塊和WCAM對MPI靶心圖分割的有效性，同時證明WCAM對于細節的提取效果優于CBAM。多層轉置卷積上采樣拼接模塊能有效減少MPI靶心圖中重度稀疏程度的干擾，更好地學習到兩種缺血程度的區別。加入WCAM可進一步甚至排除這種干擾，精確地分割出心臟缺血缺失程度，并且能學習和保留更多邊界細節，達到和標簽最吻合的分割效果。
3 結論
本文基于U-Net提出包含多層轉置卷積上采樣拼接模塊和WCAM的輕量分支結構，并將分支結構的輸出結果與主干U-Net的輸出結果進行融合，成功實現對MPI靶心圖數據集心臟缺血缺失程度部位的精確分割。醫學數據本身稀缺珍貴，文中自建MPI靶心圖數據集經三位經驗豐富的影像醫師標注，實驗具有實際臨床意義，滿足醫學診斷需求。大量實驗證明，本文方法較現有基于U-Net的分割方法更為出色。此外，本文方法可用于進一步精確計算缺失程度的缺血部位面積占比，從而更為精確地給出輔助診斷意見及治療方案。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
引言
心臟作為人體的重要器官，以泵血的方式向全身供應氧和各種營養物質，并帶走代謝終產物使人體維持正常代謝的功能。據《中國心血管健康與疾病報告2019》公布，心血管疾病死亡率居城鄉居民死亡率首位，且患病率仍處于上升階段[1]，而心血管疾病以冠心病最為常見[2]。大量患有冠心病的患者由于未及時發現病情，錯過最佳治療時機，因此普及對心臟的檢測能盡早對冠心病患者實施干預，延緩病程進展，并降低病情進一步發展帶來的經濟上的損失。
心肌灌注顯像（myocardial perfusion imaging，MPI）是輔助冠心病心肌缺血診斷、危險度分層和治療決策制定的主要無創性影像學技術之一。該技術彌補了諸如電子計算機斷層掃描（computed tomography，CT）冠狀動脈造影和磁共振成像（magnetic resonance imaging，MRI）等心臟檢查方法的缺陷，并且在冠心病的診斷、分層和預后中發揮重要作用[3]。對于早期且輕度的冠心病患者，在血管造影術之前預先采用MPI方式進行診斷，可以減少侵入式冠狀動脈造影成像對患者身體的影響以及相應的檢查費用，且可以作為制定適當治療計劃的依據[4-6]。MPI成像包括若干張三個軸向的心臟切片圖以及一張靶心圖。經驗豐富的影像專家通常對軸向進行分析后，通過靶心圖對診斷結果進行相互驗證。早期針對MPI圖像的檢測，主要包括定量圖像分析方法、基于案例的推理、基于規則的專家系統和模糊理論集[7-11]。近些年，一些深度學習方法利用MPI的豐富信息，進行血管重建，或聯合臨床定量數據以提高診斷率，并開展與專家視覺評分比較等研究。Rahmani等[12]結合不同的臨床和定量數據，應用人工神經網絡（artificial neural network，ANN）提高了MPI圖像的診斷準確性。Alonso等[13]和Berkaya等[14]基于MPI中三個軸向圖開展疾病的分類以及心源性死亡的預測。上述研究成功將深度學習應用到MPI圖像的分析中，并證明其高效性和有效性，但目前基于深度學習展開的MPI研究存在兩個待解決的問題：① 一些研究利用了MPI軸向圖信息，但并沒有針對靶心圖進行研究，忽略了靶心圖的信息價值；② MPI按半定量分析法中五級評分法分為：正常、輕度稀疏、中度稀疏、重度稀疏、缺失[15]。由于幾種缺血程度互相嵌套無明顯邊界，按程度精確分割存在一定難度，因此目前幾乎沒有較為精確的區分不同缺血程度的研究。
2015年Ronneberger等[16]提出了U 型網絡（U-Net），這促進了語義分割更廣泛地應用于醫學圖像的處理。受其他領域如殘差模塊[17-18]、注意力機制[19-22]、密集連接模塊[23]以及三維（three dimensions，3D）網絡[24]等的啟發，以U-Net為基礎進行改進的網絡也越來越多地應用到各種醫學圖像的處理上。Oktay等[25]提出添加注意力模塊的U-Net （Attention U-Net）用于3D胰腺的分割；Li 等[26]提出混合密集連接U-Net（hybrid densely connected U-Net，H-DenseUNet）分割模型，該特征提取器分別采用層數不同的密集連接模塊來提取特征，實現肝臟和腫瘤的分割；Ibtehaz 等[27]在特征提取器和跳躍連接路徑中引入殘差模塊，進而提出多重殘差U-Net（MultiResUNet），多個公開數據集的實驗結果表明，該模型的分割效果優于U-Net。上述改進的方法大多通過增加特征提取器的層數和網絡的深度來提高分割精度，但同時增加了計算成本，且大多應用于熒光顯微鏡圖像、皮膚病、3D模態圖像中器官的分割以及腫瘤的分割，幾乎沒有開展針對MPI靶心圖處理的研究。
受上述研究的啟發，本文提出一種輕量級語義分割新方法，將其應用在MPI靶心圖的分割上。實現對MPI靶心圖心臟缺血缺失程度部位的精確分割，以便計算缺失程度部位的面積占比，提高冠心病中心肌缺血程度的診斷精度。
1 心肌灌注靶心圖缺血缺失程度分割方法
1.1 MPI靶心圖數據集
本文實驗數據來自患有不同程度冠心病的771位患者，其中天津醫科大學總醫院共235例，天津泰達醫院共167例，天津市第一中心、第三中心醫院分別為142例和227例。該數據庫中符合缺失程度的靶心圖共88張，數量占比較少。然而缺失程度的精確分割能判斷出壞死心肌的部位，分割出來的面積能體現壞死心肌在整個心臟的占比大小，更具有臨床意義并符合實際臨床需求。且，由于缺失程度與重度稀疏程度相互彌散，二者特征相似度較大，因而將其精確分割難度較大。數據集的挑選和標注由三名影像學經驗豐富的醫師完成，且所有患者均簽署知情同意書。本研究經天津醫科大學總醫院倫理委員會審查通過。為保證醫學圖像在現實中有真實對應的形態存在，因而沒有進行任何數據增強等形式的預處理操作，研究采用的單光子發射CT機（Symbia T2 SPECT-CT，SIEMENS, 德國）不存在噪聲、模糊、對比度、亮度不均、幾何形態學畸變等問題。為比較方法本身的分割效果，也沒有對分割結果進行任何的后處理操作。
MPI靶心圖如圖1所示，根據半定量分析法中的五級評分法，心臟缺血程度分為以下5種：深綠色泛黑和全黑色為缺失，綠色及淺綠色為重度稀疏，紫色偏藍為中度稀疏，淺紫色偏橙為輕度稀疏，亮橙色為健康正常供血部位。該圖有兩個特征：① 各種缺血程度部位相互融合、嵌套，邊界不清晰，輪廓界定不明顯，重度稀疏和缺失的特征極為相似難以區分；② 囊括五種缺血程度的部位符合醫學影像中患病部位的特點：分布隨機、形狀不規則且邊緣細節較為豐富。針對以上特點本文提出新的方法，以期實現對MPI靶心圖中心臟缺血缺失程度部位的精確分割。
圖1
包含五種缺血程度的MPI靶心圖
Figure1.
MPI bull-eye with five degrees of ischemia
1.2 整體結構
通常，獲取到標準統一、滿足研究條件的醫學圖像相較于一般工業領域的圖像要更加困難，因而醫學圖像數據集往往較小。而U-Net因其輕量且僅需少量的數據即可達到較高分割精度的特點，廣泛應用于醫學圖像的分割。U-Net的結構主要包括編碼器、解碼器和跳躍連接（skip connection）三部分。給U-Net分割效果帶來最大提升的是skip connection結構，該結構能更充分地利用輸入圖像的信息，使模型快速收斂達到穩定。本文方法以U-Net為骨干，整體結構如圖2所示，其中圈C表示按通道拼接（concatenate）操作，橙紅色的虛線框內為本文設計的分支網絡。U-Net解碼器生成的特征圖與編碼器中對應分辨率的特征圖進行skip connection操作后，再進行上采樣操作。生成的特征圖F1、F2、F3具有不同層次的特征，靠近像素級分類結果的特征圖F3具有較淺層次的特征，U-Net網絡底部的特征圖F1具有較深層次的特征。本文方法的基本思想是設計分支網絡，更充分地利用上述包含不同豐富信息的特征圖，將分支輸出Y1與U-Net的主干輸出X4拼接，并通過一層卷積操作實現分支輸出對主干輸出細節特征的補充和融合，從而達到最佳的分割效果。分支網絡主要包含兩部分：① 對F1、F2、F3進行多層轉置卷積上采樣拼接操作；② 將拼接后的特征圖X1,2,3_c輸入到四通路可加權通道注意力模塊（weighted channels attention module，WCAM），而模塊的輸出作為特征圖X1,2,3_c在通道上的權重與X1,2,3_c加權。
圖2
本文提出方法的整體結構圖
Figure2.
The overall structure of the method presented in this paper
1.3 多層轉置卷積上采樣拼接模塊
Xie等[28]提出的整體嵌套邊緣檢測（holistically-nested edge detection，HED）是邊緣檢測問題中杰出的網絡模型，對于邊緣的檢測和提取準確細致。受HED的啟發，針對上文提到數據集具有待分割部分的輪廓無明顯界定、重度稀疏和缺失的特征相似的特點，本文設計了多層轉置卷積上采樣拼接結構，以保留網絡在不同深度提取到的特征，加大了模型對邊緣信息的敏感性。該結構如圖3所示，將含有不同深淺特征而大小分別為256 × 32 × 32、128 × 64 × 64、64 × 128 × 128的特征圖F1、F2、F3進行卷積核相同但步長和輸出填充不同的轉置卷積操作，上采樣至相同大小的分辨率，輸出大小為1 × 256 × 256的特征圖X1、X2、X3，如式（1）所示:
圖3
多層轉置卷積上采樣拼接模塊
Figure3.
Multi-layer transposed convolution up-sampling concatenate module
|
式中，Cl,m是卷積核，S是步長，K是卷積核大小，P是填充，OP是輸出填充，h、w是特征圖F的寬和高。卷積核大小為3×3，由淺到深采用的步長依次是2、4、8，輸出填充依次是1、1、5，轉置卷積的輸出X1、X2、X3 經concatenate后經加權通道注意力模塊對通道進行加權操作，實現對邊緣信息的最大化提取，對輪廓界定不明顯的目標實現更精確的分割。由于上采樣后將特征圖通道數分別由256、128、64統一調整為1，因此多層轉置卷積上采樣結構僅引入少量參數和計算量，但實驗結果表明該結構的引入使分割精度得到了明顯的提升。
1.4 四通路可加權通道注意力模塊
Woo等[29]提出的卷積注意力模塊（convolutional block attention module，CBAM）是經典的注意力機制模塊，包含空間注意力和通道注意力兩個子模塊，其中通道注意力子模塊將輸入的大小為c × h × w（其中，c為通道數，h為高度，w為寬度）的特征圖F分別送入兩條通路進行處理：① 經全局最大池化操作，輸出大小為c × 1 × 1的Fmp，再經兩層卷積和激活操作生成特征圖Fmp_c；② 經全局平均池化操作，輸出大小為c × 1 × 1的Fap，再經兩層卷積和激活操作生成特征圖Fap_c。最后將Fmp_c、Fap_c逐像素相加，再進行S型生長曲線（sigmoid）處理輸出最后的Y。這樣并行的連接方式比全局平均池化和全局最大池化中任何一種單獨操作丟失的信息更少，效果更好，對于目標的細節信息保留得更完整。受到CBAM中通道注意力子模塊的啟發，本文提出了WCAM，結構如圖4所示。考慮到將輸入特征圖直接全局平均池化和全局最大池化到寬度和高度為1保留下來的細節比較有限，因此本文方法額外增加了兩個通路。將輸入特征圖M進行全局平均池化和全局最大池化操作，生成大小為c×3×3的特征圖 Map3和Mmp3，再分別通過卷積核為3 × 3和1 × 1的卷積層以及修正線性單元(rectified linear unit, ReLU)激活，生成大小為c × 1 × 1的特征圖Map3_c和Mmp3_c，通過增大全局池化層輸出的特征圖尺寸，保留更多信息。核為3 × 3的卷積層也可以在模型學習過程中，對池化后特征圖的每一個像素值以卷積的方式加權。最后將四個通路輸出的特征圖Map1_c、Mmp1_c、Map3_c和Mmp3_c以一定的權重進行加權以達到最精確的分割效果，輸出特征圖Mout如式（2）所示：
圖4
WCAM結構圖
Figure4.
Structure of WCAM
|
式（2）中，AvgPool_n，MaxPool_n分別為將特征圖的大小平均池化，最大池化到n × n的操作，Conv2d_n表示卷積核為n × n的卷積操作，n分別取1和3，后面實驗令α、β = 1.0， γ、δ = 0.5。
2 實驗結果與分析
2.1 客觀評價指標及訓練細節
語義分割的效果主要從兩方面評價：主觀感受的定性評價和指標系數的定量客觀評價。本文采用雅卡爾（Jaccard）系數在客觀角度對分割效果進行評價。
Jaccard系數[30] 是一種集合相似度度量函數，用來比較有限樣本集A，B之間的相似性與差異性，如式（3）所示。Jaccard系數越大，A與B兩集合的相似程度越高。
|
本文實驗采用二值交叉熵損失作為訓練方法的損失函數，利用自適應矩估計（adaptive moment estimation，Adam）算法為訓練過程優化，采用學習率衰減策略，起始為0.005，在50輪（epoch）后每20輪衰減一半，批處理個數為8，圖形處理器（graphics processing unit，GPU）（Tesla P40, NVIDIA Corporation，美國）加速訓練過程，統一計算設備架構（compute unified device architecture，CUDA）版本10.0。
2.2 MPI靶心圖的實驗結果及分析
本節主要介紹本文方法與一些基于U-Net最新的分割方法在自建MPI靶心圖數據集上的訓練和測試結果，并通過Jaccard指標對網絡性能進行客觀評價，通過分析分割結果圖對網絡性能進行主觀評價。由于數據集的規模較小，因而將數據集隨機劃分為十份，采用十折交叉驗證進行試驗。以下實驗均在相同訓練參數和實驗環境下復現，結果如表1所示，本文方法 Jaccard高于U-Net 5.00%，在MPI靶心圖數據集上表現最好，且參數量是表現同樣出色的16層H-DenseUNet（H-DenseUNet-16）的51.6%，與U-Net參數量基本相同。
表1
MPI靶心圖數據集的十折交叉驗證實驗結果和參數量
Table1.
Experimental results and number of parameters of 10-fold cross validation of MPI bull-eye graph dataset
同時，在對分割輸出結果的主觀分析中，本文方法在針對邊緣界定模糊、顏色分布不均勻的目標分割中表現出色。MPI靶心圖分割難點在于精確地判斷出每種患病程度，因此排除相似程度之間的干擾，正確判斷缺失程度并將其精確分割是至關重要的。本文方法較其他方法表現出色的方面體現在兩點：① 通過有限的數據訓練，能成功排除重度稀疏程度與缺失程度相互融合嵌套，對其產生的相似性干擾，較為精確地分割出缺失程度部位；② 對于邊界信息豐富的目標，能保留更多的邊緣細節，分割結果更精確。
如圖5所示，第一張圖是靶心圖原圖，圖中黃色框包含重度稀疏的程度，該部位與缺失程度部位彼此嵌套，很難界定。第二張圖是專業醫師標注的標簽，圖中綠色框與原圖中黃色框對應，將難以界定的分割難點區域標出，后面的圖分別是不同的網絡分割的結果圖，圖片下方注明了對應的網絡名稱。本文方法的結果將上述分割難點區域用紅色的框標出。本文方法應用少量有限的數據對網絡進行訓練，最終將缺失程度精確分割。而其它幾種方法都沒有成功區分出兩種程度的差異，表明本文方法在缺血程度的區分和相似程度抗干擾能力上優于其他三種方法。
圖5
相似程度相互嵌套情況下幾種方法的分割結果
Figure5.
Segmentation results of several methods when the degree of similarity is nested
如圖6所示，圖片的標注和順序同圖5相同，五種方法全部將重度稀疏和缺失兩種程度區分出來，但對分割結果保留的細節各有不同，經過與原圖和標簽的對比可見，本文方法保留的細節更多，分割精度更高， Attention U-Net對于下半部分的分割不太準確，而MultiResUNet、H-DenseUNet-16對于上半部分的分割效果不太準確。
圖6
幾種方法對細節的分割結果
Figure6.
Segmentation results of several methods for details
實驗證明，本文方法針對數據數量有限、目標邊界界定較為模糊、心臟不同缺血程度相互嵌套的數據集，能充分學習更多的邊緣細節特征，并且可以合理區分缺失程度和重度稀疏程度，最終得到相對精確的分割結果，模型參數量小且表現優異。
2.3 消融實驗
為了解本文方法各個部分的貢獻，本小節采用十折交叉驗證法進行消融實驗，并從客觀和主觀分析每個結構的效果。如表2所示，在U-Net的基礎上增加多層轉置卷積上采樣拼接模塊后Jaccard提高了3.5%，增加 WCAM后提高了1.5%，同時比增加CBAM中通道注意力子模塊提高了0.9%。客觀指標充分證明了多層轉置卷積上采樣拼接模塊和WCAM的有效性，同時證明在MPI靶心圖數據集上，WCAM較CBAM中通道注意力子模塊效果更好。
表2
不同模塊對實驗結果貢獻的對比
Table2.
Comparison of the contribution of different modules to experimental results
如圖7所示，第一張為靶心圖原圖，圖中黃色框是易產生錯誤分割的重度稀疏干擾。第二張是專業醫師標注的標簽，其中綠色框對應于原圖黃色框中干擾部分的位置。后面的幾張圖分別是U-Net以及在其基礎上增加不同模塊后網絡的分割結果，圖片下方注明了添加的模塊名稱，圖中的紅色框對應原圖中方框內的干擾所在的位置。從實驗結果可以看出，U-Net的分割結果中紅色框里的面積較大，而增加了多層轉置卷積上采樣拼接模塊的方法中紅框內的面積明顯減小，但是該子圖的圖片下部分將一些重度稀疏干擾分割出來，“多層轉置卷積上采樣拼接模塊 + CBAM”的方法將干擾面積進一步減小，到本文方法成功排除干擾，得到與標簽極為接近的分割結果。
圖7
重度稀疏與缺失程度特征相似存在干擾情況下消融實驗分割效果對比
Figure7.
Comparison of segmentation results of ablation experiments in the presence of interference with severe sparse and missing features
如圖8所示，第一張圖為靶心圖原圖，圖中黃色框中的部分是邊緣細節豐富的區域。第二張是專業醫師標注的標簽，圖中綠色框對應于原圖黃色框中邊緣細節豐富的區域。后面幾張圖同圖7順序相同，圖片下方注明了添加的模塊名稱，圖中紅色框對應于原圖中邊緣細節豐富的位置。從U-Net到增加多層轉置卷積上采樣拼接模塊的方法到增加CBAM，再到本文方法，紅框中分割結果的形狀變化越來越接近標簽，說明后者比前者學習到更多的細節，從只增加多層轉置卷積上采樣拼接模塊分割結果中可以看到方框中已經保留了一些細節，而本文方法對于方框中目標的邊界細節保留最為細致。
圖8
消融實驗對目標邊緣細節特征分割效果對比
Figure8.
Comparison of the segmentation results of the target edge detail feature in the ablation experiment
本小節實驗從客觀和主觀兩方面證明，多層轉置卷積上采樣拼接模塊和WCAM對MPI靶心圖分割的有效性，同時證明WCAM對于細節的提取效果優于CBAM。多層轉置卷積上采樣拼接模塊能有效減少MPI靶心圖中重度稀疏程度的干擾，更好地學習到兩種缺血程度的區別。加入WCAM可進一步甚至排除這種干擾，精確地分割出心臟缺血缺失程度，并且能學習和保留更多邊界細節，達到和標簽最吻合的分割效果。
3 結論
本文基于U-Net提出包含多層轉置卷積上采樣拼接模塊和WCAM的輕量分支結構，并將分支結構的輸出結果與主干U-Net的輸出結果進行融合，成功實現對MPI靶心圖數據集心臟缺血缺失程度部位的精確分割。醫學數據本身稀缺珍貴，文中自建MPI靶心圖數據集經三位經驗豐富的影像醫師標注，實驗具有實際臨床意義，滿足醫學診斷需求。大量實驗證明，本文方法較現有基于U-Net的分割方法更為出色。此外，本文方法可用于進一步精確計算缺失程度的缺血部位面積占比，從而更為精確地給出輔助診斷意見及治療方案。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
