血涂片圖像中白細胞的計數和識別對診斷包括白血病在內的血液疾病起著至關重要的作用。傳統的人工檢測結果容易受到多種因素的干擾，有必要開發白細胞自動分析系統為醫生提供輔助診斷，而血液白細胞分割則是自動分析的基礎。本文改進U-Net模型，提出一種基于雙路徑和空洞空間金字塔池化的血液白細胞分割算法。首先在特征編碼器中引入雙路徑網絡提取圖像中白細胞的多尺度特征，并使用空洞空間金字塔池化模塊強化網絡的特征提取能力，再用卷積和反卷積組成特征解碼器將分割目標恢復到原始圖像大小，實現血液白細胞的像素級分割。最后在三個白細胞數據集上進行定性定量實驗，驗證本文算法的有效性。研究結果表明，提出的血液白細胞分割算法相對于其他典型方法具有更為優秀的分割結果，mIoU值能達到0.97以上，今后或有助于血液疾病的自動輔助診斷。
引用本文： 李佐勇, 盧妍, 曹新容, 邱立達, 秦雪君. 基于雙路徑和空洞空間金字塔池化的血液白細胞分割. 生物醫學工程學雜志, 2022, 39(3): 471-479. doi: 10.7507/1001-5515.202107043 復制
引言
血涂片圖像中白細胞（white blood cell，WBC）的計數和形態等信息是診斷包括白血病、肝炎、獲得性免疫缺陷綜合征等疾病的重要指標。傳統的人工檢驗方式既費時又費力，檢驗的結果依賴醫生的專業程度，且容易受到光照、亮度等環境的影響，因此有必要開發白細胞自動分析系統，幫助醫生進行輔助診斷，而白細胞分割是進行白細胞自動分析的基礎步驟。近年來，隨著計算機技術的發展，白細胞圖像的計算機輔助分割方法相繼被提出。現有的白細胞分割方法通常可以分為無監督的分割方法和有監督的分割方法。
無監督的分割方法主要包括閾值分割[1-2]、聚類分割[3-4]和邊緣檢測分割[5]方法。閾值分割根據圖像目標和背景區域灰度的差異來確定閾值，并使用該閾值將像素分為目標像素和背景像素。但閾值分割通常在高對比度的白細胞細胞核上效果較好，在低對比度的細胞質上效果則較差。聚類分割通過灰度、顏色、紋理形狀等圖像特征進行像素劃分，但該方法難以選取合適的圖像特征，且算法不穩定。邊緣檢測在細胞邊界處運用圖像特征提取目標邊界，將目標與背景分離，但該方法在低對比度的物體邊界上判斷困難，檢測效率較低。
有監督的分割方法將分割問題轉化為分類問題。例如最近鄰分類器（k-nearest neighbor，KNN）[6]和支持向量機（support vector machine，SVM）[7-8]等傳統分類器先提取圖像特征，再對提取的特征進行分類，完成白細胞的有監督分割。KNN通過對不同特征值的直接距離進行分類，但當樣本數量不平衡時，KNN表現不佳，因此在小樣本類上的分類準確性較低。SVM通過構建最佳分割超平面，從而實現圖像像素分類，但其在非線性分類問題上難以達到理想狀態。
傳統的分類器在白細胞數據集上通常無法獲得令人滿意的分割結果。最近，基于卷積神經網絡（convolutional neural network，CNN）的方法已廣泛應用于計算機視覺領域，例如人臉識別[9-10]、目標檢測[11-12]、圖像去噪[13-14]和語義分割[15-16]。Mask R-CNN[17-18]在Faster R-CNN[19]上進行改進，在原有的用于識別的邊界框分支上添加了用于預測的并行分支，可以同時實現目標檢測和圖像分割，但在小規模圖像數據集上無法獲得令人滿意的結果。全卷積網絡（fully convolutional network，FCN）[15]刪除了傳統卷積神經網絡的全連接層，并使用上采樣操作來實現端到端圖像分割，但是其簡單的結構限制了圖像分割的性能。U-Net[16]是基于FCN改進的兼具編碼-解碼結構的網絡，其中，編碼器可實現特征提取，解碼器可以恢復具有原始圖像分辨率的特征圖。U-Net在圖像較小的數據集上效果較好，其編碼-解碼結構能更好地適用于醫學圖像分割方面，但是編碼解碼過程中的下采樣和上采樣操作會使特征圖丟失細節。
為了解決上述問題，本文對U-Net進行改進，首先在網絡的編碼部分引入雙路徑網絡（dual path network，DPN）[20]，充分利用殘差網絡（residual network，ResNet）[21]的特征復用和DenseNet[22]的特征生成能力，更好地提取目標特征；其次使用空洞空間金字塔池化（atrous spatial pyramid pooling，ASPP）[23]提取并分析目標不同尺度的特征；最后在跳躍連接時融合前一層的特征，從而獲取更多的圖像細節，減少圖像恢復時的信息損失。
1 算法描述
U-Net是常用于醫學圖像分割的編碼-解碼結構網絡，主要包括三個部分：編碼器、解碼器和跳躍連接。其中，編碼器用于特征提取，解碼器用于恢復特征圖的大小，跳躍連接融合來自編碼器和解碼器的對應特征。為了更好地提高血涂片圖像中白細胞的分割精度，本文網絡在U-Net的基礎上進行改進，其結構如圖1所示。改進網絡分為三個階段：特征編碼器、特征細化模塊和特征解碼器。左邊部分的特征編碼器是結合了ResNet和DenseNet組成的雙路徑網絡，用以實現白細胞的特征提取。中間部分的特征細化模塊采用ASPP，使用不同的空洞率并行提取特征，進而增強網絡的特征提取能力。右邊部分的特征解碼器是由卷積和反卷積組成的，用來恢復白細胞特征圖大小。網絡的跳躍連接實現了特征編碼器、特征解碼器以及上一層特征的有效融合，可以更好地恢復目標圖像的細節信息。
圖1
本文網絡結構
Figure1.
Architecture of the proposed method
1.1 雙路徑網絡
一般來說，在深度學習中，網絡越深，訓練效果越好。但是隨著網絡的不斷加深，也會出現一些問題，例如梯度消失、梯度爆炸等。這是由于在訓練的時候，隨著網絡層數的增加，反向傳播的特征值不能很好地傳到淺層特征，即淺層特征不能很好地得到訓練。因為訓練的參數和深層特征相關性較大，一段時間后梯度不再變化，就會出現網絡加深、訓練精度卻降低的現象。He等[21]提出的ResNet解決了這個問題。與傳統卷積網絡學習輸入和輸出的映射不同，ResNet主要學習輸入和輸出之間的殘差，相比直接學習特征，殘差學習更為容易。從圖2可以看到，ResNet在輸入輸出之間添加了一條恒等快捷連接，這些恒等快捷連接使得強大的有參數層可以集中精力學習輸入、輸出之間的殘差，在增加網絡深度的同時也可以取得更好的學習效果。
圖2
ResNet塊和DenseNet塊的結構
Figure2.
Architecture of ResNet and DenseNet block
DenseNet借鑒ResNet的思想，在Dense Block中的每層輸入都是來自前面全部層的輸出，而該層所學習的特征圖也是直接傳給下一層。與ResNet相比，DenseNet具有更少的參數，并且可以直接疊加前面層輸出的特征圖實現特征重用，并通過跳躍連接實現跨層連接，將每一層的梯度傳遞給下一層。如此，DenseNet網絡不僅更容易訓練且有一定的正則化效果，同時還可以緩解梯度消失和模型退化問題。
在特征編碼器中采用了雙路徑網絡，結構如圖3所示。雙路徑網絡有兩條分支路徑：ResNet路徑（紫色塊）和DenseNet路徑（綠色塊），將兩個不同路徑上的結果組合起來，使其成為下一個節點的輸入。ResNet直接把前面層的輸出傳給下一層，實現特征重用，但ResNet不善于探索新特性。DenseNet每一層的輸入都是來自前面的層，可以從前面的層提取新的特征，但有著較高的冗余。雙路徑網絡結合兩者的優點，能更有效地利用這些特性，實現特征重用和新特征的探索。
圖3
DPN的結構
Figure3.
Architecture of DPN
1.2 空洞空間金字塔池化
在深度學習中，通常用卷積來進行特征提取。而當使用的卷積過多時，容易導致參數過多、權重優化較難等。在和卷積有著同樣的參數時，空洞卷積有著更大的感受野。空洞卷積主要是在標準的卷積圖上注入空洞，增大了感受野且使每個卷積輸出都包含更多的信息。圖4顯示了不同空洞率的空洞卷積。圖4a是3 × 3的空洞卷積且空洞率為1，它和標準的3 × 3卷積操作是一樣的；圖4b實際的卷積核也是3 × 3的，但是它的空洞率為2，因此相當于感受野已經增大到了和7 × 7的卷積一樣；圖4c實際的卷積核也是3 × 3的，但是它的空洞率為4，相當于感受野已經增大到了15 × 15；從上面可以看出，空洞卷積增大了感受野且使每個卷積輸出都包含更多的信息。
圖4
不同空洞率的空洞卷積
a. 空洞率為1；b. 空洞率為2；c. 空洞率為4
Figure4. Dilated convolutions with different dilated ratesa. rate=1; b. rate=2; c. rate=4
空洞空間金字塔池化模塊將使用不同空洞率的空洞卷積并行地進行采樣，如圖5所示，空洞金字塔首先將圖像輸入到一個1 × 1卷積、池化金字塔（三個3 × 3空洞卷積）和空洞池化層（池化、1 × 1卷積、上采樣操作），之后分別將對應得到的結果拼接起來。池化金字塔中，三個空洞卷積設置的空洞率分別為6、12、18，通過設置不同的空洞率，獲取不同的感受野，從而進行多尺度特征提取。空洞池化層中池化操作先將特征圖壓縮至1×1以提取全局特征，使用1 × 1卷積進一步提取特征，上采樣操作將特征圖恢復為原圖大小。在編碼解碼結構的中間部分加上空洞空間金字塔池化模塊，以進一步強化特征的提取。
圖5
空洞空間金字塔池化
Figure5.
Atrous spatial pyramid pooling
2 實驗結果與分析
為了驗證算法的性能，將本文提出的算法和五種經典算法包括SVM[8]、FCN[15]、U-Net[16]、TernausNet[24]和WBC-Net[25]等，在三個具有不同特點的數據集上進行定性和定量分析。同時，通過不同模塊的消融實驗，對比證明本文算法的優良性能。
2.1 數據集
實驗使用了三個白細胞圖像數據集。數據集1[8]由江西特康科技公司收集，其中包含300張單獨的白細胞圖像（176張嗜中性粒細胞圖像、22張嗜酸性粒細胞圖像、1張嗜堿性粒細胞圖像、48張單核細胞圖像和53張淋巴細胞圖像），尺寸為120 × 120。數據集2[8]來源于CellVision，包含100張單獨的白細胞圖像（30張嗜中性粒細胞圖像、12張嗜酸性粒細胞圖像、3張嗜堿性粒細胞圖像、18張單核細胞圖像和37張淋巴細胞圖像），尺寸為300 × 300。數據集3是從福建省第三人民醫院收集的，包含231張白細胞圖像（49張嗜中性粒細胞圖像、49張嗜酸性粒細胞圖像、44張嗜堿性粒細胞圖像、43張單核細胞圖像和46張淋巴細胞圖像），尺寸為2 048 × 536。我們對三個數據集分別進行了水平旋轉、縮放和平移等數據增強操作，將每個數據集的圖片擴充到2 500張。然后，隨機抽取每個數據集中80%的圖像構建訓練集，剩余20%的圖像作為算法性能的測試集數據。
數據集1中的圖像是在快速染色條件下獲取的，有白色和黃色兩種不同的背景顏色，并且與細胞質顏色相近，因此，在白細胞分割的同時還需要分辨細胞質和背景，成為細胞分割的難點之一。數據集2是標準染色條件下獲取的，但是其中大多數的白細胞與紅細胞發生了粘連，因此，如何正確分割粘連的紅細胞與白細胞是數據集2的主要難題。數據集3是在標準染色條件下獲取的，其中白細胞的區域占整個圖片的比例較少，分割難度更大。
2.2 評價指標
為了定量評估不同算法獲得的白細胞分割結果，本文主要使用以下幾種評價指標：精度（precision）[26]、Dice系數[27]、平均交并比（mean intersection over union，mIoU）[28]、錯分類誤差（misclassification error，ME）[29]、假正率（false positive rate，FPR）[30]以及假負率（false negative rate，FNR）[25]。這些測度的定義為：
 |
 |
 |
 |
 |
 |
其中，Pf和Pb分別表示預測的分割結果中的目標和背景，Gf和Gb分別表示手動分割結果中的目標和背景。測度的取值范圍為0～1。Precision、Dice和mIoU的值越高，表示分割精度越高；ME、FPR和FNR的值越小，表示分割精度越高。
2.3 定量分析
表1分別列出了各種算法在三個圖像數據集六種測度的平均值，其中最優值用加粗標出。從表1可以看出，在數據集1和數據集2中（即背景差異較大的數據集和紅白細胞粘連數據集中），本文算法的Precision、Dice和mIoU值最高而Me和FPR值最低。在數據集3中（即在背景與目標像素不均衡的數據集中），本文算法的Dice和mIoU值最高而ME、FPR和FNR值最低。總的來說本文算法在三個數據集上均具有最佳的分割性能。傳統的SVM算法在數據集1和數據集3的分割結果較差，在數據集2上的分割結果位列第三。U-Net算法在數據集1上取得了次優的結果。TernausNet在數據集2和數據集3上的分割結果位列第三。WBC-Net則在三個數據集上均有較好的性能，但略弱于本文算法。相比其他深度學習算法，FCN算法則在三個數據集上的結果較差。由于數據集3的白細胞區域占整個圖片的比例較少，分割難度相較前兩個數據集更大，所以各種算法都表現出相對于數據集1和數據集2更差的分割結果。
表1
三個數據集上不同算法的定量比較
Table1.
Quantitative comparison of different algorithms on three datasets
為了驗證本文提出的算法模型的性能指標，進行了消融實驗。分別缺失DPN、ResNet、DenseNet和ASPP等模塊測試算法性能，結果如表2所示。消融實驗結果表明，本文算法建立的網絡模型能獲得更優的性能指標。
表2
三個數據集上的消融實驗
Table2.
Ablation experiments on three datasets
2.4 定性分析
應用本文提出的分割算法和其他五種經典算法從三個數據集中各自隨機選取四張圖像分別完成白細胞分割，結果如圖6～8所示。對于不同數據集的圖像，各種算法表現出不同的分割效果，在定性分析中將目標白細胞分割為背景稱為欠分割，將背景分割為白細胞目標則稱為過分割。從圖6可以看出，對數據集1的細胞分割，SVM存在明顯的過分割和欠分割現象，FCN、U-Net、TernausNet和WBC-Net則存在欠分割現象。而對于數據集2，SVM、FCN和U-Net都存在欠分割和過分割的現象，TernausNet和WBC-Net則主要存在過分割現象，如圖7所示。從圖8可以看出，SVM、U-Net、TernausNet和WBC-Net對數據集3的分割結果都存在過分割和欠分割現象，而FCN存在過分割現象。
圖6
不同方法在數據集1上的分割結果
Figure6.
Segmentation results of different methods on dataset 1
圖7
不同方法在數據集2上的分割結果
Figure7.
Segmentation results of different methods on dataset 2
圖8
不同方法在數據集3上的分割結果
Figure8.
Segmentation results of different methods on dataset 3
本文選擇的3個數據集充分體現了醫學圖像存在的目標與背景的區分程度弱、像素分布不均衡、隨機性強等特點。通過3個數據集圖像分割結果的直觀對比，可以看出本文算法能滿足醫學圖像的需求，在應用中可以獲得更好的分割效果，該研究成果有助于血液疾病的輔助診斷。
3 總結與展望
本文在U-Net的基礎上，提出了一種基于雙路徑網絡和空洞金字塔的白細胞圖像分割網絡。具體來說，首先該網絡的編碼器使用雙路徑網絡來提取多尺度圖像特征。其次引入空洞金字塔使用不同的空洞率并行地提取白細胞特征。最后，通過解碼器重構白細胞分割特征圖，并利用跳躍連接融合編碼器和解碼器對應特征以及編碼器前一層特征。定量和定性的實驗結果均表明本文提出的算法相較其他模型，擁有更高的分割精度。
但是，由于編碼解碼操作使得數據存在一些細節的損失，后續需對損失的邊緣進行優化處理，以獲得更高的實驗精度。同時，仍需收集更多的白細胞圖像數據，對白細胞的自動定位和分類等進行深入研究。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：李佐勇負責方法設計與論文寫作，盧妍負責實驗設計與數據解釋，曹新容負責數據分析與寫作編輯，邱立達負責數據分析，秦雪君負責數據收集整理。
引言
血涂片圖像中白細胞（white blood cell，WBC）的計數和形態等信息是診斷包括白血病、肝炎、獲得性免疫缺陷綜合征等疾病的重要指標。傳統的人工檢驗方式既費時又費力，檢驗的結果依賴醫生的專業程度，且容易受到光照、亮度等環境的影響，因此有必要開發白細胞自動分析系統，幫助醫生進行輔助診斷，而白細胞分割是進行白細胞自動分析的基礎步驟。近年來，隨著計算機技術的發展，白細胞圖像的計算機輔助分割方法相繼被提出。現有的白細胞分割方法通常可以分為無監督的分割方法和有監督的分割方法。
無監督的分割方法主要包括閾值分割[1-2]、聚類分割[3-4]和邊緣檢測分割[5]方法。閾值分割根據圖像目標和背景區域灰度的差異來確定閾值，并使用該閾值將像素分為目標像素和背景像素。但閾值分割通常在高對比度的白細胞細胞核上效果較好，在低對比度的細胞質上效果則較差。聚類分割通過灰度、顏色、紋理形狀等圖像特征進行像素劃分，但該方法難以選取合適的圖像特征，且算法不穩定。邊緣檢測在細胞邊界處運用圖像特征提取目標邊界，將目標與背景分離，但該方法在低對比度的物體邊界上判斷困難，檢測效率較低。
有監督的分割方法將分割問題轉化為分類問題。例如最近鄰分類器（k-nearest neighbor，KNN）[6]和支持向量機（support vector machine，SVM）[7-8]等傳統分類器先提取圖像特征，再對提取的特征進行分類，完成白細胞的有監督分割。KNN通過對不同特征值的直接距離進行分類，但當樣本數量不平衡時，KNN表現不佳，因此在小樣本類上的分類準確性較低。SVM通過構建最佳分割超平面，從而實現圖像像素分類，但其在非線性分類問題上難以達到理想狀態。
傳統的分類器在白細胞數據集上通常無法獲得令人滿意的分割結果。最近，基于卷積神經網絡（convolutional neural network，CNN）的方法已廣泛應用于計算機視覺領域，例如人臉識別[9-10]、目標檢測[11-12]、圖像去噪[13-14]和語義分割[15-16]。Mask R-CNN[17-18]在Faster R-CNN[19]上進行改進，在原有的用于識別的邊界框分支上添加了用于預測的并行分支，可以同時實現目標檢測和圖像分割，但在小規模圖像數據集上無法獲得令人滿意的結果。全卷積網絡（fully convolutional network，FCN）[15]刪除了傳統卷積神經網絡的全連接層，并使用上采樣操作來實現端到端圖像分割，但是其簡單的結構限制了圖像分割的性能。U-Net[16]是基于FCN改進的兼具編碼-解碼結構的網絡，其中，編碼器可實現特征提取，解碼器可以恢復具有原始圖像分辨率的特征圖。U-Net在圖像較小的數據集上效果較好，其編碼-解碼結構能更好地適用于醫學圖像分割方面，但是編碼解碼過程中的下采樣和上采樣操作會使特征圖丟失細節。
為了解決上述問題，本文對U-Net進行改進，首先在網絡的編碼部分引入雙路徑網絡（dual path network，DPN）[20]，充分利用殘差網絡（residual network，ResNet）[21]的特征復用和DenseNet[22]的特征生成能力，更好地提取目標特征；其次使用空洞空間金字塔池化（atrous spatial pyramid pooling，ASPP）[23]提取并分析目標不同尺度的特征；最后在跳躍連接時融合前一層的特征，從而獲取更多的圖像細節，減少圖像恢復時的信息損失。
1 算法描述
U-Net是常用于醫學圖像分割的編碼-解碼結構網絡，主要包括三個部分：編碼器、解碼器和跳躍連接。其中，編碼器用于特征提取，解碼器用于恢復特征圖的大小，跳躍連接融合來自編碼器和解碼器的對應特征。為了更好地提高血涂片圖像中白細胞的分割精度，本文網絡在U-Net的基礎上進行改進，其結構如圖1所示。改進網絡分為三個階段：特征編碼器、特征細化模塊和特征解碼器。左邊部分的特征編碼器是結合了ResNet和DenseNet組成的雙路徑網絡，用以實現白細胞的特征提取。中間部分的特征細化模塊采用ASPP，使用不同的空洞率并行提取特征，進而增強網絡的特征提取能力。右邊部分的特征解碼器是由卷積和反卷積組成的，用來恢復白細胞特征圖大小。網絡的跳躍連接實現了特征編碼器、特征解碼器以及上一層特征的有效融合，可以更好地恢復目標圖像的細節信息。
圖1
本文網絡結構
Figure1.
Architecture of the proposed method
1.1 雙路徑網絡
一般來說，在深度學習中，網絡越深，訓練效果越好。但是隨著網絡的不斷加深，也會出現一些問題，例如梯度消失、梯度爆炸等。這是由于在訓練的時候，隨著網絡層數的增加，反向傳播的特征值不能很好地傳到淺層特征，即淺層特征不能很好地得到訓練。因為訓練的參數和深層特征相關性較大，一段時間后梯度不再變化，就會出現網絡加深、訓練精度卻降低的現象。He等[21]提出的ResNet解決了這個問題。與傳統卷積網絡學習輸入和輸出的映射不同，ResNet主要學習輸入和輸出之間的殘差，相比直接學習特征，殘差學習更為容易。從圖2可以看到，ResNet在輸入輸出之間添加了一條恒等快捷連接，這些恒等快捷連接使得強大的有參數層可以集中精力學習輸入、輸出之間的殘差，在增加網絡深度的同時也可以取得更好的學習效果。
圖2
ResNet塊和DenseNet塊的結構
Figure2.
Architecture of ResNet and DenseNet block
DenseNet借鑒ResNet的思想，在Dense Block中的每層輸入都是來自前面全部層的輸出，而該層所學習的特征圖也是直接傳給下一層。與ResNet相比，DenseNet具有更少的參數，并且可以直接疊加前面層輸出的特征圖實現特征重用，并通過跳躍連接實現跨層連接，將每一層的梯度傳遞給下一層。如此，DenseNet網絡不僅更容易訓練且有一定的正則化效果，同時還可以緩解梯度消失和模型退化問題。
在特征編碼器中采用了雙路徑網絡，結構如圖3所示。雙路徑網絡有兩條分支路徑：ResNet路徑（紫色塊）和DenseNet路徑（綠色塊），將兩個不同路徑上的結果組合起來，使其成為下一個節點的輸入。ResNet直接把前面層的輸出傳給下一層，實現特征重用，但ResNet不善于探索新特性。DenseNet每一層的輸入都是來自前面的層，可以從前面的層提取新的特征，但有著較高的冗余。雙路徑網絡結合兩者的優點，能更有效地利用這些特性，實現特征重用和新特征的探索。
圖3
DPN的結構
Figure3.
Architecture of DPN
1.2 空洞空間金字塔池化
在深度學習中，通常用卷積來進行特征提取。而當使用的卷積過多時，容易導致參數過多、權重優化較難等。在和卷積有著同樣的參數時，空洞卷積有著更大的感受野。空洞卷積主要是在標準的卷積圖上注入空洞，增大了感受野且使每個卷積輸出都包含更多的信息。圖4顯示了不同空洞率的空洞卷積。圖4a是3 × 3的空洞卷積且空洞率為1，它和標準的3 × 3卷積操作是一樣的；圖4b實際的卷積核也是3 × 3的，但是它的空洞率為2，因此相當于感受野已經增大到了和7 × 7的卷積一樣；圖4c實際的卷積核也是3 × 3的，但是它的空洞率為4，相當于感受野已經增大到了15 × 15；從上面可以看出，空洞卷積增大了感受野且使每個卷積輸出都包含更多的信息。
圖4
不同空洞率的空洞卷積
a. 空洞率為1；b. 空洞率為2；c. 空洞率為4
Figure4. Dilated convolutions with different dilated ratesa. rate=1; b. rate=2; c. rate=4
空洞空間金字塔池化模塊將使用不同空洞率的空洞卷積并行地進行采樣，如圖5所示，空洞金字塔首先將圖像輸入到一個1 × 1卷積、池化金字塔（三個3 × 3空洞卷積）和空洞池化層（池化、1 × 1卷積、上采樣操作），之后分別將對應得到的結果拼接起來。池化金字塔中，三個空洞卷積設置的空洞率分別為6、12、18，通過設置不同的空洞率，獲取不同的感受野，從而進行多尺度特征提取。空洞池化層中池化操作先將特征圖壓縮至1×1以提取全局特征，使用1 × 1卷積進一步提取特征，上采樣操作將特征圖恢復為原圖大小。在編碼解碼結構的中間部分加上空洞空間金字塔池化模塊，以進一步強化特征的提取。
圖5
空洞空間金字塔池化
Figure5.
Atrous spatial pyramid pooling
2 實驗結果與分析
為了驗證算法的性能，將本文提出的算法和五種經典算法包括SVM[8]、FCN[15]、U-Net[16]、TernausNet[24]和WBC-Net[25]等，在三個具有不同特點的數據集上進行定性和定量分析。同時，通過不同模塊的消融實驗，對比證明本文算法的優良性能。
2.1 數據集
實驗使用了三個白細胞圖像數據集。數據集1[8]由江西特康科技公司收集，其中包含300張單獨的白細胞圖像（176張嗜中性粒細胞圖像、22張嗜酸性粒細胞圖像、1張嗜堿性粒細胞圖像、48張單核細胞圖像和53張淋巴細胞圖像），尺寸為120 × 120。數據集2[8]來源于CellVision，包含100張單獨的白細胞圖像（30張嗜中性粒細胞圖像、12張嗜酸性粒細胞圖像、3張嗜堿性粒細胞圖像、18張單核細胞圖像和37張淋巴細胞圖像），尺寸為300 × 300。數據集3是從福建省第三人民醫院收集的，包含231張白細胞圖像（49張嗜中性粒細胞圖像、49張嗜酸性粒細胞圖像、44張嗜堿性粒細胞圖像、43張單核細胞圖像和46張淋巴細胞圖像），尺寸為2 048 × 536。我們對三個數據集分別進行了水平旋轉、縮放和平移等數據增強操作，將每個數據集的圖片擴充到2 500張。然后，隨機抽取每個數據集中80%的圖像構建訓練集，剩余20%的圖像作為算法性能的測試集數據。
數據集1中的圖像是在快速染色條件下獲取的，有白色和黃色兩種不同的背景顏色，并且與細胞質顏色相近，因此，在白細胞分割的同時還需要分辨細胞質和背景，成為細胞分割的難點之一。數據集2是標準染色條件下獲取的，但是其中大多數的白細胞與紅細胞發生了粘連，因此，如何正確分割粘連的紅細胞與白細胞是數據集2的主要難題。數據集3是在標準染色條件下獲取的，其中白細胞的區域占整個圖片的比例較少，分割難度更大。
2.2 評價指標
為了定量評估不同算法獲得的白細胞分割結果，本文主要使用以下幾種評價指標：精度（precision）[26]、Dice系數[27]、平均交并比（mean intersection over union，mIoU）[28]、錯分類誤差（misclassification error，ME）[29]、假正率（false positive rate，FPR）[30]以及假負率（false negative rate，FNR）[25]。這些測度的定義為：
|
|
|
|
|
|
其中，Pf和Pb分別表示預測的分割結果中的目標和背景，Gf和Gb分別表示手動分割結果中的目標和背景。測度的取值范圍為0～1。Precision、Dice和mIoU的值越高，表示分割精度越高；ME、FPR和FNR的值越小，表示分割精度越高。
2.3 定量分析
表1分別列出了各種算法在三個圖像數據集六種測度的平均值，其中最優值用加粗標出。從表1可以看出，在數據集1和數據集2中（即背景差異較大的數據集和紅白細胞粘連數據集中），本文算法的Precision、Dice和mIoU值最高而Me和FPR值最低。在數據集3中（即在背景與目標像素不均衡的數據集中），本文算法的Dice和mIoU值最高而ME、FPR和FNR值最低。總的來說本文算法在三個數據集上均具有最佳的分割性能。傳統的SVM算法在數據集1和數據集3的分割結果較差，在數據集2上的分割結果位列第三。U-Net算法在數據集1上取得了次優的結果。TernausNet在數據集2和數據集3上的分割結果位列第三。WBC-Net則在三個數據集上均有較好的性能，但略弱于本文算法。相比其他深度學習算法，FCN算法則在三個數據集上的結果較差。由于數據集3的白細胞區域占整個圖片的比例較少，分割難度相較前兩個數據集更大，所以各種算法都表現出相對于數據集1和數據集2更差的分割結果。
表1
三個數據集上不同算法的定量比較
Table1.
Quantitative comparison of different algorithms on three datasets
為了驗證本文提出的算法模型的性能指標，進行了消融實驗。分別缺失DPN、ResNet、DenseNet和ASPP等模塊測試算法性能，結果如表2所示。消融實驗結果表明，本文算法建立的網絡模型能獲得更優的性能指標。
表2
三個數據集上的消融實驗
Table2.
Ablation experiments on three datasets
2.4 定性分析
應用本文提出的分割算法和其他五種經典算法從三個數據集中各自隨機選取四張圖像分別完成白細胞分割，結果如圖6～8所示。對于不同數據集的圖像，各種算法表現出不同的分割效果，在定性分析中將目標白細胞分割為背景稱為欠分割，將背景分割為白細胞目標則稱為過分割。從圖6可以看出，對數據集1的細胞分割，SVM存在明顯的過分割和欠分割現象，FCN、U-Net、TernausNet和WBC-Net則存在欠分割現象。而對于數據集2，SVM、FCN和U-Net都存在欠分割和過分割的現象，TernausNet和WBC-Net則主要存在過分割現象，如圖7所示。從圖8可以看出，SVM、U-Net、TernausNet和WBC-Net對數據集3的分割結果都存在過分割和欠分割現象，而FCN存在過分割現象。
圖6
不同方法在數據集1上的分割結果
Figure6.
Segmentation results of different methods on dataset 1
圖7
不同方法在數據集2上的分割結果
Figure7.
Segmentation results of different methods on dataset 2
圖8
不同方法在數據集3上的分割結果
Figure8.
Segmentation results of different methods on dataset 3
本文選擇的3個數據集充分體現了醫學圖像存在的目標與背景的區分程度弱、像素分布不均衡、隨機性強等特點。通過3個數據集圖像分割結果的直觀對比，可以看出本文算法能滿足醫學圖像的需求，在應用中可以獲得更好的分割效果，該研究成果有助于血液疾病的輔助診斷。
3 總結與展望
本文在U-Net的基礎上，提出了一種基于雙路徑網絡和空洞金字塔的白細胞圖像分割網絡。具體來說，首先該網絡的編碼器使用雙路徑網絡來提取多尺度圖像特征。其次引入空洞金字塔使用不同的空洞率并行地提取白細胞特征。最后，通過解碼器重構白細胞分割特征圖，并利用跳躍連接融合編碼器和解碼器對應特征以及編碼器前一層特征。定量和定性的實驗結果均表明本文提出的算法相較其他模型，擁有更高的分割精度。
但是，由于編碼解碼操作使得數據存在一些細節的損失，后續需對損失的邊緣進行優化處理，以獲得更高的實驗精度。同時，仍需收集更多的白細胞圖像數據，對白細胞的自動定位和分類等進行深入研究。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：李佐勇負責方法設計與論文寫作，盧妍負責實驗設計與數據解釋，曹新容負責數據分析與寫作編輯，邱立達負責數據分析，秦雪君負責數據收集整理。
