肺結節是早期肺癌的主要表現形式，準確檢測肺結節對肺癌的早期診斷和治療具有重要意義。然而，由于肺部計算機斷層掃描（CT）圖像背景復雜、檢測范圍大，且肺結節大小不一、形態各異，所以快速準確檢測肺結節是一項極具挑戰的工作。為此，本文提出了一種融合多尺度特征的肺結節自動檢測算法，實現了肺結節的準確檢測。首先，在用于大規模圖像識別的深度卷積網絡（VGG16）上設計了具有三層模塊結構的肺結節檢測模型，利用網絡第一層模塊提取 CT 圖像中肺結節特征并粗略地估計肺結節位置；然后利用網絡第二層模塊融合多尺度的圖像特征信息進一步增強肺結節細節特征；而網絡第三層模塊融合分析第一層和第二層模塊的特征，得到多尺度下肺結節候選框；最后利用非極大值抑制方法對多尺度下肺結節候選框進行概率分析，得到最終的肺結節位置。本文應用肺部影像數據庫聯盟（LIDC）公共數據集上的肺結節數據對所提算法進行了驗證，平均檢測精度達到 90.9%。本研究成果可應用于肺結節自動篩查系統，有助于提升肺結節篩查精度。
引用本文： 劉秀玲, 戚帥帥, 熊鵬, 劉京, 王洪瑞, 楊建利. 融合多尺度信息的肺結節自動檢測算法. 生物醫學工程學雜志, 2020, 37(3): 434-441. doi: 10.7507/1001-5515.201910047 復制
引言
據統計，肺癌已經成為我國發病率和死亡率最高的惡性腫瘤[1]，其五年存活率大概為 14%[2]。肺結節是肺癌早期的臨床表現，肺結節的精確檢測對肺癌的精確診斷和治療具有十分重要的作用，準確檢測肺結節能大大提高肺癌患者的存活率。目前，計算機斷層掃描（computed tomography，CT）技術已經成為臨床診斷肺癌的有效方式，但由于肺結節形態多樣、體積大小不一、位置分布不確定且容易與其他組織或器官粘連等特點，使準確檢測肺結節變得十分困難。針對這一問題的研究早已展開，Jacobs 等[3]提出了一種計算機輔助 CT 圖像中亞實性結節的檢測系統，考慮到上下文特征，引入了一組新穎的背景信息，包括候選結節與肺邊界、氣道、血管和其他結節候選物的關系等，這些特征大大提高了系統的檢測性能。Santos 等[4]開發一種用于自動檢測肺小結節的肺結節檢測方法，使用高斯混合模型對肺內的結構進行分割，并使用香農和茨薩里斯的變化熵作為紋理描述符來區分結節和非結節。Fan 等[5]提出了一種改進的利用區域建議網絡實現實時目標檢測的（towards real-time object detection with region proposal networks，Faster R-CNN）肺結節檢測算法，在大規模圖像識別的深度卷積網絡（very deep convolutional networks for large-scale image recognition，VGG16）[6]的最后一層加入一層反卷積，以恢復第 5 層卷積的分辨率來提高肺結節的檢測精度，最后檢測精度為 90.3%。葛治文[7]采用特征金字塔網的 Faster R-CNN 用于肺結節檢測，檢測精度達到 89.5%。Pezeshk 等[8]訓練了一個三維的全卷積神經網絡用于肺結節的檢測，訓練集包含結節的陽性樣本和不含結節的陰性樣本組成，靈敏度為 80%。Xie 等[9]用兩個區域建議網絡（region proposal networks，RPN）和一個反卷積層來調整 Faster R-CNN 結構，以檢測候選結節，并取三種不同層次的肺部 CT 切片圖像為三種模型進行訓練，然后對結果進行融合。最后，設計了一種基于二維卷積神經網絡的假陽性減少結構，使結節檢測的靈敏度達到了 86.42%。以上研究算法雖然在肺結節檢測上取得了很好的效果，但是在微小結節檢測上效果并不理想。
本文設計了具有三層模塊結構的肺結節檢測網絡，通過融合多尺度的肺結節特征，將低層細節信息引入到高層特征中進行融合分析，最后在保證肺結節檢測精度的前提下實現了對微小肺結節的精確檢測，該項研究成果將有助于提升肺結節篩查系統中微小結節的檢測精度。
1 肺結節自動檢測算法實現
本文提出的融合多尺度信息的肺結節自動檢測網絡結構如圖1 所示。首先在 VGG16 網絡結構（包含 5 個卷積層：Conv1～Conv5；2 個全連接層）基礎上，將尾部的兩個全連接層 fc6 和 fc7 替換成卷積層 Conv_fc，并在 Conv_fc 后增加 Conv6 卷積層，并設計后 5 層為檢測層的第一模塊層；然后檢測層的第二模塊層通過反卷積（Deconv）生成不同尺度下的高分辨率特征圖；而檢測層的第三模塊層融合了不同尺度下的特征圖信息，得到不同尺度下的肺結節候選區域；最后通過非極大值抑制算法[10]對這些候選區域的置信度進行排序，產生最終的肺結節區域檢測結果。
圖1
肺結節自動檢測算法實現框圖
Figure1.
Block diagram of the realization of pulmonary nodules automatic detection algorithm
1.1 肺結節檢測網絡結構設計
檢測層網絡結構是本文算法的核心，依次由錨框優化模塊、傳輸連接模塊、目標檢測模塊三層網絡模塊構成，其組成結構如圖2 所示，Conv3、Conv4、Conv5、Conv_fc、Conv6 表示卷積得到的特征圖，其對應的 CONV3、CONV4、CONV5、CONV_FC、CONV6 表示融合不同尺度后的特征圖。
圖2
檢測層網絡結構
Figure2.
Network structure of detection layers
檢測層錨框優化模塊以 VGG16 前兩層卷積網絡提取的肺結節特征圖作為輸入，特征圖經過該模塊后會輸出不同大小的特征圖，能夠對錨框正負樣本進行分類并粗略地預估出肺結節的位置和概率得分，并濾除掉大量的簡單負樣本，有利于減少分類器的搜索空間，并且粗略地調整保留下來的錨框的位置和大小，提供更好的回歸初始值。
檢測層傳輸連接模塊主要傳輸錨框優化模塊中的特征，將目標檢測模塊產生的高層次特征圖通過反卷積操作使之與錨框優化模塊產生的低層次特征圖尺寸相同，然后以像素點為單位對它們進行疊加融合，得到融合后的特征圖。如圖3 所示以目標檢測模塊的高層特征圖 CONV6 和錨框優化模塊的低層特征圖 Conv_fc 融合為例（其它層融合與此相同）。首先在 Conv_fc 卷積過程中，卷積核大小為 3 × 3，步長為 1，通道數設為 256；因為不同層的特征圖尺寸不同，所以 CONV6 要經過反卷積過程，使其與 Conv_fc 的特征圖尺寸相同，其中反卷積核大小設為 4 × 4，步長為 2，通道數為 256；然后按像素點進行融合，再依次經過激活層（線性整流函數）、卷積層（卷積核大小為 3 × 3，步長為 1，通道數為 256）、激活層（線性整流函數）得到融合特征圖 CONV_FC。
圖3
高層特征圖 CONV6 與低層特征圖 Conv_fc 的融合過程
Figure3.
Fusion process of high-level feature map CONV6 and low-level feature map Conv_fc
目標檢測模塊基于錨框優化模塊以及傳輸連接模塊得到融合特征，通過精確回歸準確地分出肺結節，并預測出肺結節的錨框位置和概率得分，從而得到不同尺度下的肺結節候選框區域。在候選區域計算中，對融合特征圖進行兩組 3 × 3 的卷積變換，其中一組輸出每個候選框的位置（X, Y, W, H），其中 X、Y 是指默認候選框相對于真實標簽框的中心坐標位置的偏移，W、H 分別表示默認候選框的寬和高。另一組卷積核輸出每個候選框檢測到的肺結節的概率。
檢測層通過多尺度下特征的融合建立了不同層之間的聯系，使網絡中的特征圖融合了不同大小、不同細節信息、不同語義信息的特征，提高了網絡對不同大小肺結節的檢測能力，從而提高了肺結節檢測精度，本文算法設置的網絡結構參數如表1 所示。
表1
檢測層網絡結構參數設置
Table1.
Setting of network structure parameters in detection layers
1.2 網絡訓練與優化
肺結節檢測網絡采用端到端的訓練方式，通過卷積操作得到肺結節的候選框，并計算候選框和肺結節真實標簽框之間的重合度。重合度采用杰卡德相似系數來衡量，其計算公式如式（1）所示。
 |
其中 A 表示肺結節真實標簽框，B 表示肺結節候選框，A 和 B 的交集在 A、B 的并集中所占的比例稱為 A 和 B 的杰卡德相似系數，用符號 J(A, B) 表示。
在候選框和真實標簽框匹配中，杰卡德相似系數高于 0.5 的認為該候選框為正確檢測框，將其標記為正樣本。而杰卡德相似系數低于 0.5 的認為該候選框為錯誤檢測框，標記為負樣本。這樣得到的負樣本數遠遠大于正樣本數，致使訓練時正負樣本嚴重不平衡。為了解決該問題，在網絡訓練中引入了困難樣本挖掘方法，保留一些具有最高置信度的負樣本，使負正樣本之間的比例小于 3∶1。
為了得到最優的網絡訓練結果，本文采用梯度下降方式優化網絡。網絡的學習率初始值設為 0.000 1，每迭代 50 000 次，學習率下降 10 倍。動量參數設為 0.9，批次大小為 6。
2 實驗結果分析與討論
2.1 數據來源
本文選用的數據集來源于肺部影像數據庫聯盟（lung image database consortium，LIDC）國際公開數據庫（網址：https://wiki.cancerimagingarchive.net/display/Public/LIDC-IDRI）[11]，數據庫中包括 1 010 個患者，1 308 個數據，其中含有 CT 數據 1 018 個，總共有 7 371 個肺結節，在這些結節中至少被一名放射科醫生確診為結節且大于等于 3 mm 的肺結節個數有 2 669 個。本文以大于等于 3 mm 的肺結節圖像構建訓練集、驗證集、測試集。由于一個肺結節會存在于多張連續 CT 切片圖像上，最終構建的肺結節圖像數為 5 300 張。5 300 張圖像隨機分配于訓練集、驗證集、測試集，所占比例分別為 6∶1∶3，所占切片數量分別為 3 180 張、530 張、1 590 張。
算法實現的軟件環境為計算機操作系統 Ubuntu 16.04（Canonical，英國），處理器為高性能計算服務器（X10DRG-Q，思騰合力，中國），中央處理器（central processing unit，CPU）（Intel? Xeon? E5-2667 v4，3.20 GHz，內存為 192 G，美國），顯卡為英偉達特斯拉 K80（GDDR5, NVIDIA, 中國），使用的深度學習框架為快速特征嵌入的卷積結構 Caffe（University of California, Berkeley，美國）。
2.2 網絡結構參數設置
在檢測層網絡結構參數設置中，卷積層候選框尺寸的選擇尤為關鍵。若候選框尺寸過小，候選框中包含的肺結節信息不完整，有可能造成肺結節的錯誤檢測；若候選框尺寸過大，框內包含太多的背景信息，也會增加肺結節檢測難度。如圖4 所示，顯示出了兩種不同大小結節在不同候選框尺寸下的檢測結果，每一行依次為大結節、小結節；每一列依次為金標準（圖4 中的綠框部分，其代表肺結節的真實位置）和卷積層 Conv3 候選框尺寸為 4 × 4、8 × 8 和 16 × 16 的結節檢測結果，圖4 中的紅框代表檢測到的肺結節位置，帶紅色底紋的數字表示預測為肺結節的置信度。如圖4 所示，對于小結節當卷積層 Conv3 的候選框尺寸由 8 × 8 變成 16 × 16 以后，得到結節檢測結果的置信度明顯降低（由 0.99 降為 0.75），而對于大結節當卷積層 Conv3 的候選框尺寸很小時，結節檢測結果置信度僅為 0.72。綜合考慮大小結節分布及候選框對其檢測影響，最終確定檢測層各卷積層候選框尺寸分別為 8 × 8、16 × 16、32 × 32、64 × 64、128 × 128。
圖4
不同候選框尺寸檢測結果
Figure4.
Detection results with different candidate box size
結節檢測框的縱橫比受結節形態變化影響，為了得到最優的結節檢測結果，本文統計分析了不同縱橫比組合下肺結節平均檢測精度，如表2 所示。當縱橫比為 1 時，肺結節平均檢測精度為 90.6%；縱橫比為 0.5 和 1 時，肺結節平均檢測精度提升為 90.7%；當縱橫比為 0.5、1 和 2 時，肺結節平均檢測精度進一步提升為 90.9%。所以網絡的縱橫比最終確定為 0.5、1 和 2。
表2
不同縱橫比組合下的肺結節平均檢測精度
Table2.
Average detection accuracy of pulmonary nodules with different aspect ratios
2.3 實驗結果
本文算法檢測肺結節的結果如圖5 所示，每一行依次為肺結節位置金標準圖、本文方法檢測結果；每一列依次為大結節、小結節和多個結節的類型圖；綠色矩形框代表肺結節的真實位置，紅色矩形框代表本文算法檢測到的肺結節位置，帶紅色底紋的數字表示預測為肺結節的置信度。由此可以看出本文算法對大小結節均具有較好的檢測結果，當一幅圖像包含多個結節時，也能較好地檢測出，且具有較高的置信度。
圖5
肺結節檢測結果
Figure5.
Images of pulmonary nodules detection
為了證明本文方法在肺結節檢測中的優勢，給出了當前流行算法，包括用于目標檢測的單次精細化神經網絡（single-shot refinement neural network for object detection，RefineDet[12]）、Faster R-CCN[13]、特征金字塔網絡（feature pyramid networks，FPN）[14]和本文算法，對三類典型肺結節（血管粘連型結節、孤立型小結節和貼壁型結節）進行檢測的對比結果。如圖6 所示，每一行依次為肺結節位置金標準圖、Faster R-CCN 檢測結果、FPN 檢測結果、RefineDet 檢測結果、本文算法檢測結果；每一列依次為血管粘連型結節、孤立型小結節、貼壁型結節；綠色矩形框代表肺結節的真實位置，紅色矩形框代表檢測到的肺結節位置，帶紅色底紋和藍色底紋的數字表示預測為肺結節的置信度。
圖6
肺結節檢測效果圖
Figure6.
Effect images of pulmonary nodules detection
從圖6 中可以看出，Faster R-CNN 網絡對微小結節的檢測能力稍弱，不能在孤立型小結節圖像中檢測出結節，且容易產生多檢問題。相比于 Faster R-CNN 網絡，FPN 網絡能夠檢測出微小結節，且具有較高的置信度，但同樣存在多檢問題，且多檢的結節同樣具有較高的置信度，很難通過參數控制去除。RefineDet 網絡相比前兩種網絡，不僅能夠精確檢測微小結節，還解決了多檢問題，且檢出結節具有較高置信度。而本文算法在 RefineDet 基礎上，進一步提升了檢出結節的置信度，提升了算法對微小結節的檢測能力。
為了更加精確對比幾種算法的性能，本文給出了幾種算法在相同實驗數據集下的精確率-召回率曲線圖，如圖7 所示。縱坐標代表精確率，其表示正確檢測出的肺結節數占檢測出的總肺結節數的比例；橫坐標代表召回率，其表示正確檢測出的肺結節數占總樣本標記肺結節數的比例。精確率和召回率計算公式分別如式（2）和（3）所示：
圖7
肺結節測試結果精確率-召回率曲線
Figure7.
Precision-recall curves of pulmonary nodules detection
 |
 |
其中，TP 表示識別正確的樣本數，FP 表示識別錯誤的樣本數，FN 表示漏檢數。
平均檢測精度反映了模型的全局性能，是檢測模型中的重要指標，它代表精確率和召回率兩者組成的曲線下的面積，通過用不同的閾值統計出召回率和精確率的值。如表3 所示，統計出了在不同算法下肺結節的平均檢測精度。從圖7 和表3 中可以看出，代表本文算法的曲線位于其他三種算法的曲線之上，平均檢測精度為 90.9%，檢測性能最優；RefineDet 算法次之，平均檢測精度為 90.7%；FPN 和 Faster R-CNN 算法稍差，平均檢測精度分別為 89.7% 和 86.9%。
表3
不同算法的平均檢測精度
Table3.
Average detection accuracy of different algorithms
3 總結
本文提出了一種融合多尺度特征的肺結節精確檢測方法，在 VGG16 網絡結構基礎上通過加入特征融合網絡層，將不同尺度下不同分辨率的特征圖進行融合分析，建立了層與層之間的聯系。通過不同尺度的特征融合，解決了卷積神經網絡特征提取過程中隨著網絡層次加深，特征圖尺寸變小，細節信息逐漸丟失的問題，盡可能多地保留了肺結節的位置、灰度和周圍環境特征，實現了微小肺結節的準確檢測。對微小肺結節自動篩查系統和臨床肺結節輔助診斷系統建立具有十分重要的作用。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
引言
據統計，肺癌已經成為我國發病率和死亡率最高的惡性腫瘤[1]，其五年存活率大概為 14%[2]。肺結節是肺癌早期的臨床表現，肺結節的精確檢測對肺癌的精確診斷和治療具有十分重要的作用，準確檢測肺結節能大大提高肺癌患者的存活率。目前，計算機斷層掃描（computed tomography，CT）技術已經成為臨床診斷肺癌的有效方式，但由于肺結節形態多樣、體積大小不一、位置分布不確定且容易與其他組織或器官粘連等特點，使準確檢測肺結節變得十分困難。針對這一問題的研究早已展開，Jacobs 等[3]提出了一種計算機輔助 CT 圖像中亞實性結節的檢測系統，考慮到上下文特征，引入了一組新穎的背景信息，包括候選結節與肺邊界、氣道、血管和其他結節候選物的關系等，這些特征大大提高了系統的檢測性能。Santos 等[4]開發一種用于自動檢測肺小結節的肺結節檢測方法，使用高斯混合模型對肺內的結構進行分割，并使用香農和茨薩里斯的變化熵作為紋理描述符來區分結節和非結節。Fan 等[5]提出了一種改進的利用區域建議網絡實現實時目標檢測的（towards real-time object detection with region proposal networks，Faster R-CNN）肺結節檢測算法，在大規模圖像識別的深度卷積網絡（very deep convolutional networks for large-scale image recognition，VGG16）[6]的最后一層加入一層反卷積，以恢復第 5 層卷積的分辨率來提高肺結節的檢測精度，最后檢測精度為 90.3%。葛治文[7]采用特征金字塔網的 Faster R-CNN 用于肺結節檢測，檢測精度達到 89.5%。Pezeshk 等[8]訓練了一個三維的全卷積神經網絡用于肺結節的檢測，訓練集包含結節的陽性樣本和不含結節的陰性樣本組成，靈敏度為 80%。Xie 等[9]用兩個區域建議網絡（region proposal networks，RPN）和一個反卷積層來調整 Faster R-CNN 結構，以檢測候選結節，并取三種不同層次的肺部 CT 切片圖像為三種模型進行訓練，然后對結果進行融合。最后，設計了一種基于二維卷積神經網絡的假陽性減少結構，使結節檢測的靈敏度達到了 86.42%。以上研究算法雖然在肺結節檢測上取得了很好的效果，但是在微小結節檢測上效果并不理想。
本文設計了具有三層模塊結構的肺結節檢測網絡，通過融合多尺度的肺結節特征，將低層細節信息引入到高層特征中進行融合分析，最后在保證肺結節檢測精度的前提下實現了對微小肺結節的精確檢測，該項研究成果將有助于提升肺結節篩查系統中微小結節的檢測精度。
1 肺結節自動檢測算法實現
本文提出的融合多尺度信息的肺結節自動檢測網絡結構如圖1 所示。首先在 VGG16 網絡結構（包含 5 個卷積層：Conv1～Conv5；2 個全連接層）基礎上，將尾部的兩個全連接層 fc6 和 fc7 替換成卷積層 Conv_fc，并在 Conv_fc 后增加 Conv6 卷積層，并設計后 5 層為檢測層的第一模塊層；然后檢測層的第二模塊層通過反卷積（Deconv）生成不同尺度下的高分辨率特征圖；而檢測層的第三模塊層融合了不同尺度下的特征圖信息，得到不同尺度下的肺結節候選區域；最后通過非極大值抑制算法[10]對這些候選區域的置信度進行排序，產生最終的肺結節區域檢測結果。
圖1
肺結節自動檢測算法實現框圖
Figure1.
Block diagram of the realization of pulmonary nodules automatic detection algorithm
1.1 肺結節檢測網絡結構設計
檢測層網絡結構是本文算法的核心，依次由錨框優化模塊、傳輸連接模塊、目標檢測模塊三層網絡模塊構成，其組成結構如圖2 所示，Conv3、Conv4、Conv5、Conv_fc、Conv6 表示卷積得到的特征圖，其對應的 CONV3、CONV4、CONV5、CONV_FC、CONV6 表示融合不同尺度后的特征圖。
圖2
檢測層網絡結構
Figure2.
Network structure of detection layers
檢測層錨框優化模塊以 VGG16 前兩層卷積網絡提取的肺結節特征圖作為輸入，特征圖經過該模塊后會輸出不同大小的特征圖，能夠對錨框正負樣本進行分類并粗略地預估出肺結節的位置和概率得分，并濾除掉大量的簡單負樣本，有利于減少分類器的搜索空間，并且粗略地調整保留下來的錨框的位置和大小，提供更好的回歸初始值。
檢測層傳輸連接模塊主要傳輸錨框優化模塊中的特征，將目標檢測模塊產生的高層次特征圖通過反卷積操作使之與錨框優化模塊產生的低層次特征圖尺寸相同，然后以像素點為單位對它們進行疊加融合，得到融合后的特征圖。如圖3 所示以目標檢測模塊的高層特征圖 CONV6 和錨框優化模塊的低層特征圖 Conv_fc 融合為例（其它層融合與此相同）。首先在 Conv_fc 卷積過程中，卷積核大小為 3 × 3，步長為 1，通道數設為 256；因為不同層的特征圖尺寸不同，所以 CONV6 要經過反卷積過程，使其與 Conv_fc 的特征圖尺寸相同，其中反卷積核大小設為 4 × 4，步長為 2，通道數為 256；然后按像素點進行融合，再依次經過激活層（線性整流函數）、卷積層（卷積核大小為 3 × 3，步長為 1，通道數為 256）、激活層（線性整流函數）得到融合特征圖 CONV_FC。
圖3
高層特征圖 CONV6 與低層特征圖 Conv_fc 的融合過程
Figure3.
Fusion process of high-level feature map CONV6 and low-level feature map Conv_fc
目標檢測模塊基于錨框優化模塊以及傳輸連接模塊得到融合特征，通過精確回歸準確地分出肺結節，并預測出肺結節的錨框位置和概率得分，從而得到不同尺度下的肺結節候選框區域。在候選區域計算中，對融合特征圖進行兩組 3 × 3 的卷積變換，其中一組輸出每個候選框的位置（X, Y, W, H），其中 X、Y 是指默認候選框相對于真實標簽框的中心坐標位置的偏移，W、H 分別表示默認候選框的寬和高。另一組卷積核輸出每個候選框檢測到的肺結節的概率。
檢測層通過多尺度下特征的融合建立了不同層之間的聯系，使網絡中的特征圖融合了不同大小、不同細節信息、不同語義信息的特征，提高了網絡對不同大小肺結節的檢測能力，從而提高了肺結節檢測精度，本文算法設置的網絡結構參數如表1 所示。
表1
檢測層網絡結構參數設置
Table1.
Setting of network structure parameters in detection layers
1.2 網絡訓練與優化
肺結節檢測網絡采用端到端的訓練方式，通過卷積操作得到肺結節的候選框，并計算候選框和肺結節真實標簽框之間的重合度。重合度采用杰卡德相似系數來衡量，其計算公式如式（1）所示。
|
其中 A 表示肺結節真實標簽框，B 表示肺結節候選框，A 和 B 的交集在 A、B 的并集中所占的比例稱為 A 和 B 的杰卡德相似系數，用符號 J(A, B) 表示。
在候選框和真實標簽框匹配中，杰卡德相似系數高于 0.5 的認為該候選框為正確檢測框，將其標記為正樣本。而杰卡德相似系數低于 0.5 的認為該候選框為錯誤檢測框，標記為負樣本。這樣得到的負樣本數遠遠大于正樣本數，致使訓練時正負樣本嚴重不平衡。為了解決該問題，在網絡訓練中引入了困難樣本挖掘方法，保留一些具有最高置信度的負樣本，使負正樣本之間的比例小于 3∶1。
為了得到最優的網絡訓練結果，本文采用梯度下降方式優化網絡。網絡的學習率初始值設為 0.000 1，每迭代 50 000 次，學習率下降 10 倍。動量參數設為 0.9，批次大小為 6。
2 實驗結果分析與討論
2.1 數據來源
本文選用的數據集來源于肺部影像數據庫聯盟（lung image database consortium，LIDC）國際公開數據庫（網址：https://wiki.cancerimagingarchive.net/display/Public/LIDC-IDRI）[11]，數據庫中包括 1 010 個患者，1 308 個數據，其中含有 CT 數據 1 018 個，總共有 7 371 個肺結節，在這些結節中至少被一名放射科醫生確診為結節且大于等于 3 mm 的肺結節個數有 2 669 個。本文以大于等于 3 mm 的肺結節圖像構建訓練集、驗證集、測試集。由于一個肺結節會存在于多張連續 CT 切片圖像上，最終構建的肺結節圖像數為 5 300 張。5 300 張圖像隨機分配于訓練集、驗證集、測試集，所占比例分別為 6∶1∶3，所占切片數量分別為 3 180 張、530 張、1 590 張。
算法實現的軟件環境為計算機操作系統 Ubuntu 16.04（Canonical，英國），處理器為高性能計算服務器（X10DRG-Q，思騰合力，中國），中央處理器（central processing unit，CPU）（Intel? Xeon? E5-2667 v4，3.20 GHz，內存為 192 G，美國），顯卡為英偉達特斯拉 K80（GDDR5, NVIDIA, 中國），使用的深度學習框架為快速特征嵌入的卷積結構 Caffe（University of California, Berkeley，美國）。
2.2 網絡結構參數設置
在檢測層網絡結構參數設置中，卷積層候選框尺寸的選擇尤為關鍵。若候選框尺寸過小，候選框中包含的肺結節信息不完整，有可能造成肺結節的錯誤檢測；若候選框尺寸過大，框內包含太多的背景信息，也會增加肺結節檢測難度。如圖4 所示，顯示出了兩種不同大小結節在不同候選框尺寸下的檢測結果，每一行依次為大結節、小結節；每一列依次為金標準（圖4 中的綠框部分，其代表肺結節的真實位置）和卷積層 Conv3 候選框尺寸為 4 × 4、8 × 8 和 16 × 16 的結節檢測結果，圖4 中的紅框代表檢測到的肺結節位置，帶紅色底紋的數字表示預測為肺結節的置信度。如圖4 所示，對于小結節當卷積層 Conv3 的候選框尺寸由 8 × 8 變成 16 × 16 以后，得到結節檢測結果的置信度明顯降低（由 0.99 降為 0.75），而對于大結節當卷積層 Conv3 的候選框尺寸很小時，結節檢測結果置信度僅為 0.72。綜合考慮大小結節分布及候選框對其檢測影響，最終確定檢測層各卷積層候選框尺寸分別為 8 × 8、16 × 16、32 × 32、64 × 64、128 × 128。
圖4
不同候選框尺寸檢測結果
Figure4.
Detection results with different candidate box size
結節檢測框的縱橫比受結節形態變化影響，為了得到最優的結節檢測結果，本文統計分析了不同縱橫比組合下肺結節平均檢測精度，如表2 所示。當縱橫比為 1 時，肺結節平均檢測精度為 90.6%；縱橫比為 0.5 和 1 時，肺結節平均檢測精度提升為 90.7%；當縱橫比為 0.5、1 和 2 時，肺結節平均檢測精度進一步提升為 90.9%。所以網絡的縱橫比最終確定為 0.5、1 和 2。
表2
不同縱橫比組合下的肺結節平均檢測精度
Table2.
Average detection accuracy of pulmonary nodules with different aspect ratios
2.3 實驗結果
本文算法檢測肺結節的結果如圖5 所示，每一行依次為肺結節位置金標準圖、本文方法檢測結果；每一列依次為大結節、小結節和多個結節的類型圖；綠色矩形框代表肺結節的真實位置，紅色矩形框代表本文算法檢測到的肺結節位置，帶紅色底紋的數字表示預測為肺結節的置信度。由此可以看出本文算法對大小結節均具有較好的檢測結果，當一幅圖像包含多個結節時，也能較好地檢測出，且具有較高的置信度。
圖5
肺結節檢測結果
Figure5.
Images of pulmonary nodules detection
為了證明本文方法在肺結節檢測中的優勢，給出了當前流行算法，包括用于目標檢測的單次精細化神經網絡（single-shot refinement neural network for object detection，RefineDet[12]）、Faster R-CCN[13]、特征金字塔網絡（feature pyramid networks，FPN）[14]和本文算法，對三類典型肺結節（血管粘連型結節、孤立型小結節和貼壁型結節）進行檢測的對比結果。如圖6 所示，每一行依次為肺結節位置金標準圖、Faster R-CCN 檢測結果、FPN 檢測結果、RefineDet 檢測結果、本文算法檢測結果；每一列依次為血管粘連型結節、孤立型小結節、貼壁型結節；綠色矩形框代表肺結節的真實位置，紅色矩形框代表檢測到的肺結節位置，帶紅色底紋和藍色底紋的數字表示預測為肺結節的置信度。
圖6
肺結節檢測效果圖
Figure6.
Effect images of pulmonary nodules detection
從圖6 中可以看出，Faster R-CNN 網絡對微小結節的檢測能力稍弱，不能在孤立型小結節圖像中檢測出結節，且容易產生多檢問題。相比于 Faster R-CNN 網絡，FPN 網絡能夠檢測出微小結節，且具有較高的置信度，但同樣存在多檢問題，且多檢的結節同樣具有較高的置信度，很難通過參數控制去除。RefineDet 網絡相比前兩種網絡，不僅能夠精確檢測微小結節，還解決了多檢問題，且檢出結節具有較高置信度。而本文算法在 RefineDet 基礎上，進一步提升了檢出結節的置信度，提升了算法對微小結節的檢測能力。
為了更加精確對比幾種算法的性能，本文給出了幾種算法在相同實驗數據集下的精確率-召回率曲線圖，如圖7 所示。縱坐標代表精確率，其表示正確檢測出的肺結節數占檢測出的總肺結節數的比例；橫坐標代表召回率，其表示正確檢測出的肺結節數占總樣本標記肺結節數的比例。精確率和召回率計算公式分別如式（2）和（3）所示：
圖7
肺結節測試結果精確率-召回率曲線
Figure7.
Precision-recall curves of pulmonary nodules detection
|
|
其中，TP 表示識別正確的樣本數，FP 表示識別錯誤的樣本數，FN 表示漏檢數。
平均檢測精度反映了模型的全局性能，是檢測模型中的重要指標，它代表精確率和召回率兩者組成的曲線下的面積，通過用不同的閾值統計出召回率和精確率的值。如表3 所示，統計出了在不同算法下肺結節的平均檢測精度。從圖7 和表3 中可以看出，代表本文算法的曲線位于其他三種算法的曲線之上，平均檢測精度為 90.9%，檢測性能最優；RefineDet 算法次之，平均檢測精度為 90.7%；FPN 和 Faster R-CNN 算法稍差，平均檢測精度分別為 89.7% 和 86.9%。
表3
不同算法的平均檢測精度
Table3.
Average detection accuracy of different algorithms
3 總結
本文提出了一種融合多尺度特征的肺結節精確檢測方法，在 VGG16 網絡結構基礎上通過加入特征融合網絡層，將不同尺度下不同分辨率的特征圖進行融合分析，建立了層與層之間的聯系。通過不同尺度的特征融合，解決了卷積神經網絡特征提取過程中隨著網絡層次加深，特征圖尺寸變小，細節信息逐漸丟失的問題，盡可能多地保留了肺結節的位置、灰度和周圍環境特征，實現了微小肺結節的準確檢測。對微小肺結節自動篩查系統和臨床肺結節輔助診斷系統建立具有十分重要的作用。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
