針對腦膠質瘤形狀、位置及大小的不一致性，本文提出了一種基于雙通道三維密集連接網絡的腦膠質瘤核磁共振成像（MRI）自動分割算法。該算法基于三維卷積神經網絡，在兩個通道采用不同大小卷積核，從而在不同尺度感受野下提取多尺度特征，并構造各自的密集連接塊進行特征學習與傳遞，通過特征結聯后輸入到分類層進行目標體素分類，最終實現腦膠質瘤的自動分割。為了驗證本文算法的實用性，本文采用公開的腦腫瘤分割挑戰賽數據集對網絡進行訓練與驗證，并將得到的結果與其他腦膠質瘤分割方法比較。實驗結果表明，本文所提出的算法能夠更準確地分割出不同的腫瘤病變區域，在臨床腦腫瘤疾病診斷中具有一定的應用價值。
引用本文： 霍智勇, 杜帥煜, 陳釗, 戴偉達. 基于雙通道三維密集連接網絡的腦膠質瘤核磁共振成像分割算法研究. 生物醫學工程學雜志, 2019, 36(5): 763-768, 776. doi: 10.7507/1001-5515.201902006 復制
引言
腦膠質瘤是神經膠質細胞不受控制地非自然生長和分裂的腦部腫瘤，其早期診斷對治療起著至關重要的作用，而準確的腫瘤區域分割與定位是治療的基礎。核磁共振成像（magnetic resonance imaging，MRI）具有良好的軟組織對比度，提供了豐富的腦組織內部結構信息，且是一種非侵入性的檢查技術，因此臨床上經常采用 MRI 作為診斷參考依據。MRI 具有多參數成像的特點，不同參數獲得的模態具有差異性。T1 加權圖像（T1-weighted images）、對比增強 T1 加權圖像（contrast enhanced T1-weighted images，T1c）、T2 加權圖像（T2-weighted images）和液體衰減反轉恢復序列圖像（fluid-attenuated inversion recovery images，FLARI）是臨床上使用較多的圖像模態。不同模態圖像包含不同類型的生物信息，通過對這四種模態圖像相互對比與參照，可以更好地了解病變區域組織結構。
腦腫瘤 MRI 圖像的分割是指將腦膠質瘤組織在 MRI 圖像上分離出不同的腫瘤結構（包括水腫區域、壞死區域、非增強型腫瘤與增強型腫瘤）。臨床上通常是采用人工分割的方式進行，其過程耗時耗力且存在主觀性判讀，不同專家的分割結果往往存在差異，因此人們一直在尋找更為客觀的自動準確分割腦膠質瘤的方法。傳統的自動分割算法可以分為閾值法[1]、分水嶺算法[2]、區域生長法[3]、基于梯度信息邊緣檢測算法[4]等。這些方法通常是針對特定腫瘤形態或某個模態的 MRI 圖像，泛化性不強。
近年來，基于深度學習的腦腫瘤分割算法受到廣泛關注并發展迅速。Zikic 等[5]提出一種多模態輸入的淺層二維神經網絡，驗證了神經網絡方法用于腦腫瘤分割任務的可行性。Chang 等[6]提出一種全卷積神經網絡，將最深層的卷積輸出與初始卷積層的特征圖結合，訓練完成后 1 s 內就可以生成分割結果圖。Zhao 等[7]提出了一種多尺度的二維卷積神經網絡模型，該模型可以自動適應目標區域大小，有效解決了腦腫瘤尺度不一致的問題。上述方法較傳統方法在分割精度方面都取得了很大的提升，但算法輸入采用的是 MRI 圖像切片，因此選取二維卷積神經網絡，沒有充分利用 MRI 數據的三維空間信息。Kamnitsas 等[8]提出了深度醫學（DeepMedic）模型，一種雙路徑輸入的 11 層三維卷積神經網絡模型，以不同尺寸的三維圖像塊作為數據輸入，在 2015 年的腦腫瘤分割挑戰賽中排名前三。Ronneberger 等[9]提出利用三維 U 型網絡（U-Net）實現腦腫瘤分割，在子區域分割結果最優。上述研究成果大大促進了人工神經網絡在腦腫瘤自動分割領域的技術應用。
基于以上研究成果，為了進一步提高 MRI 圖像中子區域的分割精度，本文提出了一種雙通道三維密集連接網絡的腦腫瘤分割算法，首先利用三維密集連接網絡加強特征傳播，減少了低級特征向高級特征傳遞過程中的損失；然后采用雙通道特征提取網絡，選取不同尺度的卷積核，在不同尺度感受野下獲取特征結構，解決腦腫瘤區域大小不一致問題；最后采用多類損失函數，降低因類不均衡問題造成的分類錯誤。最終，通過訓練好的分割模型對測試集圖像進行測試，以驗證本文算法應用于腦腫瘤患者的診斷與治療的可行性，或將為進一步輔助腦腫瘤類疾病臨床診療奠定基礎。
1 方法
為了更好地獲取 MRI 圖像體素間的三維空間信息，本文算法的深度學習網絡結構如圖 1 所示，即構造了一個雙通道三維密集連接網絡。輸入為包含 T1、T1c、T2、FLARI 模態的體素切塊，大小為 4 × 64 × 64 × 64；算法采用雙通道的方式，以不同尺度的三維卷積核來提取 MRI 圖像中的體素特征；卷積核大小分別為 3 × 3 × 3 和 5 × 5 × 5，以滿足不同大小腫瘤的特征提取。然后進一步構造三維密集連接塊來獲取更加稠密的特征，實現了對每層特征的重復利用。最后使用歸一化指數函數（softmax）作分類層，輸出為目標體素對應類別的預測概率。
圖1
雙通道三維密集連接網絡結構
Figure1.
The structure of dual-channel 3-dimensional densely connected network
1.1 三維卷積神經網絡
三維卷積神經網絡根據每個體素的鄰域及上下文信息對體素標簽進行獨立估計，通過級聯卷積操作實現特征提取。較高網絡層組合輸入的特征產生用于分類的復雜特征，網絡的最后一層為分類層，對應用于特定分類的類別標簽。本文網絡分類層選取 1 × 1 × 1 大小的卷積核進行卷積操作，輸出概率圖中心的 12 × 12 × 12 區域為待預測體素區域。
本文算法采用三維卷積核對 MRI 數據進行卷積運算，添加偏置項后經過線性整流函數（rectified linear unit，RELU）得到輸出特征圖，計算公式如式（1）所示：
 |
其中，每個卷積核 
是學習的隱藏權重；m 指卷積核的個數，即輸出特征維度；n 是輸入特征維度；
表示輸入的三維特征圖；
為偏置項；“*”代表卷積運算；f（.）為非線性激活函數，此處采用 RELU 函數。
卷積層輸出特征圖的大小則是由輸入特征圖的大小、卷積核的尺寸和步長決定的。本文網絡的步長均設置為 1，為了最終輸出特征圖便于融合，本文網絡中卷積操作均采用零值填充的方式，確保輸入和輸出的特征圖大小相同。
1.2 雙通道特征學習網絡
三維卷積神經網絡根據每個輸出節點在感受野內獲取的上下文信息對目標體素進行分類。感受野是網絡層輸出的每個節點所對應的輸入層的區域，從數學上講就是每個網絡輸出對輸入特征圖的映射區域。第 l 層的感受野等于前一層感受野大小乘以當前層的卷積核大小，計算公式如式（2）所示：
 |
式中，
指第 l 層的三維卷積核的大小，s 為步長，
為前一層感受野尺寸。
傳統的卷積神經網絡是通過特征的逐層傳遞從而獲取局部信息，如式（2）所示，感受野的大小由卷積核的尺寸與步長決定。若單純采用較小的 3 × 3 × 3 的卷積核時，對應的感受野區域較小且相對單一，只能獲得局部固定區域大小的上下文信息。由于腫瘤區域大小不規則性，不同大小的感受野對于最后分類層的貢獻不同。為了利用更大范圍的上下文信息，增大感受野，本文提出增加卷積核更大的特征學習通道，從而將不同感受野下的特征進行融合，獲得更加豐富的特征表征方式。本文網絡的上通道和下通道采用的卷積核尺寸分別為 3 × 3 × 3 和 5 × 5 × 5，最后輸入到分類層的特征包括：待預測類別體素周圍的細節特征和較大范圍的上下文特征。
1.3 三維密集連接網絡
傳統的卷積神經網絡在進行低級特征向高級特征傳遞過程中存在特征損失，低級特征沒有輸入到最后的分類層。本文借鑒二維密集連接網絡[10]的思想設計了一種三維的密集連接網絡，利用密集連接塊實現特征學習，完成腦腫瘤分割任務。密集連接網絡的思想是指任意兩層之間都有直接的連接，網絡的每一層輸入都是前面所有層的并集。這樣做的優點是加強了特征的復用，避免梯度快速消失，減少了網絡參數量。本文網絡的每個通道均構造了兩個密集連接塊用于特征學習與傳遞，密集連接塊的結構如圖 2 所示。
圖2
密集連接塊結構
Figure2.
The structure of densely connected block
每個密集連接塊包含 4 個卷積層，其中 x0 為輸入，d0 為輸入層的特征圖維度，d1 為第一個密集連接塊中第一個卷積層與輸入特征圖結連后的維度。每個卷積層的輸出如式（3）和式（4）所示：
 |
 |
式中，［x0，x1，
，xl-1］代表前面各層特征結聯，B（x）代表批標準化（batch normalization，BN），R 表示 RELU 函數，W 表示學習到的權值矩陣，“*”代表卷積運算。密集連接塊的輸出是前面所有卷積層的并集，則第 l 層的特征維度如式（5）所示：
 |
式中，d0 代表輸入密集連接塊的特征圖維度，g 代表特征增長率，即每一層卷積操作中卷積核的個數，這里本文選取的 g 的數值為 12。為了保持圖像較高的分辨率，本文網絡結構中沒有采用下采樣操作，步長均設置為 1，此時感受野的計算公式可簡化為如式（6）所示：
 |
式中，
表示前一層的感受野大小，
是第 l 層上三維卷積核的尺寸。由此就可以根據選取的卷積核尺寸計算出每個通道中兩個密集連接塊輸出節點的感受野尺寸。計算結果以及網絡中各節點的輸出特征維度如表 1 所示。
表1
特征學習網絡中各組成單元細節
Table1.
Specification of each component in the feature learning network
1.4 損失函數
損失函數用來衡量網絡預測輸出和真實標簽之間的差距，作為優化網絡訓練參數的約束條件。由于腦腫瘤圖像相比于自然圖像存在嚴重的類不均衡問題，僅僅采用簡單的交叉熵損失函數不能得到最優的分割結果，因此本文通過增加損失函數種類來解決腫瘤分割任務中存在的類不均衡問題。
本文采用的損失函數包含兩部分：第一部分是真實標簽與預測結果的交叉熵損失，另一部分是多分類損失。本文算法采用的損失函數是兩者相加，如式（7）所示：
 |
式中，
為交叉熵損失，
為多分類損失。
交叉熵損失
計算如式（8）所示：
 |
式中，gi 是真實值，pi 是分類層輸出的預測概率值，v 代表待預測中心體素塊的個數。
多分類損失
的計算公式如式（9）示：
 |
式中，K 是待預測類別數目，
是第 i 個體素屬于第 j 類別的真實概率，
是分類層關于第 i 個體素屬于第 j 類別的輸出概率。
1.5 實驗數據及處理方法
1.5.1 數據集與預處理
本文采用 2017 年的腦腫瘤分割挑戰賽[11]（Brain Tumor Segmentation Challenge，BraTS）（網址：https://www.med.upenn.edu/sbia/brats2017.html）提供的公開數據集進行訓練與測試。數據集包含 210 個高分級膠質瘤（high-grade glioma，HGG）患者數據和 75 個低分級膠質瘤（low-grade glioma，LGG）患者數據。其中每個患者的數據均包含四種模態的 MRI 圖像，分別是 FLAIR、T1、T1c 和 T2。根據數據集提供的標準分割結果，待分割的類別有 4 類，分別為：非腫瘤區域（標簽為 0）、水腫區域（標簽為 1）、壞死腫瘤和非增強型腫瘤（標簽為 2）、增強型腫瘤（標簽為 4）。
預處理是為了確保不同患者不同模態的圖像之間有確定的匹配值范圍，從而避免網絡的初始偏差。本文的預處理過程包含三個部分，首先采用改進的非參數非均勻化回顧性偏差校正算法 [12]進行偏置場校正；然后提取三維體素塊；最后進行歸一化操作。其中提取三維體素塊的操作方式是針對每個患者的多模態 MRI 圖像，隨機選取 200 個標簽為 0 和標簽不為 0 的體素點作為中心，提取周邊 64 × 64 × 64 大小的鄰域；歸一化操作采用 0 均值，方差為 1 的歸一化，計算公式如式（10）所示：
 |
式中，xi 代表待歸一化的值，yi 代表歸一化后的值，X 表示輸入序列，mean（·）表示均值計算函數，std（·）表示標準差計算函數。
1.5.2 實驗環境與訓練細節
本文采用基于數據流圖的深度學習計算軟件 TensorFlow（Google Inc.，美國）進行數值實驗，在統一計算設備架構平臺 CUDA 9.0（NVIDIA Inc.，美國）上并行計算，調用深度神經網絡計算庫 CuDNN 7.5（NVIDIA Inc.，美國）實現加速，硬件運算平臺為英特爾高性能處理器（i7-8700K，Intel Inc.，美國）、圖形處理器設備（NVIDIA GeForce GTX 1080 Ti，NVIDIA Inc.，美國）。
批處理大小為 2，對于每個訓練集樣本迭代 4 次，采用自適應矩估計（adaptive moment estimation，Adam）優化算法，初始學習率設置為 5 × 10?4。訓練中發現采用如旋轉、鏡像之類的數據增強操作對分割精度的效果增益不強，因此本文沒有采用數據增強。
2 結果
2.1 評價指標
腦腫瘤挑戰賽官方在線評估系統將分割結果分成三類區域，分別為腫瘤整體（whole tumor，WT）、腫瘤核心（tumor core，TC）和增強型腫瘤（enhanced tumor，ET）。其中腫瘤整體包括水腫區域、壞死區域、非增強型腫瘤和增強型腫瘤；腫瘤核心包括壞死區域、非增強型腫瘤和增強型腫瘤，增強型腫瘤僅包含標簽為 4 的增強型腫瘤。
對于每類區域，采用骰子相似系數（dice similarity coefficient，DSC）（以符號 DSC 表示）作為腦腫瘤分割精度評價指標，計算方式如式（11）所示：
 |
式中，P 表示預測結果，T 表示真實值，“∩”表示取交集，“∪”表示取并集，|.|表示取絕對值。DSC 表示模型的預測結果與真實值的相似程度，能夠衡量模型的分割精度。
2.2 數值結果對比分析
本文分別對比了幾種典型的基于傳統機器學習的方法、基于二維卷積神經網絡的方法及基于三維卷積神經網絡方法的分割結果，對比的數值結果如表 2 所示。
表2
不同算法分割結果 DSC 對比
Table2.
Comparison of DSC from segmentation results of diffe rent algorithms
本文選取了兩個最新發表的基于傳統機器學習的腦腫瘤分割算法作為參考，分別是隨機森林算法和稀疏表示算法，并列出其分割結果的 DSC。在腫瘤整體分割方面，本文算法與隨機森林算法和稀疏表示算法相比，在 DSC 上分別提升了 0.11 和 0.07，對于腫瘤內部子區域分割精度提升較明顯，尤其是增強型腫瘤分割方面，本文算法的 DSC 相較于隨機森林算法和稀疏表示算法分別提升了 0.26 和 0.11。原因是傳統機器學習算法輸入到分類器的特征是手工提取的，針對不同患者特征提取的方法存在局限性，往往分類器在某個患者分割結果較好，但整體精度卻不高。
文獻[15]算法是基于二維卷積神經網絡的方法，采用級聯學習的策略，各腫瘤區域分割精度均優于傳統機器學習算法。但是該算法需要分階段訓練，并非端到端的訓練方式，大大增加了網絡訓練時長，并且在分割腫瘤內部子區域時受前一階段分割腫瘤整體的影響，從而限制了腫瘤內部子區域的分割精度。本文算法采用端到端的訓練，生成分割結果圖像的時間更短，并且在分割精度方面，腫瘤整體與腫瘤核心的 DSC 相近，在增強型腫瘤分割上 DSC 提升了 0.03。
與本文算法同樣采用多層三維卷積神經網絡結構的 DeepMedic，其分割結果 DSC 如表 2 所示，利用條件隨機場（conditional random field，CRF）優化后的算法分割精度提升不明顯。本文算法在分割腫瘤整體、腫瘤核心、增強型腫瘤的 DSC 分別為 0.88、0.81、0.76，DeepMedic 模型相較于本文算法，在腫瘤整體分割上 DSC 提升了 0.02，而本文算法則在腫瘤內部子區域（腫瘤核心和增強型腫瘤）分割上 DSC 分別提升了 0.06 和 0.04，這是由于密集連接網絡及雙通道特征提取策略使網絡能夠利用多級特征，并且適應腫瘤區域大小變化從而提升了分割精度。
2.3 可視化結果
如圖 3 所示，為了能夠客觀地展示本文算法的分割結果，本文隨機選取測試數據集中三組患者的 MRI 圖像用于可視化分析。圖中第一列和第二列分別為 T1c 和 FLAIR 模態序列圖像，第三列是標準結果（醫學專家手動分割結果），第四列是本文方法的分割結果。
圖3
可視化分割結果
Figure3.
Visualization of segmentation results
圖 3 中，綠色區域代表水腫區域，藍色區域代表壞死區域和非增強腫瘤區域，紅色區域代表增強型腫瘤區域。比較三位患者的圖像可以看出腫瘤區域的大小、位置、形狀均不統一，這是腫瘤分割領域一大挑戰。對比標準結果和本文方法的分割結果，可以發現本文提出的模型能夠準確地分割出腫瘤區域輪廓及其腫瘤內部結構，從而進一步證明了本文算法的性能。對比患者 1 的標準結果與本文方法的分割圖可以看出，本文算法給出的分割結果中增強型腫瘤區域所占整體比例比標準結果中所占比例高，存在過分割的情況，這是由于該患者圖像中增強型腫瘤區域占整個腫瘤區域比例太小，正負樣本不均衡問題造成的過分割現象。正負樣本不均衡問題是腦腫瘤分割的另一大挑戰，這是由于腦腫瘤圖像中非腫瘤區域所占比例較大，且內部各子區域所占比例分布不均衡導致，雖然本文通過改進損失函數減少正負樣本不均衡對分割結果造成的影響，但某些極端情況仍會出現過分割結果，解決正負樣本不均衡問題將是本文下一步研究的目標。
3 總結
本文提出了一種雙通道三維密集連接網絡用于腦膠質瘤分割的算法，并通過實驗驗證了該算法的可行性。本文算法采用三維卷積核，相比于二維神經網絡更好地利用了 MRI 圖像中各體素周圍的灰度關系；通過設置不同卷積核大小以獲取多尺度特征，解決了腫瘤區域大小不一致的問題；構建密集連接網絡進行特征學習與傳遞，加強特征復用，與傳統卷積神經網絡逐層連接相比，密集連接網絡大大提高了各級特征對分類層的貢獻，分割精度方面也有顯著提升。通過與其他算法進行對比分析，可以看出本文算法在腫瘤分割中的性能提升十分明顯。
本方法也存在一定的不足，由于 MRI 圖像中非腫瘤區域所占比例較大，且內部各子區域所占比例沒有統一的分布，從而導致嚴重的正負樣本不均衡問題。基于此問題，本文雖然采用多類損失函數以減少正負樣本不均衡造成的分類錯誤，但效果不顯著。今后的工作將致力于解決正負樣本不均衡問題，研究方向有兩個，一是采用級聯網絡，采用分段學習的策略結合多個分割網絡實現腦腫瘤分割；二是將對抗生成式網絡和分割網絡結合起來，更好地利用體素之間的相互關系，生成連續的分割結果，從而抑制正負樣本不均衡問題導致的過分割現象。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
引言
腦膠質瘤是神經膠質細胞不受控制地非自然生長和分裂的腦部腫瘤，其早期診斷對治療起著至關重要的作用，而準確的腫瘤區域分割與定位是治療的基礎。核磁共振成像（magnetic resonance imaging，MRI）具有良好的軟組織對比度，提供了豐富的腦組織內部結構信息，且是一種非侵入性的檢查技術，因此臨床上經常采用 MRI 作為診斷參考依據。MRI 具有多參數成像的特點，不同參數獲得的模態具有差異性。T1 加權圖像（T1-weighted images）、對比增強 T1 加權圖像（contrast enhanced T1-weighted images，T1c）、T2 加權圖像（T2-weighted images）和液體衰減反轉恢復序列圖像（fluid-attenuated inversion recovery images，FLARI）是臨床上使用較多的圖像模態。不同模態圖像包含不同類型的生物信息，通過對這四種模態圖像相互對比與參照，可以更好地了解病變區域組織結構。
腦腫瘤 MRI 圖像的分割是指將腦膠質瘤組織在 MRI 圖像上分離出不同的腫瘤結構（包括水腫區域、壞死區域、非增強型腫瘤與增強型腫瘤）。臨床上通常是采用人工分割的方式進行，其過程耗時耗力且存在主觀性判讀，不同專家的分割結果往往存在差異，因此人們一直在尋找更為客觀的自動準確分割腦膠質瘤的方法。傳統的自動分割算法可以分為閾值法[1]、分水嶺算法[2]、區域生長法[3]、基于梯度信息邊緣檢測算法[4]等。這些方法通常是針對特定腫瘤形態或某個模態的 MRI 圖像，泛化性不強。
近年來，基于深度學習的腦腫瘤分割算法受到廣泛關注并發展迅速。Zikic 等[5]提出一種多模態輸入的淺層二維神經網絡，驗證了神經網絡方法用于腦腫瘤分割任務的可行性。Chang 等[6]提出一種全卷積神經網絡，將最深層的卷積輸出與初始卷積層的特征圖結合，訓練完成后 1 s 內就可以生成分割結果圖。Zhao 等[7]提出了一種多尺度的二維卷積神經網絡模型，該模型可以自動適應目標區域大小，有效解決了腦腫瘤尺度不一致的問題。上述方法較傳統方法在分割精度方面都取得了很大的提升，但算法輸入采用的是 MRI 圖像切片，因此選取二維卷積神經網絡，沒有充分利用 MRI 數據的三維空間信息。Kamnitsas 等[8]提出了深度醫學（DeepMedic）模型，一種雙路徑輸入的 11 層三維卷積神經網絡模型，以不同尺寸的三維圖像塊作為數據輸入，在 2015 年的腦腫瘤分割挑戰賽中排名前三。Ronneberger 等[9]提出利用三維 U 型網絡（U-Net）實現腦腫瘤分割，在子區域分割結果最優。上述研究成果大大促進了人工神經網絡在腦腫瘤自動分割領域的技術應用。
基于以上研究成果，為了進一步提高 MRI 圖像中子區域的分割精度，本文提出了一種雙通道三維密集連接網絡的腦腫瘤分割算法，首先利用三維密集連接網絡加強特征傳播，減少了低級特征向高級特征傳遞過程中的損失；然后采用雙通道特征提取網絡，選取不同尺度的卷積核，在不同尺度感受野下獲取特征結構，解決腦腫瘤區域大小不一致問題；最后采用多類損失函數，降低因類不均衡問題造成的分類錯誤。最終，通過訓練好的分割模型對測試集圖像進行測試，以驗證本文算法應用于腦腫瘤患者的診斷與治療的可行性，或將為進一步輔助腦腫瘤類疾病臨床診療奠定基礎。
1 方法
為了更好地獲取 MRI 圖像體素間的三維空間信息，本文算法的深度學習網絡結構如圖 1 所示，即構造了一個雙通道三維密集連接網絡。輸入為包含 T1、T1c、T2、FLARI 模態的體素切塊，大小為 4 × 64 × 64 × 64；算法采用雙通道的方式，以不同尺度的三維卷積核來提取 MRI 圖像中的體素特征；卷積核大小分別為 3 × 3 × 3 和 5 × 5 × 5，以滿足不同大小腫瘤的特征提取。然后進一步構造三維密集連接塊來獲取更加稠密的特征，實現了對每層特征的重復利用。最后使用歸一化指數函數（softmax）作分類層，輸出為目標體素對應類別的預測概率。
圖1
雙通道三維密集連接網絡結構
Figure1.
The structure of dual-channel 3-dimensional densely connected network
1.1 三維卷積神經網絡
三維卷積神經網絡根據每個體素的鄰域及上下文信息對體素標簽進行獨立估計，通過級聯卷積操作實現特征提取。較高網絡層組合輸入的特征產生用于分類的復雜特征，網絡的最后一層為分類層，對應用于特定分類的類別標簽。本文網絡分類層選取 1 × 1 × 1 大小的卷積核進行卷積操作，輸出概率圖中心的 12 × 12 × 12 區域為待預測體素區域。
本文算法采用三維卷積核對 MRI 數據進行卷積運算，添加偏置項后經過線性整流函數（rectified linear unit，RELU）得到輸出特征圖，計算公式如式（1）所示：
|
其中，每個卷積核 是學習的隱藏權重；m 指卷積核的個數，即輸出特征維度；n 是輸入特征維度； 表示輸入的三維特征圖； 為偏置項；“*”代表卷積運算；f（.）為非線性激活函數，此處采用 RELU 函數。
卷積層輸出特征圖的大小則是由輸入特征圖的大小、卷積核的尺寸和步長決定的。本文網絡的步長均設置為 1，為了最終輸出特征圖便于融合，本文網絡中卷積操作均采用零值填充的方式，確保輸入和輸出的特征圖大小相同。
1.2 雙通道特征學習網絡
三維卷積神經網絡根據每個輸出節點在感受野內獲取的上下文信息對目標體素進行分類。感受野是網絡層輸出的每個節點所對應的輸入層的區域，從數學上講就是每個網絡輸出對輸入特征圖的映射區域。第 l 層的感受野等于前一層感受野大小乘以當前層的卷積核大小，計算公式如式（2）所示：
|
式中，指第 l 層的三維卷積核的大小，s 為步長， 為前一層感受野尺寸。
傳統的卷積神經網絡是通過特征的逐層傳遞從而獲取局部信息，如式（2）所示，感受野的大小由卷積核的尺寸與步長決定。若單純采用較小的 3 × 3 × 3 的卷積核時，對應的感受野區域較小且相對單一，只能獲得局部固定區域大小的上下文信息。由于腫瘤區域大小不規則性，不同大小的感受野對于最后分類層的貢獻不同。為了利用更大范圍的上下文信息，增大感受野，本文提出增加卷積核更大的特征學習通道，從而將不同感受野下的特征進行融合，獲得更加豐富的特征表征方式。本文網絡的上通道和下通道采用的卷積核尺寸分別為 3 × 3 × 3 和 5 × 5 × 5，最后輸入到分類層的特征包括：待預測類別體素周圍的細節特征和較大范圍的上下文特征。
1.3 三維密集連接網絡
傳統的卷積神經網絡在進行低級特征向高級特征傳遞過程中存在特征損失，低級特征沒有輸入到最后的分類層。本文借鑒二維密集連接網絡[10]的思想設計了一種三維的密集連接網絡，利用密集連接塊實現特征學習，完成腦腫瘤分割任務。密集連接網絡的思想是指任意兩層之間都有直接的連接，網絡的每一層輸入都是前面所有層的并集。這樣做的優點是加強了特征的復用，避免梯度快速消失，減少了網絡參數量。本文網絡的每個通道均構造了兩個密集連接塊用于特征學習與傳遞，密集連接塊的結構如圖 2 所示。
圖2
密集連接塊結構
Figure2.
The structure of densely connected block
每個密集連接塊包含 4 個卷積層，其中 x0 為輸入，d0 為輸入層的特征圖維度，d1 為第一個密集連接塊中第一個卷積層與輸入特征圖結連后的維度。每個卷積層的輸出如式（3）和式（4）所示：
|
|
式中，［x0，x1，，xl-1］代表前面各層特征結聯，B（x）代表批標準化（batch normalization，BN），R 表示 RELU 函數，W 表示學習到的權值矩陣，“*”代表卷積運算。密集連接塊的輸出是前面所有卷積層的并集，則第 l 層的特征維度如式（5）所示：
|
式中，d0 代表輸入密集連接塊的特征圖維度，g 代表特征增長率，即每一層卷積操作中卷積核的個數，這里本文選取的 g 的數值為 12。為了保持圖像較高的分辨率，本文網絡結構中沒有采用下采樣操作，步長均設置為 1，此時感受野的計算公式可簡化為如式（6）所示：
|
式中， 表示前一層的感受野大小，是第 l 層上三維卷積核的尺寸。由此就可以根據選取的卷積核尺寸計算出每個通道中兩個密集連接塊輸出節點的感受野尺寸。計算結果以及網絡中各節點的輸出特征維度如表 1 所示。
表1
特征學習網絡中各組成單元細節
Table1.
Specification of each component in the feature learning network
1.4 損失函數
損失函數用來衡量網絡預測輸出和真實標簽之間的差距，作為優化網絡訓練參數的約束條件。由于腦腫瘤圖像相比于自然圖像存在嚴重的類不均衡問題，僅僅采用簡單的交叉熵損失函數不能得到最優的分割結果，因此本文通過增加損失函數種類來解決腫瘤分割任務中存在的類不均衡問題。
本文采用的損失函數包含兩部分：第一部分是真實標簽與預測結果的交叉熵損失，另一部分是多分類損失。本文算法采用的損失函數是兩者相加，如式（7）所示：
|
式中，為交叉熵損失，為多分類損失。
交叉熵損失計算如式（8）所示：
|
式中，gi 是真實值，pi 是分類層輸出的預測概率值，v 代表待預測中心體素塊的個數。
多分類損失的計算公式如式（9）示：
|
式中，K 是待預測類別數目， 是第 i 個體素屬于第 j 類別的真實概率， 是分類層關于第 i 個體素屬于第 j 類別的輸出概率。
1.5 實驗數據及處理方法
1.5.1 數據集與預處理
本文采用 2017 年的腦腫瘤分割挑戰賽[11]（Brain Tumor Segmentation Challenge，BraTS）（網址：https://www.med.upenn.edu/sbia/brats2017.html）提供的公開數據集進行訓練與測試。數據集包含 210 個高分級膠質瘤（high-grade glioma，HGG）患者數據和 75 個低分級膠質瘤（low-grade glioma，LGG）患者數據。其中每個患者的數據均包含四種模態的 MRI 圖像，分別是 FLAIR、T1、T1c 和 T2。根據數據集提供的標準分割結果，待分割的類別有 4 類，分別為：非腫瘤區域（標簽為 0）、水腫區域（標簽為 1）、壞死腫瘤和非增強型腫瘤（標簽為 2）、增強型腫瘤（標簽為 4）。
預處理是為了確保不同患者不同模態的圖像之間有確定的匹配值范圍，從而避免網絡的初始偏差。本文的預處理過程包含三個部分，首先采用改進的非參數非均勻化回顧性偏差校正算法 [12]進行偏置場校正；然后提取三維體素塊；最后進行歸一化操作。其中提取三維體素塊的操作方式是針對每個患者的多模態 MRI 圖像，隨機選取 200 個標簽為 0 和標簽不為 0 的體素點作為中心，提取周邊 64 × 64 × 64 大小的鄰域；歸一化操作采用 0 均值，方差為 1 的歸一化，計算公式如式（10）所示：
|
式中，xi 代表待歸一化的值，yi 代表歸一化后的值，X 表示輸入序列，mean（·）表示均值計算函數，std（·）表示標準差計算函數。
1.5.2 實驗環境與訓練細節
本文采用基于數據流圖的深度學習計算軟件 TensorFlow（Google Inc.，美國）進行數值實驗，在統一計算設備架構平臺 CUDA 9.0（NVIDIA Inc.，美國）上并行計算，調用深度神經網絡計算庫 CuDNN 7.5（NVIDIA Inc.，美國）實現加速，硬件運算平臺為英特爾高性能處理器（i7-8700K，Intel Inc.，美國）、圖形處理器設備（NVIDIA GeForce GTX 1080 Ti，NVIDIA Inc.，美國）。
批處理大小為 2，對于每個訓練集樣本迭代 4 次，采用自適應矩估計（adaptive moment estimation，Adam）優化算法，初始學習率設置為 5 × 10?4。訓練中發現采用如旋轉、鏡像之類的數據增強操作對分割精度的效果增益不強，因此本文沒有采用數據增強。
2 結果
2.1 評價指標
腦腫瘤挑戰賽官方在線評估系統將分割結果分成三類區域，分別為腫瘤整體（whole tumor，WT）、腫瘤核心（tumor core，TC）和增強型腫瘤（enhanced tumor，ET）。其中腫瘤整體包括水腫區域、壞死區域、非增強型腫瘤和增強型腫瘤；腫瘤核心包括壞死區域、非增強型腫瘤和增強型腫瘤，增強型腫瘤僅包含標簽為 4 的增強型腫瘤。
對于每類區域，采用骰子相似系數（dice similarity coefficient，DSC）（以符號 DSC 表示）作為腦腫瘤分割精度評價指標，計算方式如式（11）所示：
|
式中，P 表示預測結果，T 表示真實值，“∩”表示取交集，“∪”表示取并集，|.|表示取絕對值。DSC 表示模型的預測結果與真實值的相似程度，能夠衡量模型的分割精度。
2.2 數值結果對比分析
本文分別對比了幾種典型的基于傳統機器學習的方法、基于二維卷積神經網絡的方法及基于三維卷積神經網絡方法的分割結果，對比的數值結果如表 2 所示。
表2
不同算法分割結果 DSC 對比
Table2.
Comparison of DSC from segmentation results of diffe rent algorithms
本文選取了兩個最新發表的基于傳統機器學習的腦腫瘤分割算法作為參考，分別是隨機森林算法和稀疏表示算法，并列出其分割結果的 DSC。在腫瘤整體分割方面，本文算法與隨機森林算法和稀疏表示算法相比，在 DSC 上分別提升了 0.11 和 0.07，對于腫瘤內部子區域分割精度提升較明顯，尤其是增強型腫瘤分割方面，本文算法的 DSC 相較于隨機森林算法和稀疏表示算法分別提升了 0.26 和 0.11。原因是傳統機器學習算法輸入到分類器的特征是手工提取的，針對不同患者特征提取的方法存在局限性，往往分類器在某個患者分割結果較好，但整體精度卻不高。
文獻[15]算法是基于二維卷積神經網絡的方法，采用級聯學習的策略，各腫瘤區域分割精度均優于傳統機器學習算法。但是該算法需要分階段訓練，并非端到端的訓練方式，大大增加了網絡訓練時長，并且在分割腫瘤內部子區域時受前一階段分割腫瘤整體的影響，從而限制了腫瘤內部子區域的分割精度。本文算法采用端到端的訓練，生成分割結果圖像的時間更短，并且在分割精度方面，腫瘤整體與腫瘤核心的 DSC 相近，在增強型腫瘤分割上 DSC 提升了 0.03。
與本文算法同樣采用多層三維卷積神經網絡結構的 DeepMedic，其分割結果 DSC 如表 2 所示，利用條件隨機場（conditional random field，CRF）優化后的算法分割精度提升不明顯。本文算法在分割腫瘤整體、腫瘤核心、增強型腫瘤的 DSC 分別為 0.88、0.81、0.76，DeepMedic 模型相較于本文算法，在腫瘤整體分割上 DSC 提升了 0.02，而本文算法則在腫瘤內部子區域（腫瘤核心和增強型腫瘤）分割上 DSC 分別提升了 0.06 和 0.04，這是由于密集連接網絡及雙通道特征提取策略使網絡能夠利用多級特征，并且適應腫瘤區域大小變化從而提升了分割精度。
2.3 可視化結果
如圖 3 所示，為了能夠客觀地展示本文算法的分割結果，本文隨機選取測試數據集中三組患者的 MRI 圖像用于可視化分析。圖中第一列和第二列分別為 T1c 和 FLAIR 模態序列圖像，第三列是標準結果（醫學專家手動分割結果），第四列是本文方法的分割結果。
圖3
可視化分割結果
Figure3.
Visualization of segmentation results
圖 3 中，綠色區域代表水腫區域，藍色區域代表壞死區域和非增強腫瘤區域，紅色區域代表增強型腫瘤區域。比較三位患者的圖像可以看出腫瘤區域的大小、位置、形狀均不統一，這是腫瘤分割領域一大挑戰。對比標準結果和本文方法的分割結果，可以發現本文提出的模型能夠準確地分割出腫瘤區域輪廓及其腫瘤內部結構，從而進一步證明了本文算法的性能。對比患者 1 的標準結果與本文方法的分割圖可以看出，本文算法給出的分割結果中增強型腫瘤區域所占整體比例比標準結果中所占比例高，存在過分割的情況，這是由于該患者圖像中增強型腫瘤區域占整個腫瘤區域比例太小，正負樣本不均衡問題造成的過分割現象。正負樣本不均衡問題是腦腫瘤分割的另一大挑戰，這是由于腦腫瘤圖像中非腫瘤區域所占比例較大，且內部各子區域所占比例分布不均衡導致，雖然本文通過改進損失函數減少正負樣本不均衡對分割結果造成的影響，但某些極端情況仍會出現過分割結果，解決正負樣本不均衡問題將是本文下一步研究的目標。
3 總結
本文提出了一種雙通道三維密集連接網絡用于腦膠質瘤分割的算法，并通過實驗驗證了該算法的可行性。本文算法采用三維卷積核，相比于二維神經網絡更好地利用了 MRI 圖像中各體素周圍的灰度關系；通過設置不同卷積核大小以獲取多尺度特征，解決了腫瘤區域大小不一致的問題；構建密集連接網絡進行特征學習與傳遞，加強特征復用，與傳統卷積神經網絡逐層連接相比，密集連接網絡大大提高了各級特征對分類層的貢獻，分割精度方面也有顯著提升。通過與其他算法進行對比分析，可以看出本文算法在腫瘤分割中的性能提升十分明顯。
本方法也存在一定的不足，由于 MRI 圖像中非腫瘤區域所占比例較大，且內部各子區域所占比例沒有統一的分布，從而導致嚴重的正負樣本不均衡問題。基于此問題，本文雖然采用多類損失函數以減少正負樣本不均衡造成的分類錯誤，但效果不顯著。今后的工作將致力于解決正負樣本不均衡問題，研究方向有兩個，一是采用級聯網絡，采用分段學習的策略結合多個分割網絡實現腦腫瘤分割；二是將對抗生成式網絡和分割網絡結合起來，更好地利用體素之間的相互關系，生成連續的分割結果，從而抑制正負樣本不均衡問題導致的過分割現象。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
