心臟疾病嚴重威脅著人類健康。近年來,臨床心臟疾病診斷除了評估左心室功能外,也越來越多地開始對右心室功能進行評估。尤其當左心室射血分數較低時,右心室功能評估顯得更為重要。右心室分割是評估其功能的前提。然而,心臟右心室心肌薄,結構復雜且個體差異大,一直是分割的難點。由于心臟電影磁共振圖像是如今臨床評估心室功能的金標準,本文對基于該圖像典型的右心室分割方法、評價方法及發展前景進行了綜述性描述,以便相關領域研究者更好地了解右心室分割研究進展。
引用本文: 李亞, 王麗嘉, 聶生東. 基于心臟電影磁共振圖像的右心室自動分割研究進展. 生物醫學工程學雜志, 2016, 33(6): 1203-1208. doi: 10.7507/1001-5515.20160190 復制
引言
心臟疾病的高發病率和高死亡率嚴重威脅著人類的健康。有效的圖像分割方法對心臟疾病的評估、診斷和預后都十分有意義。很多影像手段,比如心動超聲成像、螺旋CT成像和心臟電影磁共振成像都能提供用于評價心室功能的圖像。其中,心臟電影磁共振成像除了具有無電離輻射損傷、多方位成像、軟組織對比度高等優點外,還能提供時空分辨率高的動態四維圖像,是臨床評估心室功能的金標準[1]。其中,亮血成像技術能采集心臟運動過程中的不同時段(時相)的“靜態”圖像,借助計算機技術能快速、連續顯示心臟運動過程。采集圖像具有血液成像高信號強度、心肌血液對比度高、信噪比高等特點,可以產生結構圖像和功能圖像。短軸心臟電影磁共振圖像是利用亮血技術、按照嚴格的采集過程得到的,非常適合觀察血流和評估心室功能,是臨床分割心室、評估其功能的常用手段。
左心室分割一直是研究熱點,通過分割可以計算左心室容積、心肌質量、心輸出量、射血分數和充盈曲線等功能指標參數,對估計心臟功能具有重要作用。近年來,隨著醫學診斷和影像技術的不斷發展,人們認為右心室功能在評價心臟功能時也非常重要,右心室分割越來越受到研究者的關注[2]。然而,右心室心肌壁較薄,邊界不清且不規則,其心肌、小梁肌、乳頭肌等結構隨著心動周期變化,并且其周圍脂肪組織與血池灰度值接近[3],導致右心室分割進展緩慢且不易實現。
一直以來,國內外很多研究小組都在從事心臟右心室分割技術的研究。現今應用在右心室的分割中比較經典的方法大致可以分為基于圖像像素驅動和基于模型兩類,這兩類方法在心臟左心室分割中應用較多,是常見的比較傳統的分割方法。它們的不同點在于基于圖像像素的分割方法所需先驗知識少,可重復性高,算法相對簡單;基于模型的方法所需先驗知識較多,可重復性低,算法相對復雜;共同點在于右心室分割精度不夠,效果不佳[4]。由于傳統方法在右心室分割上始終沒能取得突破性的進展,近幾年來,右心室功能量化分析研究中涌現出大量基于圖譜分析的右心室量化方法。這類方法沒有直接對圖像進行分割,而是將圖像分割問題轉化為由其他圖像處理手段進行處理,比如配準和融合,從而獲得分割結果。此外,近兩年基于卷積神經網絡的分割方法也應用在了右心室分割中。雖然神經網絡在20世紀80年代就被提出,但其主要應用于模式識別領域。隨著與深度學習理論結合,神經網絡理論得到了進一步的發展,拓寬了應用范圍,其分割效果也較好。
總之,隨著國內外對右心室分割的愈加重視,分割方法還將會不斷創新和發展。為了方便研究者對右心室分割現狀做一個較全面的了解,本文對現有的典型的右心室分割算法、評價方法及發展前景進行了綜述。
1 右心室分割方法綜述
1.1 基于圖像像素驅動的分割技術
這類方法的基本原理是根據圖像自身的屬性進行分割,主要包括閾值法、區域生長法、圖割算法等。閾值法和區域生長法都是以像素灰度值為依據對圖像進行處理,是圖像分割中最基本的方法。
基于下降閾值的區域生長法在傳統區域增長法的基礎上使閾值不斷減小直至溢出,這樣可以最大限度地覆蓋所有的目標區域,提高精確性。現已有文章在此基礎上利用圓錐模型和心室底部心肌判定準則分別對左心室底部和頂部分割進行了改進[5]。與左心室相比,右心室心肌更薄,圖像對照比和信噪比都更差,因此該方法在處理右心室時容易過分割。區域生長算法作為一種經典分割算法,其生長準則和終止條件均有改進和發展的空間。由于右心室自身結構的復雜性,區域生長算法多數情況下不能獨立完成對右心室序列圖像的分割,因此區域生長算法更多地將會應用于圖像預處理或與其他算法聯合使用。
圖割算法將圖像視作一幅網絡圖并建立對應的能量函數,使用最大流/最小割算法將圖像分割成目標區域和背景區域,達到分割目標的目的[6]。單一的使用圖割算法容易受脂肪組織干擾出現邊緣模糊的問題,導致分割失敗,合并形狀先驗信息可以有效防止該現象[7]。
目前將先驗形狀融入圖割技術是優化圖割方法的熱點。文獻[8]運用主成分分析提取右心室訓練集的先驗形狀,并根據定義的目標和背景約束產生由平均圖像直方圖計算得到的概率模型。用戶在先驗形狀模型的房室隔手動標記兩個點,構建仿射變換模型,再利用圖割技術得到分割結果。該方法的優點是分割結構精準,運行時間短;不足之處在于需要手動設置標記點,加大了使用者的工作量。
基于圖像自身驅動的分割算法在右心室分割中總體效果不佳,主要原因在于分割生理結構復雜的人體器官時,易出現泄漏,導致分割失敗。通過建立先驗模型或增加其他的約束條件可有效地解決此類問題[9]。
1.2 基于模型的分割技術
基于模型的分割技術大致分為兩類:基于參數模型分割技術和基于幾何模型分割技術。
1.2.1 基于參數模型的分割技術
(1) 主動輪廓模型
主動輪廓模型(Snakes model)將圖像分割問題轉化為能量函數的收斂問題。其能量函數的內外部能量項達到平衡時,初始輪廓線收斂至感興趣區域邊緣,進而達到分割圖像的目的。
傳統主動輪廓模型在處理信噪比較小的心臟電影圖像時易受輪廓初始位置和噪聲影響,同時極小化求解過程相對不穩定,需要通過多次迭代和增加額外的約束條件來獲得更好的收斂效果。文獻[4]運用基于無邊緣活動輪廓(active contours without edges,ACWE Snakes)的主動輪廓模型,利用水平集框架,最終收斂至兩塊最大的區域即左右心室。此方法優點是右心室短軸中部圖像分割效果好,處理時間短。不足之處在于分割心肌邊界相對模糊的短軸頂部圖像時,分割效果不佳。文獻[10]中通過基于梯度矢量流的活動輪廓模型(gradient vector flow,GVF Snake)和基于自適應擴散流的活動輪廓模型(adaptive diffusion flow,ADF Snakes)在右心室分割中的應用,分析了兩種方法的優缺點。其中ADF Snakes通過引進諧波超曲面函數和無窮大拉普拉斯函數,不但增強了輪廓的捕獲能力,而且具有更好的魯棒性,在保護弱邊緣的同時較GVF snake縮短了處理時間,具有明顯的優勢。
主動輪廓模型的主要發展趨勢是通過對模型中內外能量項的創新和改進,從而提高魯棒性,降低對初始輪廓的敏感性。而針對輪廓的精確捕捉和深凹陷區域的精確收斂,一直是主動輪廓模型的主要發展目標。
(2) 主動形狀模型
主動形狀模型(active shape model,ASM)在點分布模型(point distribution model,PDM)的基礎上,通過訓練圖像樣本獲取特征點分布的統計信息以得到特征點允許存在的變化方向,最終在目標圖像上尋找對應特征點的位置。
文獻[11-12]中提出一種結合牢固點匹配的ASM模型。該方法的主要特點是提取圖像特征點后利用牢固點配準尋找搜索特征點與模型點之間的對應關系。分割右心室時,該方法加強了特征提取過程,使分割結果更加準確,魯棒性更高。在處理磁共振二維、三維數據時該方法具有免疫特征點缺失以及忽略噪聲影響的特點,并具有分割四維數據的潛質。
ASM模型分割右心室時,需要通過訓練集建立形狀模型,進而對特征點進行搜索確定邊界,對形狀的變化較敏感。因此對右心室進行分割時,除需要對形狀信息具有良好的把握外,還需要反映出圖像的紋理特征,于是在ASM的基礎上產生了主動外觀模型(active appearance model,AAM),能獲得更加精準的結果。
(3) 主動外觀模型
AAM與ASM相似,不同點是,AAM不僅利用形狀信息,還能通過統計重要的局部紋理信息,找出形狀與紋理之間的聯系。此外,基于AAM圖像特征定位法在建立模型的過程中,不僅涉及局部特征信息,而且綜合考慮全局形狀和紋理信息,能對目標形狀特征和紋理特征進行統計分析,建立混合模型。
傳統的AAM會過早收斂于局部最小值,導致分割結果不精確;而ASM不善于尋找整體模型的姿態和位置。因此AAM通過與其他技術相結合,發展出一系列具有不同特點的混合模型,并廣泛應用于人臉識別等領域。文獻[13]提出了一種AAM與ASM多級混合的方法,該模型的混合階段由AMM和ASM分別獨立執行,通過加權混合形狀參數和姿態參數得到最終的模型參數,然后多次旋轉角度重復計算以減小誤差。該方法的優勢在于多級混合的方式可以有效降低誤差,其不足是只能分割出右心室心內膜而無法對心外膜進行有效的分割。
AAM較ASM計算復雜程度高,模型建立階段將花費更多時間,同時搜索速度比ASM慢,使用主成分分析法可以達到降維去冗余的目的,能有效減少處理時間。但傳統的主成分分析法無法提高分割的精準性,尋求更高效的特征提取算法,建立精準度更高的AAM模型將是今后的研究方向和重點。
1.2.2 基于幾何模型的分割技術
水平集理論的核心思想是將移動變形的曲線(面)作為零水平集嵌入到更高一維的函數中,進而將分割問題轉化為求解與三維水平集函數有關的偏微分方程的問題,能有效處理圖像分割過程中的拓撲變化[14]。
文獻[4]基于水平集框架對多個區域進行收斂,同時確定左、右心室位置,隨后結合主動輪廓模型分割左、右心室,提高了初始輪廓的魯棒性和結果的精確性。該方法的不足是需要用戶設定初始輪廓,當圖像模糊或邊界不清楚時,易出現邊緣泄漏。
水平集函數的迭代效率決定了分割算法的處理時間,同時該算法容易陷入局部最優,嚴重影響著分割結果的精確性。這對快速、高效、準確地分割右心室提出了挑戰。同時由于水平集理論的特點,可以將其擴展到高維,而隨著目前三維可視化技術日益發展,將水平集算法擴展到三維分割也將成為一種新的研究趨勢。
1.3 其他圖像處理技術相結合的分割方法
基于圖譜的分割技術是近年來出現的一種利用已分割的參考圖像指導分割新圖像的分割技術。基于圖譜的分割技術主要分為兩類:基于單圖譜分割技術(single atlas-based segmentation)與基于多圖譜分割技術(multi atlas-based segmentation)[15]。單圖譜技術與多圖譜技術的區別主要是參考圖像的數量不同,2008年Han等[16]通過對比兩種方法的分割結果精確性,證實多圖譜技術比單圖譜技術的分割性能更好,具有更高的魯棒性。此后大部分的腦組織分割問題多使用多圖譜的方法進行處理。
多圖譜分割技術核心思想是將分割問題轉化為配準和融合問題。配準過程主要使用剛性變換、仿射變換和非線性變換,并通過三種配準方式結合使用,可以精確配準并得到配準參數。融合過程使用的主要是STAPLE(simultaneous truth and performance level estimation)融合策略。該方法適用于對一幅圖像的多個分割結果進行融合。
STAPLE算法主要目標是通過已知數據的概率群分布函數估計每個像素的性能水平參數,然后通過最大期望算法,利用對已知數據的對數似然估計求期望,再求似然函數期望的最大值來獲得分割水平的估計和實現分割結果融合[17]。
多圖譜分割法一般需要多幅分割效果好的圖像Ln以及與它們對應的原始圖像Mn作為圖譜集。算法主要步驟如下[18]:首先從原始圖像Mn中選取與待分割圖像類型相似的多幅Mm,同時獲得與Mm對應的分割好的Lm,然后將Mm與待分割圖像配準,獲得形變參數C,使用形變參數C對Lm進行變換,獲得Lm*即粗分割結果,最后將全部Lm*進行融合,得到最終的分割結果。
文獻[19]中采用基于仿射傳播聚類選擇的方法進行圖譜圖像選擇:將所有圖譜圖像看作一系列數據點,通過數據點之間的消息傳遞聚類。然后采用傳統多圖譜方法處理獲得分割結果。該方法對右心室心底圖像分割最為準確,并通過聚類選擇優化了配準過程,減少了配準時間,提高了分割效率。
此方法的主要優勢是利用專家分割金標準圖像作為圖譜圖像指導配準過程,其結果精確度高。配準時感興趣區域的選取至關重要,感興趣區域選取得越小,分割的精確度越高,對目標圖像粗提取后再配準,能提高結果的精確度[20]。此算法局限性在于計算過程復雜,主要與多次配準過程有關,同時配準結果依賴于圖譜圖像質量。
根據目前的研究進展,多圖譜算法的突破點在于配準規則和融合策略的選擇。通過多種配準規則相結合可以提高配準結果精度,同時好的融合策略具有更高的魯棒性,能提高融合結果的精確性。選擇合適數量的圖譜集圖像不但可以保證結果精度的準確性,同時可以優化處理時間,提高處理效率。多圖譜分割算法是一種較為新穎的分割算法,其在分割方法上開辟了新的思路,相信在不久的將來將會大量應用于醫學圖像的分割。
1.4 基于神經網絡的分割方法
人工神經網絡的研究始于20世紀40年代,80年代后迅速發展。近年來,人工神經網絡因其可充分逼近任意復雜非線性關系,具有較強的魯棒性和容錯性,以及能快速進行大量運算以及能學習和自適應未知系統等特點,廣泛應用于模式識別、信號處理和圖像分割等領域。在圖像分割方面,神經網絡算法與傳統的磁共振圖像分割算法相比具有其獨特優勢:神經網絡通過訓練能對數據進行快速運算,有效提高分割速度;同時神經網絡分割算法對噪聲不敏感,具有很強的魯棒性[21]。
神經網絡分割算法的基礎是其擁有多個簡單的并行單元,每個單元均能進行簡單的運算和記憶,它們彼此聯系在一起,可以傳遞各種數字或符號信息。這種結構類似于大腦的并行處理結構,適用于處理模式識別、模式分類和函數逼近問題,因此在處理圖像分割方面具有良好的前景。目前已應用于腦腫瘤的分割[22]。
文獻[23]首次使用完全卷積神經網絡(fully convolutional networks,FCN)對心臟磁共振短軸圖像進行分割并取得良好的結果。FCN的分割步驟是:對圖像進行下采樣即卷積將圖像的分辨率降低,并轉化為多個卷積層,這樣能夠具有較大的感知域,可以利用深度學習獲得更加抽象的特征,有助于識別性能的提高;然后根據抽象的特征對每個像素進行合理的分類;最后利用上采樣即反卷積將每層的輸出反卷積到原圖大小,可以獲得感興趣區域的輪廓,達到分割右心室的目的[24]。該算法在處理右心室圖像時具有更高的魯棒性和精確性,具有深遠意義。
與傳統的卷積神經網絡相比,FCN可以輸入任意大小的圖像,不需要將訓練圖像與目標圖像的尺寸統一,同時更加高效。FCN的不足點在于結果不夠精細,對細節部分不敏感;沒有考慮像素間的關系,缺乏空間一致性。在FCN的基礎上,文獻[25]使用全連接條件隨機場對像素分類結果進行處理,得到了更加精確并且具有空間一致性的結果。
近年來深度學習與神經網絡算法不斷發展,由于其具有與人類相似的處理信息的能力,在可以預測的將來將可以代替人類承擔多種工作,這也是神經網絡研究的最終目的。
1.5 算法總結
通過對以上各種類別算法的研究發現,基于圖像自身性質的方法在分割右心室等復雜結構時,易受到其他器官組織的影響,導致分割效果不理想。基于模型的分割方法主要依賴于數學模型或幾何模型的收斂效果。神經網絡的方法需要大量的訓練集支持以便于提取各種特征,同時可以獲得較為精確的分割結果。圖譜集分割方法巧妙地將分割問題轉化為配準和融合問題,能很好地克服噪聲影響并獲得精確的分割結果。
2 評價方法
評價方法能夠有效地驗證分割算法的可行性和準確性,是圖像分割的一個重要組成部分。評價方法主要分為兩類:有監督評價方法和無監督評價方法[23]。有監督評價方法在右心室分割中較為常用。該方法將專業人員手動分割結果定義為金標準,自動分割結果與金標準差異越小、相關性越高、一致性越高,則分割效果越好。因此,評價方法通常從分割精確度、相關性分析、一致性分析、處理時間以及是否需要用戶交互等來對分割方法加以評價。這里介紹幾種典型的評價方法。
精確度指標主要包括:豪斯多夫距離(Hausdorff distance,HD)和矩陣相似度(dice metric,DM)。
HD定義為[26]:
$\begin{align} & HD(A,B)=\max (\underset{a\in A}{\mathop{\max }}\,(\underset{b\in B~}{\mathop{\min }}\,\text{d}(a,b)), \\ & \underset{b\in B}{\mathop{\max }}\,(\underset{a\in A}{\mathop{\min }}\,~\text{d}(a,b)) \\ \end{align}$ |
這里,d(a,b)是歐幾里得距離。HD表示兩輪廓間的最大不對稱差異,反映手動分割金標準與實驗結果之間的距離差異。
DM定義為[20]:
$DM({{A}_{a}},{{A}_{m}})=\frac{2{{A}_{\cap }}}{{{A}_{a}}+{{A}_{m}}}$ |
這里,A∩=Aa∩Am。DM可以表示手動分割金標準與實驗結果的重合度,從而評價實驗結果是否精確。DM的變化范圍從0(完全不匹配)到1(完全匹配)。
相關性分析是對兩個或多個具備相關性的變量元素進行分析,從而衡量兩個變量因素的相關密切程度。主要用于評價自動分割結果與金標準之間的相關性。
一致性分析用于評價實驗結果與金標準之間的一致性,常用與圖像處理的方法是Bland-Altman圖法。Bland-Altman圖法主要觀察兩種測量之間差異的分布,它以圖形的方式反映一致性界限。在二維直角坐標中,用橫軸表示兩種方法測量每個對象的平均值,縱軸表示兩種方法測量每個對象的差值。一般情況下,通過一致性界限外的點的百分比以及實際結果與理論值相差的最大值進行分析,評價分割方法的優劣。
處理時間是指某種分割方法在使用明確配置的電腦處理原始圖像時所需的時間。在上述方法中,根據其迭代計算的次數以及計算的復雜程度,時間從十幾秒到幾分鐘不等,它代表不同的處理效率。在精確度相同的情況下,時間越短,效率越高,越便于臨床研究及診斷。
是否需要用戶交互使用體現在該方法是全自動分割還是半自動分割。全自動分割在分割過程中不需要用戶參與即可得出最終結果;半自動分割在運行過程中需要用戶對圖像劃定范圍或設定參數等,一方面增加人機互動,使用戶對分割結果產生影響,另一方面會延長整個分割時間,例如處理序列圖像時,人工操作會大大延長處理時間,并且枯燥重復的人工操作易使用戶疲勞,降低分割結果的精確性。
3 總結與展望
本文通過對國內外有關右心室分割方法的調研,對現有典型右心室分割方法做了一個比較全面的綜述,對其基本理論、分割結果及其應用作了系統詳細的介紹。本文將圖像分割技術總結為兩大類。第一類是傳統分割方法,包括基于圖像自身驅動的分割技術和基于模型的分割技術。其中,基于圖像像素驅動的方法在處理簡單連通域時具有明顯優勢,但在處理復雜結構即心室圖像被心室肌等阻隔時易出現泄漏和欠分割的問題。傳統的圖割、主動輪廓模型以及AAM及其改進模型都需要建立能量函數并使其收斂。但是,由于右心室的脂肪組織干擾,心外膜分割結果往往不理想,需要增加約束條件,例如形狀約束或建立訓練集。第二類是新分割技術,包括基于圖譜分割技術和基于神經網絡分割技術。其中,多圖譜分割方法應用于右心室分割時間雖短,但改變了以往直接對圖像進行分割的思想,這種方法將分割問題轉化為配準和融合問題,將專家金標準加入處理過程,減少了脂肪組織對分割結果的影響,使得右心室外膜不再受脂肪組織干擾。不過,這種方法還有很多可以改進的地方,比如配準過程中的浮動圖像的選擇、運行時間的減少等,都是該算法的難點。好的選擇算法可以提高分割的精確度并大大減少運行時間,同時配準原則和融合規則的選擇也會對分割結果產生重要影響。基于卷積神經網絡的分割方法是一種全新的分割技術,它利用深度學習和神經網絡相結合的方式完成訓練集特征學習以及像素分類,在處理大型圖像方面具有明顯的優勢。良好的分割結果是計算生理數據的前提。使用面積長度法對序列圖像的分割結果進行計算,可以獲得重要心臟的功能參數,如右心室容積、射血分數、充盈曲線等,這些參數是研究右心室功能、評估右心室狀態的主要依據,具有十分重要的臨床意義。
引言
心臟疾病的高發病率和高死亡率嚴重威脅著人類的健康。有效的圖像分割方法對心臟疾病的評估、診斷和預后都十分有意義。很多影像手段,比如心動超聲成像、螺旋CT成像和心臟電影磁共振成像都能提供用于評價心室功能的圖像。其中,心臟電影磁共振成像除了具有無電離輻射損傷、多方位成像、軟組織對比度高等優點外,還能提供時空分辨率高的動態四維圖像,是臨床評估心室功能的金標準[1]。其中,亮血成像技術能采集心臟運動過程中的不同時段(時相)的“靜態”圖像,借助計算機技術能快速、連續顯示心臟運動過程。采集圖像具有血液成像高信號強度、心肌血液對比度高、信噪比高等特點,可以產生結構圖像和功能圖像。短軸心臟電影磁共振圖像是利用亮血技術、按照嚴格的采集過程得到的,非常適合觀察血流和評估心室功能,是臨床分割心室、評估其功能的常用手段。
左心室分割一直是研究熱點,通過分割可以計算左心室容積、心肌質量、心輸出量、射血分數和充盈曲線等功能指標參數,對估計心臟功能具有重要作用。近年來,隨著醫學診斷和影像技術的不斷發展,人們認為右心室功能在評價心臟功能時也非常重要,右心室分割越來越受到研究者的關注[2]。然而,右心室心肌壁較薄,邊界不清且不規則,其心肌、小梁肌、乳頭肌等結構隨著心動周期變化,并且其周圍脂肪組織與血池灰度值接近[3],導致右心室分割進展緩慢且不易實現。
一直以來,國內外很多研究小組都在從事心臟右心室分割技術的研究。現今應用在右心室的分割中比較經典的方法大致可以分為基于圖像像素驅動和基于模型兩類,這兩類方法在心臟左心室分割中應用較多,是常見的比較傳統的分割方法。它們的不同點在于基于圖像像素的分割方法所需先驗知識少,可重復性高,算法相對簡單;基于模型的方法所需先驗知識較多,可重復性低,算法相對復雜;共同點在于右心室分割精度不夠,效果不佳[4]。由于傳統方法在右心室分割上始終沒能取得突破性的進展,近幾年來,右心室功能量化分析研究中涌現出大量基于圖譜分析的右心室量化方法。這類方法沒有直接對圖像進行分割,而是將圖像分割問題轉化為由其他圖像處理手段進行處理,比如配準和融合,從而獲得分割結果。此外,近兩年基于卷積神經網絡的分割方法也應用在了右心室分割中。雖然神經網絡在20世紀80年代就被提出,但其主要應用于模式識別領域。隨著與深度學習理論結合,神經網絡理論得到了進一步的發展,拓寬了應用范圍,其分割效果也較好。
總之,隨著國內外對右心室分割的愈加重視,分割方法還將會不斷創新和發展。為了方便研究者對右心室分割現狀做一個較全面的了解,本文對現有的典型的右心室分割算法、評價方法及發展前景進行了綜述。
1 右心室分割方法綜述
1.1 基于圖像像素驅動的分割技術
這類方法的基本原理是根據圖像自身的屬性進行分割,主要包括閾值法、區域生長法、圖割算法等。閾值法和區域生長法都是以像素灰度值為依據對圖像進行處理,是圖像分割中最基本的方法。
基于下降閾值的區域生長法在傳統區域增長法的基礎上使閾值不斷減小直至溢出,這樣可以最大限度地覆蓋所有的目標區域,提高精確性。現已有文章在此基礎上利用圓錐模型和心室底部心肌判定準則分別對左心室底部和頂部分割進行了改進[5]。與左心室相比,右心室心肌更薄,圖像對照比和信噪比都更差,因此該方法在處理右心室時容易過分割。區域生長算法作為一種經典分割算法,其生長準則和終止條件均有改進和發展的空間。由于右心室自身結構的復雜性,區域生長算法多數情況下不能獨立完成對右心室序列圖像的分割,因此區域生長算法更多地將會應用于圖像預處理或與其他算法聯合使用。
圖割算法將圖像視作一幅網絡圖并建立對應的能量函數,使用最大流/最小割算法將圖像分割成目標區域和背景區域,達到分割目標的目的[6]。單一的使用圖割算法容易受脂肪組織干擾出現邊緣模糊的問題,導致分割失敗,合并形狀先驗信息可以有效防止該現象[7]。
目前將先驗形狀融入圖割技術是優化圖割方法的熱點。文獻[8]運用主成分分析提取右心室訓練集的先驗形狀,并根據定義的目標和背景約束產生由平均圖像直方圖計算得到的概率模型。用戶在先驗形狀模型的房室隔手動標記兩個點,構建仿射變換模型,再利用圖割技術得到分割結果。該方法的優點是分割結構精準,運行時間短;不足之處在于需要手動設置標記點,加大了使用者的工作量。
基于圖像自身驅動的分割算法在右心室分割中總體效果不佳,主要原因在于分割生理結構復雜的人體器官時,易出現泄漏,導致分割失敗。通過建立先驗模型或增加其他的約束條件可有效地解決此類問題[9]。
1.2 基于模型的分割技術
基于模型的分割技術大致分為兩類:基于參數模型分割技術和基于幾何模型分割技術。
1.2.1 基于參數模型的分割技術
(1) 主動輪廓模型
主動輪廓模型(Snakes model)將圖像分割問題轉化為能量函數的收斂問題。其能量函數的內外部能量項達到平衡時,初始輪廓線收斂至感興趣區域邊緣,進而達到分割圖像的目的。
傳統主動輪廓模型在處理信噪比較小的心臟電影圖像時易受輪廓初始位置和噪聲影響,同時極小化求解過程相對不穩定,需要通過多次迭代和增加額外的約束條件來獲得更好的收斂效果。文獻[4]運用基于無邊緣活動輪廓(active contours without edges,ACWE Snakes)的主動輪廓模型,利用水平集框架,最終收斂至兩塊最大的區域即左右心室。此方法優點是右心室短軸中部圖像分割效果好,處理時間短。不足之處在于分割心肌邊界相對模糊的短軸頂部圖像時,分割效果不佳。文獻[10]中通過基于梯度矢量流的活動輪廓模型(gradient vector flow,GVF Snake)和基于自適應擴散流的活動輪廓模型(adaptive diffusion flow,ADF Snakes)在右心室分割中的應用,分析了兩種方法的優缺點。其中ADF Snakes通過引進諧波超曲面函數和無窮大拉普拉斯函數,不但增強了輪廓的捕獲能力,而且具有更好的魯棒性,在保護弱邊緣的同時較GVF snake縮短了處理時間,具有明顯的優勢。
主動輪廓模型的主要發展趨勢是通過對模型中內外能量項的創新和改進,從而提高魯棒性,降低對初始輪廓的敏感性。而針對輪廓的精確捕捉和深凹陷區域的精確收斂,一直是主動輪廓模型的主要發展目標。
(2) 主動形狀模型
主動形狀模型(active shape model,ASM)在點分布模型(point distribution model,PDM)的基礎上,通過訓練圖像樣本獲取特征點分布的統計信息以得到特征點允許存在的變化方向,最終在目標圖像上尋找對應特征點的位置。
文獻[11-12]中提出一種結合牢固點匹配的ASM模型。該方法的主要特點是提取圖像特征點后利用牢固點配準尋找搜索特征點與模型點之間的對應關系。分割右心室時,該方法加強了特征提取過程,使分割結果更加準確,魯棒性更高。在處理磁共振二維、三維數據時該方法具有免疫特征點缺失以及忽略噪聲影響的特點,并具有分割四維數據的潛質。
ASM模型分割右心室時,需要通過訓練集建立形狀模型,進而對特征點進行搜索確定邊界,對形狀的變化較敏感。因此對右心室進行分割時,除需要對形狀信息具有良好的把握外,還需要反映出圖像的紋理特征,于是在ASM的基礎上產生了主動外觀模型(active appearance model,AAM),能獲得更加精準的結果。
(3) 主動外觀模型
AAM與ASM相似,不同點是,AAM不僅利用形狀信息,還能通過統計重要的局部紋理信息,找出形狀與紋理之間的聯系。此外,基于AAM圖像特征定位法在建立模型的過程中,不僅涉及局部特征信息,而且綜合考慮全局形狀和紋理信息,能對目標形狀特征和紋理特征進行統計分析,建立混合模型。
傳統的AAM會過早收斂于局部最小值,導致分割結果不精確;而ASM不善于尋找整體模型的姿態和位置。因此AAM通過與其他技術相結合,發展出一系列具有不同特點的混合模型,并廣泛應用于人臉識別等領域。文獻[13]提出了一種AAM與ASM多級混合的方法,該模型的混合階段由AMM和ASM分別獨立執行,通過加權混合形狀參數和姿態參數得到最終的模型參數,然后多次旋轉角度重復計算以減小誤差。該方法的優勢在于多級混合的方式可以有效降低誤差,其不足是只能分割出右心室心內膜而無法對心外膜進行有效的分割。
AAM較ASM計算復雜程度高,模型建立階段將花費更多時間,同時搜索速度比ASM慢,使用主成分分析法可以達到降維去冗余的目的,能有效減少處理時間。但傳統的主成分分析法無法提高分割的精準性,尋求更高效的特征提取算法,建立精準度更高的AAM模型將是今后的研究方向和重點。
1.2.2 基于幾何模型的分割技術
水平集理論的核心思想是將移動變形的曲線(面)作為零水平集嵌入到更高一維的函數中,進而將分割問題轉化為求解與三維水平集函數有關的偏微分方程的問題,能有效處理圖像分割過程中的拓撲變化[14]。
文獻[4]基于水平集框架對多個區域進行收斂,同時確定左、右心室位置,隨后結合主動輪廓模型分割左、右心室,提高了初始輪廓的魯棒性和結果的精確性。該方法的不足是需要用戶設定初始輪廓,當圖像模糊或邊界不清楚時,易出現邊緣泄漏。
水平集函數的迭代效率決定了分割算法的處理時間,同時該算法容易陷入局部最優,嚴重影響著分割結果的精確性。這對快速、高效、準確地分割右心室提出了挑戰。同時由于水平集理論的特點,可以將其擴展到高維,而隨著目前三維可視化技術日益發展,將水平集算法擴展到三維分割也將成為一種新的研究趨勢。
1.3 其他圖像處理技術相結合的分割方法
基于圖譜的分割技術是近年來出現的一種利用已分割的參考圖像指導分割新圖像的分割技術。基于圖譜的分割技術主要分為兩類:基于單圖譜分割技術(single atlas-based segmentation)與基于多圖譜分割技術(multi atlas-based segmentation)[15]。單圖譜技術與多圖譜技術的區別主要是參考圖像的數量不同,2008年Han等[16]通過對比兩種方法的分割結果精確性,證實多圖譜技術比單圖譜技術的分割性能更好,具有更高的魯棒性。此后大部分的腦組織分割問題多使用多圖譜的方法進行處理。
多圖譜分割技術核心思想是將分割問題轉化為配準和融合問題。配準過程主要使用剛性變換、仿射變換和非線性變換,并通過三種配準方式結合使用,可以精確配準并得到配準參數。融合過程使用的主要是STAPLE(simultaneous truth and performance level estimation)融合策略。該方法適用于對一幅圖像的多個分割結果進行融合。
STAPLE算法主要目標是通過已知數據的概率群分布函數估計每個像素的性能水平參數,然后通過最大期望算法,利用對已知數據的對數似然估計求期望,再求似然函數期望的最大值來獲得分割水平的估計和實現分割結果融合[17]。
多圖譜分割法一般需要多幅分割效果好的圖像Ln以及與它們對應的原始圖像Mn作為圖譜集。算法主要步驟如下[18]:首先從原始圖像Mn中選取與待分割圖像類型相似的多幅Mm,同時獲得與Mm對應的分割好的Lm,然后將Mm與待分割圖像配準,獲得形變參數C,使用形變參數C對Lm進行變換,獲得Lm*即粗分割結果,最后將全部Lm*進行融合,得到最終的分割結果。
文獻[19]中采用基于仿射傳播聚類選擇的方法進行圖譜圖像選擇:將所有圖譜圖像看作一系列數據點,通過數據點之間的消息傳遞聚類。然后采用傳統多圖譜方法處理獲得分割結果。該方法對右心室心底圖像分割最為準確,并通過聚類選擇優化了配準過程,減少了配準時間,提高了分割效率。
此方法的主要優勢是利用專家分割金標準圖像作為圖譜圖像指導配準過程,其結果精確度高。配準時感興趣區域的選取至關重要,感興趣區域選取得越小,分割的精確度越高,對目標圖像粗提取后再配準,能提高結果的精確度[20]。此算法局限性在于計算過程復雜,主要與多次配準過程有關,同時配準結果依賴于圖譜圖像質量。
根據目前的研究進展,多圖譜算法的突破點在于配準規則和融合策略的選擇。通過多種配準規則相結合可以提高配準結果精度,同時好的融合策略具有更高的魯棒性,能提高融合結果的精確性。選擇合適數量的圖譜集圖像不但可以保證結果精度的準確性,同時可以優化處理時間,提高處理效率。多圖譜分割算法是一種較為新穎的分割算法,其在分割方法上開辟了新的思路,相信在不久的將來將會大量應用于醫學圖像的分割。
1.4 基于神經網絡的分割方法
人工神經網絡的研究始于20世紀40年代,80年代后迅速發展。近年來,人工神經網絡因其可充分逼近任意復雜非線性關系,具有較強的魯棒性和容錯性,以及能快速進行大量運算以及能學習和自適應未知系統等特點,廣泛應用于模式識別、信號處理和圖像分割等領域。在圖像分割方面,神經網絡算法與傳統的磁共振圖像分割算法相比具有其獨特優勢:神經網絡通過訓練能對數據進行快速運算,有效提高分割速度;同時神經網絡分割算法對噪聲不敏感,具有很強的魯棒性[21]。
神經網絡分割算法的基礎是其擁有多個簡單的并行單元,每個單元均能進行簡單的運算和記憶,它們彼此聯系在一起,可以傳遞各種數字或符號信息。這種結構類似于大腦的并行處理結構,適用于處理模式識別、模式分類和函數逼近問題,因此在處理圖像分割方面具有良好的前景。目前已應用于腦腫瘤的分割[22]。
文獻[23]首次使用完全卷積神經網絡(fully convolutional networks,FCN)對心臟磁共振短軸圖像進行分割并取得良好的結果。FCN的分割步驟是:對圖像進行下采樣即卷積將圖像的分辨率降低,并轉化為多個卷積層,這樣能夠具有較大的感知域,可以利用深度學習獲得更加抽象的特征,有助于識別性能的提高;然后根據抽象的特征對每個像素進行合理的分類;最后利用上采樣即反卷積將每層的輸出反卷積到原圖大小,可以獲得感興趣區域的輪廓,達到分割右心室的目的[24]。該算法在處理右心室圖像時具有更高的魯棒性和精確性,具有深遠意義。
與傳統的卷積神經網絡相比,FCN可以輸入任意大小的圖像,不需要將訓練圖像與目標圖像的尺寸統一,同時更加高效。FCN的不足點在于結果不夠精細,對細節部分不敏感;沒有考慮像素間的關系,缺乏空間一致性。在FCN的基礎上,文獻[25]使用全連接條件隨機場對像素分類結果進行處理,得到了更加精確并且具有空間一致性的結果。
近年來深度學習與神經網絡算法不斷發展,由于其具有與人類相似的處理信息的能力,在可以預測的將來將可以代替人類承擔多種工作,這也是神經網絡研究的最終目的。
1.5 算法總結
通過對以上各種類別算法的研究發現,基于圖像自身性質的方法在分割右心室等復雜結構時,易受到其他器官組織的影響,導致分割效果不理想。基于模型的分割方法主要依賴于數學模型或幾何模型的收斂效果。神經網絡的方法需要大量的訓練集支持以便于提取各種特征,同時可以獲得較為精確的分割結果。圖譜集分割方法巧妙地將分割問題轉化為配準和融合問題,能很好地克服噪聲影響并獲得精確的分割結果。
2 評價方法
評價方法能夠有效地驗證分割算法的可行性和準確性,是圖像分割的一個重要組成部分。評價方法主要分為兩類:有監督評價方法和無監督評價方法[23]。有監督評價方法在右心室分割中較為常用。該方法將專業人員手動分割結果定義為金標準,自動分割結果與金標準差異越小、相關性越高、一致性越高,則分割效果越好。因此,評價方法通常從分割精確度、相關性分析、一致性分析、處理時間以及是否需要用戶交互等來對分割方法加以評價。這里介紹幾種典型的評價方法。
精確度指標主要包括:豪斯多夫距離(Hausdorff distance,HD)和矩陣相似度(dice metric,DM)。
HD定義為[26]:
$\begin{align} & HD(A,B)=\max (\underset{a\in A}{\mathop{\max }}\,(\underset{b\in B~}{\mathop{\min }}\,\text{d}(a,b)), \\ & \underset{b\in B}{\mathop{\max }}\,(\underset{a\in A}{\mathop{\min }}\,~\text{d}(a,b)) \\ \end{align}$ |
這里,d(a,b)是歐幾里得距離。HD表示兩輪廓間的最大不對稱差異,反映手動分割金標準與實驗結果之間的距離差異。
DM定義為[20]:
$DM({{A}_{a}},{{A}_{m}})=\frac{2{{A}_{\cap }}}{{{A}_{a}}+{{A}_{m}}}$ |
這里,A∩=Aa∩Am。DM可以表示手動分割金標準與實驗結果的重合度,從而評價實驗結果是否精確。DM的變化范圍從0(完全不匹配)到1(完全匹配)。
相關性分析是對兩個或多個具備相關性的變量元素進行分析,從而衡量兩個變量因素的相關密切程度。主要用于評價自動分割結果與金標準之間的相關性。
一致性分析用于評價實驗結果與金標準之間的一致性,常用與圖像處理的方法是Bland-Altman圖法。Bland-Altman圖法主要觀察兩種測量之間差異的分布,它以圖形的方式反映一致性界限。在二維直角坐標中,用橫軸表示兩種方法測量每個對象的平均值,縱軸表示兩種方法測量每個對象的差值。一般情況下,通過一致性界限外的點的百分比以及實際結果與理論值相差的最大值進行分析,評價分割方法的優劣。
處理時間是指某種分割方法在使用明確配置的電腦處理原始圖像時所需的時間。在上述方法中,根據其迭代計算的次數以及計算的復雜程度,時間從十幾秒到幾分鐘不等,它代表不同的處理效率。在精確度相同的情況下,時間越短,效率越高,越便于臨床研究及診斷。
是否需要用戶交互使用體現在該方法是全自動分割還是半自動分割。全自動分割在分割過程中不需要用戶參與即可得出最終結果;半自動分割在運行過程中需要用戶對圖像劃定范圍或設定參數等,一方面增加人機互動,使用戶對分割結果產生影響,另一方面會延長整個分割時間,例如處理序列圖像時,人工操作會大大延長處理時間,并且枯燥重復的人工操作易使用戶疲勞,降低分割結果的精確性。
3 總結與展望
本文通過對國內外有關右心室分割方法的調研,對現有典型右心室分割方法做了一個比較全面的綜述,對其基本理論、分割結果及其應用作了系統詳細的介紹。本文將圖像分割技術總結為兩大類。第一類是傳統分割方法,包括基于圖像自身驅動的分割技術和基于模型的分割技術。其中,基于圖像像素驅動的方法在處理簡單連通域時具有明顯優勢,但在處理復雜結構即心室圖像被心室肌等阻隔時易出現泄漏和欠分割的問題。傳統的圖割、主動輪廓模型以及AAM及其改進模型都需要建立能量函數并使其收斂。但是,由于右心室的脂肪組織干擾,心外膜分割結果往往不理想,需要增加約束條件,例如形狀約束或建立訓練集。第二類是新分割技術,包括基于圖譜分割技術和基于神經網絡分割技術。其中,多圖譜分割方法應用于右心室分割時間雖短,但改變了以往直接對圖像進行分割的思想,這種方法將分割問題轉化為配準和融合問題,將專家金標準加入處理過程,減少了脂肪組織對分割結果的影響,使得右心室外膜不再受脂肪組織干擾。不過,這種方法還有很多可以改進的地方,比如配準過程中的浮動圖像的選擇、運行時間的減少等,都是該算法的難點。好的選擇算法可以提高分割的精確度并大大減少運行時間,同時配準原則和融合規則的選擇也會對分割結果產生重要影響。基于卷積神經網絡的分割方法是一種全新的分割技術,它利用深度學習和神經網絡相結合的方式完成訓練集特征學習以及像素分類,在處理大型圖像方面具有明顯的優勢。良好的分割結果是計算生理數據的前提。使用面積長度法對序列圖像的分割結果進行計算,可以獲得重要心臟的功能參數,如右心室容積、射血分數、充盈曲線等,這些參數是研究右心室功能、評估右心室狀態的主要依據,具有十分重要的臨床意義。