醫學圖像融合技術實現了功能圖像與解剖圖像的優勢整合, 本文對特征級多模態醫學圖像融合技術的研究進展予以探討, 首先闡述了特征級醫學圖像融合的原理, 然后對模糊集、粗糙集、D-S證據理論、人工神經網絡、主成分分析等融合方法在醫學圖像融合中的應用進行了分析和總結, 最后指出特征級醫學圖像融合方法目前面臨的主要問題及今后研究的發展方向。
引用本文： 張俊杰, 周濤, 陸惠玲, 王惠群. 特征級多模態醫學圖像融合技術的研究與進展. 生物醫學工程學雜志, 2016, 33(2): 394-399. doi: 10.7507/1001-5515.20160067 復制
引言
醫學影像技術的發展為臨床診斷提供了動態、立體、多模態的醫學顯像[1]，根據成像原理的不同，醫學圖像可分為兩大類：解剖結構類圖像和功能結構類圖像。解剖結構類圖像擁有較高的空間分辨率，能夠提供人體臟器和組織的解剖結構信息，但無法反映組織、器官的功能信息；功能結構類圖像能夠提供臟器功能的代謝信息，但空間分辨率較差，無法顯示病變組織的解剖細節，醫學圖像融合技術則可充分利用不同類型的醫學圖像對病灶信息描述的冗余性和互補性，對不同模態的醫學圖像進行智能融合處理，使同一病灶的多源圖像信息綜合表達在一張圖像上，融合后圖像的可靠性、穩定性及容錯能力有了大幅提升[2]，從而為臨床診斷提供更加有力的證據支持。
由于醫學圖像往往涉及人體各類組織器官，因此具有數據海量性、灰度模糊性、結構復雜性、噪聲顯著性等特點，低層次的像素級圖像融合是直接基于像素的融合處理，往往數據處理時間復雜度高、實時性差，其結果不能最優地表達醫學圖像信息，而特征級醫學圖像融合所提取的特征集合與目標識別、結果評價、診斷分析有直接關系，因而融合結果能最大限度地反映所需要的特征信息，可有效用于醫學圖像處理。
基于以上原因，本文主要對特征級醫學圖像融合方法的應用研究進行分析和探討。在介紹其融合原理及國內外相關研究的基礎上，指出了目前特征級醫學圖像融合方法所存在的問題和不足，并提出了改進這些問題的思路。
1 特征級醫學圖像融合原理
特征級醫學圖像融合的過程通常包含圖像預處理、圖像配準及圖像融合三個部分，其中圖像預處理和配準是融合的前提，而特征提取是配準的重要組成部分，融合階段則是實現特征信息的聚合和降維處理。
圖像預處理的目的是在保留有效數據的基礎上，去除圖像的噪聲信息，增強圖像對比度和細節分辨率，從而提高特征提取的可靠性。
圖像特征是區別圖像內容的基本屬性，經過初始階段的圖像預處理，配準階段通常提取圖像的顏色特征[3]、形狀特征[4]、紋理特征[5]，經過尺度變換、空間旋轉、定位翻譯、特征點匹配等操作實現空間配準，這為融合階段的數據聚合、特征降維提供了重要基礎。
作為配準階段的重要內容，特征提取包括特征變換和特征選擇兩種方法，前者是通過變換特征實現高維特征集合到低維特征集合的映射；后者是指從給定的特征集合中，按照篩選規則選擇出具有良好代表性、可分性的特征子集合，其中特征選擇根據選擇思想不同可以分為特征優選和特征劣選。特征優選是從原始特征中提取分類性能較好的特征子集，而特征劣選則是從原始特征中剔除冗余或無關的特征子集，圖 1給出了常用的特征子集搜索算法。
圖1
特征子集搜索算法分類
Figure1.
Search algorithm classification of feature subset
單一的特征集合往往難以描述全部圖像信息，因此提取圖像的多維特征集合對于生物學研究、臨床分析具有重要意義，如通過對顏色和紋理特征進行分別處理、綜合分析，實現對胃腸道疾病的準確檢測[6]、生殖細胞的精確分類[7]以及腫瘤細胞的精準判別[8]等。
融合前期需要對特征信息進行聚合，由于每一分類特征均可提取大量特征信息，這會導致特征信息維度過高、圖像處理過于復雜，因此需要進行特征降維，保留適度、適量的特征信息。所謂特征降維，即通過刪除冗余特征，利用低緯度的特征集合來表示高緯度特征信息，通過降維函數F可實現特征降維，如圖 2所示。
圖2
醫學圖像降維示意圖
Figure2.
Schematic diagram of dimensionality reduction in medical image
基于以上分析，并結合常見病變組織、成像模態以及評價準則，本文給出了特征級醫學圖像融合流程圖，如圖 3所示。
圖3
特征級醫學圖像融合流程圖
Figure3.
Flow diagram of medical image fusion at feature level
2 特征級醫學圖像融合方法
以特征提取技術為核心，結合機器學習、模糊邏輯、神經網絡等新型軟計算方法，目前常用的特征級醫學圖像融合方法可分為：基于模糊集(fuzzy set)的方法、基于粗糙集(rough set)的方法、基于D-S證據理論(D-S evidence theory)的方法、基于神經網絡的方法和基于主成分分析(principal component analysis, PCA)的方法，下面將對以上各種方法的應用現狀作進一步分析說明。
2.1 基于模糊集的方法
模糊集是用數學的思維和方法處理模糊性現象，由于圖像自身具有模糊性，所以模糊集理論非常適合圖像數據處理與分析，模糊集理論在醫學領域的應用還包括醫學數據分類[9]、疾病診斷[10]等。由于傳統模糊集在處理實際對象的模糊性和不確定性方面具有一定的局限性，因此逐漸發展出二型模糊集、區間值模糊集、直覺模糊集及區間值直覺模糊集等改進的理論模型。Qiu等[11]將改進的二型模糊C均值算法用于MRI圖像分割，彌補了傳統算法對噪聲信息的過度敏感；Bigand等[12]提出了限制閾值或參數數量的新型區間值模糊算法用于圖像濾波，能夠在保留圖像細節的基礎上更好地降低噪聲信息；Balasubramaniam等[13]利用直覺模糊集中的最大、最小操作，提出新型直覺模糊集圖像融合算法，在各種性能指標方面均優于傳統算法；目前區間值直覺模糊集的研究主要集中在決策分析方面[14]。除了對模糊集理論自身的改進外，模糊集同其他軟計算方法的結合也是模糊集理論的研究熱點，如模糊集結合粗糙集構建數據分類模型[15]、實現特征規則提取[16]；模糊集與神經網絡構建多維數據預測系統[17]。通過分析經典模糊集理論的優缺點可以發現，減少模糊邏輯理論對主觀經驗的過分依賴以及與其他融合方法相結合是模糊集理論模型發展的重要方向。
2.2 基于粗糙集的方法
粗糙集理論作為一種刻劃不確定性和不完整性的軟計算數學工具，具有提取信息高效、無需先驗知識、易于結合其他智能方法等優點，使其在圖像濾波、圖像增強、圖像分割、特征提取中得到了廣泛應用。王國胤等[18]基于粒、元素、子系統、論域、關系、集合、近似空間等內容對粗糙集模型的擴展進行了探討，目前常用的粗糙集模型有傳統Pawlak粗糙集模型、引入分類誤差的變精度粗糙集模型、模糊集與粗糙集相結合的模糊粗糙集模型、粗糙模糊集模型、引入概率論的概率粗糙集模型等。Phophalia等[19]基于粗糙集理論提出了一種腦核磁圖像的去噪方法，這種去噪方法在醫學圖像處理方面具有良好的適用性；Ningler等[20]提出的改進變精度粗糙集模型能有效實現腦電圖數據的屬性約簡；Pramod等[21]提出的新型模糊粗糙集算法在特征選擇及多特征數據集分類的應用上具有良好性能；Ji等[22]將廣義粗糙模糊C均值算法應用于腦磁共振圖像分割，該方法具有良好的魯棒性及去噪能力；概率粗糙集通常被用于解決決策分析方面的問題[23]。為提升粗糙集在醫學圖像處理方面的能力，目前粗糙集的主要研究內容為屬性約簡與特征提取算法，而與支持向量機、神經網絡、模糊集等軟計算方法的結合也是其重要研究方向，如概率粗糙模糊集、變精度概率粗糙模糊集及貝葉斯粗糙模糊集用于決策分析[24]，模糊粗糙集與粒度神經網絡結合實現無監督的特征選擇[25]等。
2.3 基于D-S證據理論的方法
D-S證據理論是一種處理、測量和組合不確定性的有力工具，在圖像處理及決策分析上有十分明顯的優勢。例如，基于D-S證據理論噪聲檢測器的濾波器能有效抑制脈沖噪聲以及脈沖、高斯混合噪聲[26]；基于D-S證據理論的方法可有效用于皮膚檢測[27]。現有的證據理論方法大多是基于D-S證據理論進行的改進，尚未形成較為獨立的擴展模型。例如，毛海岑等[28]基于改進的D-S證據理論實現了具有差異性的濾波結果融合；姚麗莎等[29]基于D-S證據理論的多特征融合規則對小波域內的高頻分量進行圖像融合，該算法在保留圖像信息的基礎上降低了融合過程中的不確定性。D-S證據理論與其他理論方法的結合可有效提高數據處理及決策分析能力，如D-S證據理論與粗糙集理論被用于屬性約簡[30]，D-S證據理論與模糊集理論相結合應用于醫學診斷[31]，通過D-S證據理論與神經網絡對煤層地形進行預測[32]。目前，D-S證據理論仍然存在許多不足，主要從組合規則和證據源兩方面進行改進：在組合規則上對沖突信息進行規則重新分配；在證據源上利用證據間的距離證據源的固有特征進行量化，降低“壞”證據的權重[28]。
2.4 基于人工神經網絡的方法
人工神經網絡(artificial neural network, ANN)是通過學習的方式對給定數據進行分析、分類的數學模型，具有良好的大規模分布式并行存儲和處理能力、高度魯棒性及容錯能力以及自適應和自學能力，對于解決具有不確定性、模糊性的醫學圖像處理問題極其有效。人工神經網絡的典型模型包括自組織映射(self-organizing map, SOM)神經網絡、脈沖耦合神經網絡(pulse coupled neural network, PCNN)、反向傳播(back propagation，BP)神經網絡、自適應共振(adaptive resonance theory, ART)神經網絡、Kohonen神經網絡、Hopfield神經網絡、徑向基函數(radical basis function, RBF)神經網絡，近年來的研究大多集中在運用神經網絡提高特征分類速度和準確性以及實現圖形分割、去噪、數據融合等方面。例如，Hemanth等[33]將改進的人工神經網絡應用于腦核磁共振圖像分類，提高了分類速度和分類質量；Torbati等[34]提出的移動平均數自組織映射神經網絡在腫瘤圖像區域選擇與分割方面均優于傳統方法；Bhattacharyya等[35]運用自組織神經網絡模型實現了二進制圖形的有效去噪。盡管人工神經網絡有良好的學習能力，但對數據的質量和學習算法收斂度的準確性過于敏感[36]。為提升人工神經網絡的魯棒性，從而提升圖像融合質量及效率，方法模型的交叉應用成為圖像融合的重要研究方向，如小波變換系數結合脈沖耦合神經網絡實現了良好的圖像融合效果[37]，小波變換、壓縮感知和脈沖耦合神經網絡構建的新型融合算法具有良好的穩定性和靈活性[38]。根據近年的研究成果不難發現，方法交叉更多的是神經網絡與像素級融合算法的結合，而與特征選擇類方法結合的研究較為遲緩，考慮到神經網絡應用于特征分類的高效性以及特征選擇算法的優越性，兩者的結合必定能夠為圖像融合的發展注入新的活力。
2.5 基于主成分分析的方法
PCA是一種基于統計特性的提取方法，在數據處理方面具有保熵性、去相關性、易于能量重新分配等優點，通常用于醫學圖像處理中的數據降維、圖像融合及目標識別等方面。PCA方法的應用層次比較寬松，不僅常常被用于像素級圖像融合，而且在特征級圖像處理上的應用上也得到了眾多學者的關注，算法通常根據具體的應用不斷被改進。例如，Hansen等[39]基于內核PCA提出了一種高效的圖像去噪方法；He等[40]基于PCA和IHS變換實現了具有高保真效果的多模態大腦圖像融合；曾岳等[41]利用改進的二維主成分分析(two-dimensional principal component analysis, 2DPCA)方法提取人臉特征。僅僅使用PCA很難滿足圖像處理的各種不同需求, 因此，PCA也通常與線性判別分析、獨立成分分析等方法形成優勢互補，實現人臉識別、圖像分類等操作[42-43]。通對各種方法的對比與分析可以發現，傳統的PCA在應用上存在許多不足，如提取的圖像灰度特征具有環境敏感性，擁有較高的時間復雜度等，因此，提高特征融合的基礎上壓縮算法處理時間以及加強與其他融合方法的協同工作是PCA算法改進的重要方向。
3 融合評價準則
融合圖像質量的評價準則通常分為：主觀評價和客觀評價。主觀評價是指根據自己的主觀感受和統計結果對醫學圖像清晰度、逼真度做出評判。其優點是簡單直觀，容易實現；缺點是受觀察者的主觀意識、圖像類型和應用環境等因素的影響較大。客觀評價通常選用具體的評價指標對源圖像與融合圖像的質量進行對比分析，常用客觀評價方法如圖 4所示。客觀評價的優點是能夠對成像質量進行分類、量化分析，但其仍然存在一定的缺陷，如對圖像的同一性質采用過多的相似指標進行描述，難以同時對多幅融合圖像進行對比評價，標準圖像或者標準值難以確定，不同的融合方法采用的客觀評價指標也存在差異等。因此，結合實際應用，兩者的差異主要在于：主觀評價通常用于臨床診斷，因為醫生并不需要對融合圖像的整體亮度、色彩反差進行深入研究，只需觀察病灶組織是否成像清晰、是否能夠成為診斷結論的重要依據；客觀評價則通常用于融合圖像的實驗研究，評判融合算法的改進效果，或者用于評價相似圖像的細微差別。
圖4
客觀評價方法
Figure4.
Objective evaluation methods
4 小結
相比于像素級圖像融合，特征級圖像融合技術還有待提升，尤其是在專業領域的應用存在許多不足，研究大多是基于圖像融合本身，而較少考慮臨床診斷、決策判定。特征級醫學圖像融合方法同時面臨著社會與技術挑戰，如：科研人員對成像組織、病情狀況的主觀認識程度；目標圖像獲取的難易程度以及對圖像處理方向、處理程度的要求；特征提取與處理過程中的像素值異常、特征丟失、傳感器錯誤、空間配準不完全等[36]。一幅圖像根據不同的目的需要做不同類型的處理，但融合的每個階段都應該正確有效，如預處理階段要避免降噪不完全、保證濾波充分；配準階段要根據具體需求改進特征提取算法，并保證空間配準精確；融合階段則要選取合適的融合規則實現有效的融合結果等。通過對特征級醫學圖像融合問題的分析，融合技術可通過以下幾個方面進行改進：提高成像技術從而提升成像精度；優化成像模態，促進一體機的改進，完善實時融合成像；探索高效率的融合算法，降低算法的時間復雜度；統一、完善融合評價體系，對于融合質量的評判給予研究人員統一的理論指導。
盡管面臨諸多困難，但醫學圖像融合技術綜合了多種現代科學技術，融合效果也得到了實踐的肯定，在不斷的改進與完善中，特征級醫學圖像融合技術將會為圖像分析、臨床診斷提供更加充足的證據支持。
引言
醫學影像技術的發展為臨床診斷提供了動態、立體、多模態的醫學顯像[1]，根據成像原理的不同，醫學圖像可分為兩大類：解剖結構類圖像和功能結構類圖像。解剖結構類圖像擁有較高的空間分辨率，能夠提供人體臟器和組織的解剖結構信息，但無法反映組織、器官的功能信息；功能結構類圖像能夠提供臟器功能的代謝信息，但空間分辨率較差，無法顯示病變組織的解剖細節，醫學圖像融合技術則可充分利用不同類型的醫學圖像對病灶信息描述的冗余性和互補性，對不同模態的醫學圖像進行智能融合處理，使同一病灶的多源圖像信息綜合表達在一張圖像上，融合后圖像的可靠性、穩定性及容錯能力有了大幅提升[2]，從而為臨床診斷提供更加有力的證據支持。
由于醫學圖像往往涉及人體各類組織器官，因此具有數據海量性、灰度模糊性、結構復雜性、噪聲顯著性等特點，低層次的像素級圖像融合是直接基于像素的融合處理，往往數據處理時間復雜度高、實時性差，其結果不能最優地表達醫學圖像信息，而特征級醫學圖像融合所提取的特征集合與目標識別、結果評價、診斷分析有直接關系，因而融合結果能最大限度地反映所需要的特征信息，可有效用于醫學圖像處理。
基于以上原因，本文主要對特征級醫學圖像融合方法的應用研究進行分析和探討。在介紹其融合原理及國內外相關研究的基礎上，指出了目前特征級醫學圖像融合方法所存在的問題和不足，并提出了改進這些問題的思路。
1 特征級醫學圖像融合原理
特征級醫學圖像融合的過程通常包含圖像預處理、圖像配準及圖像融合三個部分，其中圖像預處理和配準是融合的前提，而特征提取是配準的重要組成部分，融合階段則是實現特征信息的聚合和降維處理。
圖像預處理的目的是在保留有效數據的基礎上，去除圖像的噪聲信息，增強圖像對比度和細節分辨率，從而提高特征提取的可靠性。
圖像特征是區別圖像內容的基本屬性，經過初始階段的圖像預處理，配準階段通常提取圖像的顏色特征[3]、形狀特征[4]、紋理特征[5]，經過尺度變換、空間旋轉、定位翻譯、特征點匹配等操作實現空間配準，這為融合階段的數據聚合、特征降維提供了重要基礎。
作為配準階段的重要內容，特征提取包括特征變換和特征選擇兩種方法，前者是通過變換特征實現高維特征集合到低維特征集合的映射；后者是指從給定的特征集合中，按照篩選規則選擇出具有良好代表性、可分性的特征子集合，其中特征選擇根據選擇思想不同可以分為特征優選和特征劣選。特征優選是從原始特征中提取分類性能較好的特征子集，而特征劣選則是從原始特征中剔除冗余或無關的特征子集，圖 1給出了常用的特征子集搜索算法。
圖1
特征子集搜索算法分類
Figure1.
Search algorithm classification of feature subset
單一的特征集合往往難以描述全部圖像信息，因此提取圖像的多維特征集合對于生物學研究、臨床分析具有重要意義，如通過對顏色和紋理特征進行分別處理、綜合分析，實現對胃腸道疾病的準確檢測[6]、生殖細胞的精確分類[7]以及腫瘤細胞的精準判別[8]等。
融合前期需要對特征信息進行聚合，由于每一分類特征均可提取大量特征信息，這會導致特征信息維度過高、圖像處理過于復雜，因此需要進行特征降維，保留適度、適量的特征信息。所謂特征降維，即通過刪除冗余特征，利用低緯度的特征集合來表示高緯度特征信息，通過降維函數F可實現特征降維，如圖 2所示。
圖2
醫學圖像降維示意圖
Figure2.
Schematic diagram of dimensionality reduction in medical image
基于以上分析，并結合常見病變組織、成像模態以及評價準則，本文給出了特征級醫學圖像融合流程圖，如圖 3所示。
圖3
特征級醫學圖像融合流程圖
Figure3.
Flow diagram of medical image fusion at feature level
2 特征級醫學圖像融合方法
以特征提取技術為核心，結合機器學習、模糊邏輯、神經網絡等新型軟計算方法，目前常用的特征級醫學圖像融合方法可分為：基于模糊集(fuzzy set)的方法、基于粗糙集(rough set)的方法、基于D-S證據理論(D-S evidence theory)的方法、基于神經網絡的方法和基于主成分分析(principal component analysis, PCA)的方法，下面將對以上各種方法的應用現狀作進一步分析說明。
2.1 基于模糊集的方法
模糊集是用數學的思維和方法處理模糊性現象，由于圖像自身具有模糊性，所以模糊集理論非常適合圖像數據處理與分析，模糊集理論在醫學領域的應用還包括醫學數據分類[9]、疾病診斷[10]等。由于傳統模糊集在處理實際對象的模糊性和不確定性方面具有一定的局限性，因此逐漸發展出二型模糊集、區間值模糊集、直覺模糊集及區間值直覺模糊集等改進的理論模型。Qiu等[11]將改進的二型模糊C均值算法用于MRI圖像分割，彌補了傳統算法對噪聲信息的過度敏感；Bigand等[12]提出了限制閾值或參數數量的新型區間值模糊算法用于圖像濾波，能夠在保留圖像細節的基礎上更好地降低噪聲信息；Balasubramaniam等[13]利用直覺模糊集中的最大、最小操作，提出新型直覺模糊集圖像融合算法，在各種性能指標方面均優于傳統算法；目前區間值直覺模糊集的研究主要集中在決策分析方面[14]。除了對模糊集理論自身的改進外，模糊集同其他軟計算方法的結合也是模糊集理論的研究熱點，如模糊集結合粗糙集構建數據分類模型[15]、實現特征規則提取[16]；模糊集與神經網絡構建多維數據預測系統[17]。通過分析經典模糊集理論的優缺點可以發現，減少模糊邏輯理論對主觀經驗的過分依賴以及與其他融合方法相結合是模糊集理論模型發展的重要方向。
2.2 基于粗糙集的方法
粗糙集理論作為一種刻劃不確定性和不完整性的軟計算數學工具，具有提取信息高效、無需先驗知識、易于結合其他智能方法等優點，使其在圖像濾波、圖像增強、圖像分割、特征提取中得到了廣泛應用。王國胤等[18]基于粒、元素、子系統、論域、關系、集合、近似空間等內容對粗糙集模型的擴展進行了探討，目前常用的粗糙集模型有傳統Pawlak粗糙集模型、引入分類誤差的變精度粗糙集模型、模糊集與粗糙集相結合的模糊粗糙集模型、粗糙模糊集模型、引入概率論的概率粗糙集模型等。Phophalia等[19]基于粗糙集理論提出了一種腦核磁圖像的去噪方法，這種去噪方法在醫學圖像處理方面具有良好的適用性；Ningler等[20]提出的改進變精度粗糙集模型能有效實現腦電圖數據的屬性約簡；Pramod等[21]提出的新型模糊粗糙集算法在特征選擇及多特征數據集分類的應用上具有良好性能；Ji等[22]將廣義粗糙模糊C均值算法應用于腦磁共振圖像分割，該方法具有良好的魯棒性及去噪能力；概率粗糙集通常被用于解決決策分析方面的問題[23]。為提升粗糙集在醫學圖像處理方面的能力，目前粗糙集的主要研究內容為屬性約簡與特征提取算法，而與支持向量機、神經網絡、模糊集等軟計算方法的結合也是其重要研究方向，如概率粗糙模糊集、變精度概率粗糙模糊集及貝葉斯粗糙模糊集用于決策分析[24]，模糊粗糙集與粒度神經網絡結合實現無監督的特征選擇[25]等。
2.3 基于D-S證據理論的方法
D-S證據理論是一種處理、測量和組合不確定性的有力工具，在圖像處理及決策分析上有十分明顯的優勢。例如，基于D-S證據理論噪聲檢測器的濾波器能有效抑制脈沖噪聲以及脈沖、高斯混合噪聲[26]；基于D-S證據理論的方法可有效用于皮膚檢測[27]。現有的證據理論方法大多是基于D-S證據理論進行的改進，尚未形成較為獨立的擴展模型。例如，毛海岑等[28]基于改進的D-S證據理論實現了具有差異性的濾波結果融合；姚麗莎等[29]基于D-S證據理論的多特征融合規則對小波域內的高頻分量進行圖像融合，該算法在保留圖像信息的基礎上降低了融合過程中的不確定性。D-S證據理論與其他理論方法的結合可有效提高數據處理及決策分析能力，如D-S證據理論與粗糙集理論被用于屬性約簡[30]，D-S證據理論與模糊集理論相結合應用于醫學診斷[31]，通過D-S證據理論與神經網絡對煤層地形進行預測[32]。目前，D-S證據理論仍然存在許多不足，主要從組合規則和證據源兩方面進行改進：在組合規則上對沖突信息進行規則重新分配；在證據源上利用證據間的距離證據源的固有特征進行量化，降低“壞”證據的權重[28]。
2.4 基于人工神經網絡的方法
人工神經網絡(artificial neural network, ANN)是通過學習的方式對給定數據進行分析、分類的數學模型，具有良好的大規模分布式并行存儲和處理能力、高度魯棒性及容錯能力以及自適應和自學能力，對于解決具有不確定性、模糊性的醫學圖像處理問題極其有效。人工神經網絡的典型模型包括自組織映射(self-organizing map, SOM)神經網絡、脈沖耦合神經網絡(pulse coupled neural network, PCNN)、反向傳播(back propagation，BP)神經網絡、自適應共振(adaptive resonance theory, ART)神經網絡、Kohonen神經網絡、Hopfield神經網絡、徑向基函數(radical basis function, RBF)神經網絡，近年來的研究大多集中在運用神經網絡提高特征分類速度和準確性以及實現圖形分割、去噪、數據融合等方面。例如，Hemanth等[33]將改進的人工神經網絡應用于腦核磁共振圖像分類，提高了分類速度和分類質量；Torbati等[34]提出的移動平均數自組織映射神經網絡在腫瘤圖像區域選擇與分割方面均優于傳統方法；Bhattacharyya等[35]運用自組織神經網絡模型實現了二進制圖形的有效去噪。盡管人工神經網絡有良好的學習能力，但對數據的質量和學習算法收斂度的準確性過于敏感[36]。為提升人工神經網絡的魯棒性，從而提升圖像融合質量及效率，方法模型的交叉應用成為圖像融合的重要研究方向，如小波變換系數結合脈沖耦合神經網絡實現了良好的圖像融合效果[37]，小波變換、壓縮感知和脈沖耦合神經網絡構建的新型融合算法具有良好的穩定性和靈活性[38]。根據近年的研究成果不難發現，方法交叉更多的是神經網絡與像素級融合算法的結合，而與特征選擇類方法結合的研究較為遲緩，考慮到神經網絡應用于特征分類的高效性以及特征選擇算法的優越性，兩者的結合必定能夠為圖像融合的發展注入新的活力。
2.5 基于主成分分析的方法
PCA是一種基于統計特性的提取方法，在數據處理方面具有保熵性、去相關性、易于能量重新分配等優點，通常用于醫學圖像處理中的數據降維、圖像融合及目標識別等方面。PCA方法的應用層次比較寬松，不僅常常被用于像素級圖像融合，而且在特征級圖像處理上的應用上也得到了眾多學者的關注，算法通常根據具體的應用不斷被改進。例如，Hansen等[39]基于內核PCA提出了一種高效的圖像去噪方法；He等[40]基于PCA和IHS變換實現了具有高保真效果的多模態大腦圖像融合；曾岳等[41]利用改進的二維主成分分析(two-dimensional principal component analysis, 2DPCA)方法提取人臉特征。僅僅使用PCA很難滿足圖像處理的各種不同需求, 因此，PCA也通常與線性判別分析、獨立成分分析等方法形成優勢互補，實現人臉識別、圖像分類等操作[42-43]。通對各種方法的對比與分析可以發現，傳統的PCA在應用上存在許多不足，如提取的圖像灰度特征具有環境敏感性，擁有較高的時間復雜度等，因此，提高特征融合的基礎上壓縮算法處理時間以及加強與其他融合方法的協同工作是PCA算法改進的重要方向。
3 融合評價準則
融合圖像質量的評價準則通常分為：主觀評價和客觀評價。主觀評價是指根據自己的主觀感受和統計結果對醫學圖像清晰度、逼真度做出評判。其優點是簡單直觀，容易實現；缺點是受觀察者的主觀意識、圖像類型和應用環境等因素的影響較大。客觀評價通常選用具體的評價指標對源圖像與融合圖像的質量進行對比分析，常用客觀評價方法如圖 4所示。客觀評價的優點是能夠對成像質量進行分類、量化分析，但其仍然存在一定的缺陷，如對圖像的同一性質采用過多的相似指標進行描述，難以同時對多幅融合圖像進行對比評價，標準圖像或者標準值難以確定，不同的融合方法采用的客觀評價指標也存在差異等。因此，結合實際應用，兩者的差異主要在于：主觀評價通常用于臨床診斷，因為醫生并不需要對融合圖像的整體亮度、色彩反差進行深入研究，只需觀察病灶組織是否成像清晰、是否能夠成為診斷結論的重要依據；客觀評價則通常用于融合圖像的實驗研究，評判融合算法的改進效果，或者用于評價相似圖像的細微差別。
圖4
客觀評價方法
Figure4.
Objective evaluation methods
4 小結
相比于像素級圖像融合，特征級圖像融合技術還有待提升，尤其是在專業領域的應用存在許多不足，研究大多是基于圖像融合本身，而較少考慮臨床診斷、決策判定。特征級醫學圖像融合方法同時面臨著社會與技術挑戰，如：科研人員對成像組織、病情狀況的主觀認識程度；目標圖像獲取的難易程度以及對圖像處理方向、處理程度的要求；特征提取與處理過程中的像素值異常、特征丟失、傳感器錯誤、空間配準不完全等[36]。一幅圖像根據不同的目的需要做不同類型的處理，但融合的每個階段都應該正確有效，如預處理階段要避免降噪不完全、保證濾波充分；配準階段要根據具體需求改進特征提取算法，并保證空間配準精確；融合階段則要選取合適的融合規則實現有效的融合結果等。通過對特征級醫學圖像融合問題的分析，融合技術可通過以下幾個方面進行改進：提高成像技術從而提升成像精度；優化成像模態，促進一體機的改進，完善實時融合成像；探索高效率的融合算法，降低算法的時間復雜度；統一、完善融合評價體系，對于融合質量的評判給予研究人員統一的理論指導。
盡管面臨諸多困難，但醫學圖像融合技術綜合了多種現代科學技術，融合效果也得到了實踐的肯定，在不斷的改進與完善中，特征級醫學圖像融合技術將會為圖像分析、臨床診斷提供更加充足的證據支持。
