超聲引導的經皮介入治療已在臨床中得到了廣泛應用。針對機器人輔助的超聲引導治療中探頭接觸力引起軟組織形變的問題，提出一種考慮軟組織形變的實時無參考超聲圖像綜合評估方法。所提方法在超聲圖像亮度和銳度評估的基礎上，融合組織或腺體的聚集特性設計了一種多維度的超聲圖像評價指標。為了驗證所提方法的有效性，分別采集前列腺體模、內置囊腫的體模、豬肝臟組織，以及內置囊腫的豬肝臟組織4種不同模型的超聲圖像進行實驗測試與分析，并基于斯皮爾曼秩相關系數分析了主客觀評價的相關性。實驗結果表明單幅圖像的平均評估時間為68.8 ms，滿足實時應用的需要。本文所提方法實現了機器人輔助治療中實時超聲圖像的有效評估，并且評估結果與主觀評價具有良好的一致性。
引用本文： 李妍, 夏澤洋, 吳曉君, 熊璟. 考慮軟組織形變的實時無參考超聲圖像綜合評估方法. 生物醫學工程學雜志, 2022, 39(3): 480-487. doi: 10.7507/1001-5515.202011077 復制
引言
在醫療外科手術中，經皮介入治療需要將手術針、超聲探頭和組織消融設備插入到目標組織處。為了提高治療的安全性，超聲成像技術已應用到手術操作中，并在經皮介入治療中用于實時可視化[1]。機器人輔助的影像引導技術是使用經過訓練的機器人系統操作手術器械，同時利用超聲探頭反饋組織信息[2]。在圖像采集過程中，需調整超聲探頭與組織接觸狀態，以獲得清晰的超聲圖像[3]。因此，在機器人輔助的超聲引導過程中，對超聲圖像的質量進行評估很有必要。
根據圖像質量評估時是否使用參考圖像和如何使用參考圖像，客觀質量評價方法可分為三類：全參考評估方法、半參考評估方法和無參考評估方法[4-7]。全參考評估利用原始圖像的完整信息作為參考，其性能優于半參考評估方法。均方誤差和峰值信噪比是其主要的參考指標，廣泛應用于圖像質量評估中[8]。然而，這兩種指標是圖像強度的統計量，與人的視覺感知有所差異。因此，Wang等[9]提出基于特征的相似度指數評估圖像質量，實驗結果表明該方法在各類圖像數據庫上的性能優于傳統的全參考評估方法。半參考評估方法利用原始圖像的部分信息進行質量評估。無參考評估方法是在沒有參考圖像的情況下，對圖像的質量進行評估，評估過程中只使用待評價圖像的相關信息。在許多實際應用場景中，無法獲得完美的參考圖像[10]。因此，對無參考質量評估方法展開研究很有必要，它將成為未來醫學圖像評價的理想方法[11]。
Ye等[12]通過一個包含圖像局部特征的可視化編碼庫捕獲圖像的復合統計信息，然后計算不同編碼出現的概率得到整個圖像的差分平均意見評分。Saad等[13]利用貝葉斯推理模型預測提取的圖像特征，將計算得到的統計特征作為回歸函數的輸入來預測圖像的質量。上述方法雖然取得了良好的評估結果，但需要處理大量的統計數據，計算效率較低，不適于實時圖像采集系統。Mortamet等[14]基于磁共振的空氣背景對圖像質量進行評估，圖像質量等級由人體特征相對于背景大小的比例和噪聲強度分布構成，實驗結果顯示這種方法與參考標準的質量評分一致，但尚未證明適用于其他解剖圖像或其他成像方式。Osadebey等[15]以臨床試驗中的腦和心臟磁共振圖像為例，基于可加性線性退化模型的動量守恒特性，從亮度和紋理兩個維度對醫學圖像進行質量評估。無參考評估方法中，圖像亮度和銳度是較為廣泛的度量標準，具有計算簡單、物理意義明確等優點。因此本文采用這兩個度量標準對圖像進行質量評估。然而在影像引導的機器人經皮介入治療中，只考慮圖像成像質量是不夠的。因為在實際的臨床病例中，顯然近距離探測可獲得清晰的圖像，但是超聲探頭與組織接觸過近會引起軟組織形變。這種現象會降低靶向穿刺的精確度。為了避免這種情況，臨床中需要在軟組織形變程度最小的前提下獲得清晰的超聲圖像。因此，我們提出一種考慮軟組織形變的實時超聲圖像綜合評估方法，可用于機器人輔助影像引導的經皮介入治療。
1 考慮軟組織形變的超聲圖像評估
在影像引導的經皮介入治療中，期望在獲得清晰超聲圖像的同時可以盡量減小組織變形，以提高靶向穿刺精度。因此我們在超聲圖像亮度和銳度的基礎上，融合組織或腺體的聚集特性評估軟組織形變程度，設計了一種多維度的超聲圖像綜合評估方法。該方法的流程圖如圖1所示，主要包括圖像亮度評估、銳度評估和軟組織形變評估。
圖1
超聲圖像綜合評估
Figure1.
Ultrasound image quality assessment
1.1 亮度和銳度評估
醫學圖像的質量可以通過可測量的物理特性來評估。可測量的物理特性包括視覺屬性，例如亮度和銳度。對于圖像大小為
的超聲圖像，其亮度由式(1)計算
 |
其中，I（i，j）表示圖像I在（i，j）處的像素強度。
在醫學圖像的應用中，圖像的細節對于醫學診斷至關重要，特別是邊緣和紋理。梯度能直接反映圖像邊緣的灰度變化情況，所以此屬性可以描述局部結構和圖像內不同結構的細節，并用作測量圖像清晰度的度量。Scharr算子[16]計算速度快、精度高，適用于實時圖像處理。因此我們采用Scharr梯度算子構造梯度幅值映射。水平方向和垂直方向的偏導數為
 |
 |
梯度大小為
 |
1.2 軟組織形變評估
評價軟組織變形程度主要包括基于局部組織特征的軟組織形變評估和基于全局圖像的軟組織形變評估兩部分。具體評估方法如下。
1.2.1 基于局部組織特征的軟組織形變評估
基于局部組織特征的組織形變評估方法只關注組織形態變化。因此，對超聲圖像進行提取前景操作，排除背景特征。對組織變形進行評估時，只考慮包含測試圖像組織結構的前景特征。
 |
式中，
表示從灰度圖像中提取的前景圖像，T為最大類間方差準則[17]確定的最佳閾值。最佳閾值滿足下式：
 |
其中 
為類間方差，
為類內方差，P為圖像所有像素點的灰度值數組。
提取測試圖像的前景后，對前景圖像中的連通域進行標記和提取，并保留最大連通域，即分割目標組織形狀。當組織產生形變時，組織豎直方向的聚集程度會發生變化，因此可以通過觀測分割出的組織形狀高度變化評估組織形變。
表示含有組織形狀的分割圖像，
表示分割圖像的像素個數，則組織形變可由式(7)表示：
 |
其中，
為第
個像素的行數，
為分割圖像中組織像素點行數的平均值。
1.2.2 基于全局圖像的軟組織形變評估
由于超聲回波在傳播過程中，存在衍射、折射、散射等現象，導致超聲圖形存在斑點噪聲，需要對超聲圖像的噪聲進行處理，避免干擾提取組織特征，以提高評定的準確性。超聲圖像中斑點噪聲表現為像素強度值突變，因此本文所提方法采用形態學算法[18]進行降噪。首先對圖像進行腐蝕操作，以消除斑點噪聲，如式(8)所示：
 '/> |
其中，
為腐蝕后的圖像矩陣，
是結構元素，
是結構元素的定義域，
是腐蝕運算符。
然后對圖像進行膨脹運算，將圖像I和結構元素進行卷積運算，填補圖像間隙，如式(9)所示：
 '/> |
其中，
為膨脹后的圖像矩陣，
是膨脹運算符。
對圖像進行降噪處理后，利用Sobel算子[19]提取組織邊緣特征，水平方向和垂直方向的模板為：
 |
 |
獲得邊緣特征提取圖像后，根據邊緣特征的離散程度評估組織變形，即：
 |
其中，
為邊緣特征提取圖像中第t個像素的行數，
為邊緣特征提取圖像中所有邊緣像素點行數的平均值，
為邊緣特征提取圖像中邊緣像素點個數。
1.2.3 軟組織形變評估方法的決策
在對軟組織進行形變程度評估前，需要根據超聲圖像中組織或腺體分布的特點采取不同的評估方法。對于有明顯腺體結構的超聲圖像，采用基于局部組織特征的方法評估組織形變具有更高的靈敏性和區分度。因此，為適用于不同組織結構的超聲圖形，文中所提的兩種軟組織形變評估方法將根據式(13)進行決策，即若分割圖像滿足式(13)，則采用基于局部組織特征的方法評估組織變形，否則采用基于全局圖像的方法評估組織變形。
 |
1.3 總評價分數
超聲圖像的總評價分數由亮度分數、銳度分數和組織形變分數三部分組成。將亮度值、銳度值和組織形變值歸一化后可得超聲圖像的總分數為：
 |
式中，
、
、
分別為亮度值 
、銳度值 
和組織變形值r歸一化后的數值，λ1、λ2、λ3分別為亮度分數、銳度分數、組織形變分數所占權重，
和 
分別為超聲圖像的亮度閾值和銳度閾值，當圖像亮度和銳度低于該閾值時，圖像中組織或腺體不明顯，在給定像素內無法觀測組織或腺體輪廓，表明此時超聲探頭并未與組織充分接觸，沒有形變產生。因此，這種情況下只考慮超聲圖像的亮度質量和銳度質量。
2 超聲圖像采集
為驗證本文所提出的方法的有效性，將彩色多普勒超聲系統集成到機器人（安川電機株式會社，日本），通過安裝于機械臂末端的超聲探頭獲取超聲圖像序列，超聲探頭沿接觸面法線方向逐漸靠近或擠壓實驗對象，超聲探頭運動的同時分別采集前列腺體模、內置囊腫的體模、豬肝臟組織，以及內置囊腫的豬肝臟組織的超聲圖像進行評估實驗。其中前列腺體模為CIRS公司的前列腺測試體模，透明的丙烯酸容器大小為11.5 cm × 7.0 cm × 9.5 cm，內里包含有精囊和尿道等結構以及3 mm的模擬會陰膜，能夠插入各種探頭和手術工具，一般用于直腸探頭前列腺掃描的驗證；豬肝臟組織購于生鮮超市，重量為（
） g，其中內置的囊腫由前列腺體模中的藍色前列腺模型裁剪制成；內置囊腫的體模購于寧波柳葉刀醫療科技公司，其外觀尺寸為15 cm × 12 cm × 6 cm。實驗模型的實物圖如圖2所示。
圖2
實驗模型的實物圖
Figure2.
Images of the experimental models
實驗過程中，一共采集4組二維超聲圖像，共計81張。圖像大小為1 050 × 720，橫向和縱向分辨率為0.18 mm/像素。機器人采集的部分超聲圖像如圖3所示。其中，前列腺體模的圖像15張，豬的肝臟組織的圖像21張，內置囊腫的豬肝臟組織圖像25張，內置囊腫的體模圖像20張。圖3中的超聲圖像在測試圖像組的編號分別標于圖片上方，其中編號為1的超聲圖像均為每組的首幀圖像。
圖3
機器人采集的部分超聲圖像
Figure3.
Several ultrasound images captured by the robot
3 超聲圖像綜合評價實驗與分析
3.1 超聲圖像客觀評價
分別用4組超聲圖像驗證文中提出的超聲圖像客觀評價方法的性能。基于組織在超聲圖像中的分布特點，豬肝臟組織以及內置囊腫的豬肝臟組織的超聲圖像的形變評估采用基于全局圖像的組織形變評估方法，前列腺體模以及內置囊腫的體模超聲圖像的形變評估采用基于局部組織特征的組織形變評估方法。
圖4是4組實驗超聲圖像的綜合評估結果。橫軸上圖片序號從小到大表示超聲探頭沿接觸面法線方向逐漸靠近或擠壓實驗對象。圖中顯示了每張超聲圖片的亮度分數、銳度分數、軟組織形變分數、成像質量分數以及總評價分數。對超聲圖像進行總評價時，亮度分數、銳度分數、組織形變分數所占權重相等，即
。成像質量分數為不考慮軟組織形變程度，只關注圖像亮度質量和銳度質量的分數。
圖4
四組實驗對象的客觀評價分數
Figure4.
Objective evaluation scores of the four groups of models
計算機配置為Intel Xeon 2.30 GHz 64 位處理器。單幅超聲圖像評估的平均計算時間為68.8 ms，其中亮度評分平均計算時間3.7 ms，銳度評分平均計算時間26.3 ms，形變評分平均計算時間38.7 ms。單幅圖像的最短計算時間為40.7 ms，其中亮度評分3.1 ms，銳度評分24.2 ms，形變評分13.4 ms。每組圖像的各評價分數平均計算時間和標準差如表1所示。
表1
超聲圖像平均評估時間（
）
Table1.
Average evaluation time of ultrasound images (
)
3.2 超聲圖像主觀評價
為了評估所提算法的準確性，本文采用客觀評價與主觀評價的相關性分析進行算法性能評估。每幅超聲圖像由5名觀察者進行評分。觀察者為從事醫學影像處理研究的研究生，視力和色視覺均正常。每位觀察者分別從亮度、銳度（清晰度）和組織變形程度3個維度為超聲圖像評分，分數區間為0 ~ 100。為了確保主觀評分和客觀評分在相同范圍內，將觀察者給出的每個分數都除以100。每位觀察者的評分過程獨立進行。
對于給定的實驗組 
，設 
表示觀察者 
對圖像 
的評分。將每位觀察者給特定超聲圖像的分數取平均值，可得到評估圖像的平均意見得分（mean opinion score，MOS）[20]：
 |
主觀評價實驗的平均意見得分僅僅是關于有限數量的個人評級的統計量，并不是精確的測量值[21]。由于平均意見得分是由所有觀察者評分值進行算術平均得到，因此潛在地假設了主體的同質性。觀察者在參照標準、性格、欣賞水平等方面存在差異，導致他們的評分標準和評分尺度不一致。對于同一組超聲圖像，評分標準嚴苛的觀察者評分較低，而標準較為寬松的觀察者評分較高。相同的分數在不同觀察者的評分尺度中所映射的圖像質量等級并不相同。因此，需要將不同評分尺度下的分數轉換到同一評分尺度中以消除算術平均法潛在的主觀誤差[22]。設觀察者
對一組超聲圖片的平均評分為：
 |
若每位觀察者的平均評分 
差別比較大，直接采取算術平均會產生較大的主觀誤差。因此，需要將不同觀察者的評分尺度進行統一，即令 
。當評分區間為 
時，具體轉換過程如下：
 |
觀察者k對m組中第w張超聲圖像的分數 
變換為 
：
 '/> |
此時，m組中第w張超聲圖像的分數為：
 '/> |
得到主觀評價分數后，利用斯皮爾曼（Spearman）秩相關系數評估主客觀評價在不同指標下的相關性。相關系數在0.68 ~ 1.0之間，表明兩組數據具有較高的相關性[23]。客觀評價和主觀評價之間的相關系數可由下式計算：
 |
式中，
是主觀評分和客觀評分升序排列后的等級差，
是樣本個數，即每組超聲圖像的圖像個數。表2為主觀評價和客觀評價在不同指標下的斯皮爾曼秩相關系數。
表2
主客觀評價的斯皮爾曼秩相關系數
Table2.
Spearman rank correlation coefficient of subjective and objective evaluation
從對不同種類超聲圖像的主客觀評價的對比實驗看出，我們提出的考慮軟組織形變的超聲圖像綜合評估方法與主觀評價分數具有良好的一致性。
3.3 實驗結果分析
超聲成像在人體解剖學研究、疾病治療和術中醫療器械跟蹤中具有重要作用。隨著機器人技術、醫學圖像處理技術等學科的快速發展，手術機器人成為當前的研究熱點。因此本文提出一種考慮軟組織形變的無參考超聲圖像綜合評估方法，可以指導由機器人控制的超聲探頭的運動狀態。所提出的綜合評估方法主要采用圖像亮度、圖像銳度以及軟組織形變三個指標對超聲圖像進行綜合評估。
在實驗測試過程中，分別基于前列腺體模、內置囊腫的體模、豬肝臟組織，以及內置囊腫的豬肝臟組織四種不同的模型對算法進行實驗分析，并且計算了算法評估結果與人工評估結果的相關系數。從圖4中可以看出，隨著機械臂末端的超聲探頭沿組織法向方向不斷前進，圖像亮度和銳度都逐漸增加，當這兩者評估分數增大到某一數值（Q1 = 0.4，Q2 = 0.4）時，在給定像素內便可以觀測到組織或腺體輪廓，則將此刻作為超聲探頭與組織的初始接觸時刻，從此刻之后組織開始發生形變。同時，組織形變分數逐漸減小，表明組織形變程度逐漸增大，變化趨勢符合一般規律，表明所提算法可以對組織形變做出準確評估。
利用所提方法對4組超聲圖像進行綜合評估，每組圖像中最佳圖像的序號分別為12（前列腺體模）、12（內置囊腫的體模）、11（肝臟）、19（內置囊腫的肝臟）。從超聲圖像成像質量分數以及軟組織形變分數的變化趨勢可以看出，在這四張圖像之后采集到的超聲圖像，其成像質量并無明顯提升，然而組織形變程度卻不斷增大，在實際應用中，若由于過度追求成像質量而造成組織較大形變，將不利于臨床中的靶向穿刺。因此，利用所提算法可以判斷出組織或腺體變形程度較小時的高質量超聲圖像，在成像質量與軟組織形變的變化關系中尋求一個合適的接觸位置，提高穿刺精度。以上實驗結果表明，文中提出的超聲圖像無參考綜合評價方法滿足監測超聲探頭運動過程中的成像質量以及軟組織形變程度的任務需求。另外，從表1中可以看出，單幅圖像的最短計算時間為40 ms，最長計算時間為88 ms。其中豬肝臟組織和內置囊腫的豬肝臟組織兩種實驗對象的軟組織形變評估時間較長，主要原因是這兩種模型所采用的軟組織評估方法是基于圖像全局的評估方法，數據量較大，因此計算時間較長。在四組模型的實驗評估中，所提算法均能在機器人實際應用中實現實時評估。
在軟組織形變的評估研究中，Gilchrist等[24]提出基于紋理相關性跟蹤軟組織的圖像位移，然后對軟組織變形進行量化，這種方法對于變形較大的軟組織評估較為準確，然而計算過程涉及圖像強度的微分運算并且需要劃分有限元網格，復雜的數據處理不適用于圖像質量的實時評估。Mosbech等[25]通過在軟組織中注射鋼標記物的方法，利用軟組織形變模型的統計數據對軟組織形變位移進行跟蹤，跟蹤精度可以達到1.22 mm，但是其需要預先注射鋼標記物，臨床應用困難。本文所提軟組織形變評估方法不需要人工標記，直接依賴于被成像組織的內在結構和組成，可以保持組織的完整性。綜上所述，本文算法具有數學上的可操作性，計算快速，能夠應用于機器人輔助的手術治療。
4 結論
本文提出了一種考慮軟組織形變的無參考超聲圖像綜合評估方法。該方法首先計算超聲圖像的亮度和銳度，并根據亮度值和銳度值判斷給定像素內是否能觀測到腺體或組織形態。然后，根據圖像中組織分布結構，為其匹配相應的評估方法。若組織中存在明顯的腺體結構，采用基于局部組織特征的方法評估組織變形，否則采用基于全局圖像的方法評估組織變形。最后，基于圖像亮度、圖像銳度和軟組織形變三個指標對超聲圖像進行綜合評估。為了驗證所提方法的有效性，通過機器人采集4組不同模型的超聲圖像，并應用所提方法分析3個指標和總評價分數的變化趨勢，實驗結果表明該方法適用于機器人輔助的超聲引導成像，實現了超聲圖像的實時質量監控和評估。此外，使用評分尺度歸一化后的平均意見分數驗證了客觀評價的有效性，相關性分析結果表明所提方法與主觀評價分數具有良好的一致性。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：李妍負責設計研究方案、實施研究過程、采集整理數據以及文章撰寫，夏澤洋負責優化研究方案、完善實驗設計以及修訂論文，吳曉君負責調研文獻以及設計論文框架，熊璟負責獲取研究經費、提出研究選題、指導研究方案設計、修訂論文以及終審論文。
引言
在醫療外科手術中，經皮介入治療需要將手術針、超聲探頭和組織消融設備插入到目標組織處。為了提高治療的安全性，超聲成像技術已應用到手術操作中，并在經皮介入治療中用于實時可視化[1]。機器人輔助的影像引導技術是使用經過訓練的機器人系統操作手術器械，同時利用超聲探頭反饋組織信息[2]。在圖像采集過程中，需調整超聲探頭與組織接觸狀態，以獲得清晰的超聲圖像[3]。因此，在機器人輔助的超聲引導過程中，對超聲圖像的質量進行評估很有必要。
根據圖像質量評估時是否使用參考圖像和如何使用參考圖像，客觀質量評價方法可分為三類：全參考評估方法、半參考評估方法和無參考評估方法[4-7]。全參考評估利用原始圖像的完整信息作為參考，其性能優于半參考評估方法。均方誤差和峰值信噪比是其主要的參考指標，廣泛應用于圖像質量評估中[8]。然而，這兩種指標是圖像強度的統計量，與人的視覺感知有所差異。因此，Wang等[9]提出基于特征的相似度指數評估圖像質量，實驗結果表明該方法在各類圖像數據庫上的性能優于傳統的全參考評估方法。半參考評估方法利用原始圖像的部分信息進行質量評估。無參考評估方法是在沒有參考圖像的情況下，對圖像的質量進行評估，評估過程中只使用待評價圖像的相關信息。在許多實際應用場景中，無法獲得完美的參考圖像[10]。因此，對無參考質量評估方法展開研究很有必要，它將成為未來醫學圖像評價的理想方法[11]。
Ye等[12]通過一個包含圖像局部特征的可視化編碼庫捕獲圖像的復合統計信息，然后計算不同編碼出現的概率得到整個圖像的差分平均意見評分。Saad等[13]利用貝葉斯推理模型預測提取的圖像特征，將計算得到的統計特征作為回歸函數的輸入來預測圖像的質量。上述方法雖然取得了良好的評估結果，但需要處理大量的統計數據，計算效率較低，不適于實時圖像采集系統。Mortamet等[14]基于磁共振的空氣背景對圖像質量進行評估，圖像質量等級由人體特征相對于背景大小的比例和噪聲強度分布構成，實驗結果顯示這種方法與參考標準的質量評分一致，但尚未證明適用于其他解剖圖像或其他成像方式。Osadebey等[15]以臨床試驗中的腦和心臟磁共振圖像為例，基于可加性線性退化模型的動量守恒特性，從亮度和紋理兩個維度對醫學圖像進行質量評估。無參考評估方法中，圖像亮度和銳度是較為廣泛的度量標準，具有計算簡單、物理意義明確等優點。因此本文采用這兩個度量標準對圖像進行質量評估。然而在影像引導的機器人經皮介入治療中，只考慮圖像成像質量是不夠的。因為在實際的臨床病例中，顯然近距離探測可獲得清晰的圖像，但是超聲探頭與組織接觸過近會引起軟組織形變。這種現象會降低靶向穿刺的精確度。為了避免這種情況，臨床中需要在軟組織形變程度最小的前提下獲得清晰的超聲圖像。因此，我們提出一種考慮軟組織形變的實時超聲圖像綜合評估方法，可用于機器人輔助影像引導的經皮介入治療。
1 考慮軟組織形變的超聲圖像評估
在影像引導的經皮介入治療中，期望在獲得清晰超聲圖像的同時可以盡量減小組織變形，以提高靶向穿刺精度。因此我們在超聲圖像亮度和銳度的基礎上，融合組織或腺體的聚集特性評估軟組織形變程度，設計了一種多維度的超聲圖像綜合評估方法。該方法的流程圖如圖1所示，主要包括圖像亮度評估、銳度評估和軟組織形變評估。
圖1
超聲圖像綜合評估
Figure1.
Ultrasound image quality assessment
1.1 亮度和銳度評估
醫學圖像的質量可以通過可測量的物理特性來評估。可測量的物理特性包括視覺屬性，例如亮度和銳度。對于圖像大小為的超聲圖像，其亮度由式(1)計算
|
其中，I（i，j）表示圖像I在（i，j）處的像素強度。
在醫學圖像的應用中，圖像的細節對于醫學診斷至關重要，特別是邊緣和紋理。梯度能直接反映圖像邊緣的灰度變化情況，所以此屬性可以描述局部結構和圖像內不同結構的細節，并用作測量圖像清晰度的度量。Scharr算子[16]計算速度快、精度高，適用于實時圖像處理。因此我們采用Scharr梯度算子構造梯度幅值映射。水平方向和垂直方向的偏導數為
|
|
梯度大小為
|
1.2 軟組織形變評估
評價軟組織變形程度主要包括基于局部組織特征的軟組織形變評估和基于全局圖像的軟組織形變評估兩部分。具體評估方法如下。
1.2.1 基于局部組織特征的軟組織形變評估
基于局部組織特征的組織形變評估方法只關注組織形態變化。因此，對超聲圖像進行提取前景操作，排除背景特征。對組織變形進行評估時，只考慮包含測試圖像組織結構的前景特征。
|
式中， 表示從灰度圖像中提取的前景圖像，T為最大類間方差準則[17]確定的最佳閾值。最佳閾值滿足下式：
|
其中 為類間方差， 為類內方差，P為圖像所有像素點的灰度值數組。
提取測試圖像的前景后，對前景圖像中的連通域進行標記和提取，并保留最大連通域，即分割目標組織形狀。當組織產生形變時，組織豎直方向的聚集程度會發生變化，因此可以通過觀測分割出的組織形狀高度變化評估組織形變。 表示含有組織形狀的分割圖像， 表示分割圖像的像素個數，則組織形變可由式(7)表示：
|
其中，為第個像素的行數，為分割圖像中組織像素點行數的平均值。
1.2.2 基于全局圖像的軟組織形變評估
由于超聲回波在傳播過程中，存在衍射、折射、散射等現象，導致超聲圖形存在斑點噪聲，需要對超聲圖像的噪聲進行處理，避免干擾提取組織特征，以提高評定的準確性。超聲圖像中斑點噪聲表現為像素強度值突變，因此本文所提方法采用形態學算法[18]進行降噪。首先對圖像進行腐蝕操作，以消除斑點噪聲，如式(8)所示：
| '/> |
其中， 為腐蝕后的圖像矩陣， 是結構元素， 是結構元素的定義域， 是腐蝕運算符。
然后對圖像進行膨脹運算，將圖像I和結構元素進行卷積運算，填補圖像間隙，如式(9)所示：
| '/> |
其中， 為膨脹后的圖像矩陣， 是膨脹運算符。
對圖像進行降噪處理后，利用Sobel算子[19]提取組織邊緣特征，水平方向和垂直方向的模板為：
|
|
獲得邊緣特征提取圖像后，根據邊緣特征的離散程度評估組織變形，即：
|
其中， 為邊緣特征提取圖像中第t個像素的行數， 為邊緣特征提取圖像中所有邊緣像素點行數的平均值， 為邊緣特征提取圖像中邊緣像素點個數。
1.2.3 軟組織形變評估方法的決策
在對軟組織進行形變程度評估前，需要根據超聲圖像中組織或腺體分布的特點采取不同的評估方法。對于有明顯腺體結構的超聲圖像，采用基于局部組織特征的方法評估組織形變具有更高的靈敏性和區分度。因此，為適用于不同組織結構的超聲圖形，文中所提的兩種軟組織形變評估方法將根據式(13)進行決策，即若分割圖像滿足式(13)，則采用基于局部組織特征的方法評估組織變形，否則采用基于全局圖像的方法評估組織變形。
|
1.3 總評價分數
超聲圖像的總評價分數由亮度分數、銳度分數和組織形變分數三部分組成。將亮度值、銳度值和組織形變值歸一化后可得超聲圖像的總分數為：
|
式中，、、 分別為亮度值 、銳度值 和組織變形值r歸一化后的數值，λ1、λ2、λ3分別為亮度分數、銳度分數、組織形變分數所占權重， 和 分別為超聲圖像的亮度閾值和銳度閾值，當圖像亮度和銳度低于該閾值時，圖像中組織或腺體不明顯，在給定像素內無法觀測組織或腺體輪廓，表明此時超聲探頭并未與組織充分接觸，沒有形變產生。因此，這種情況下只考慮超聲圖像的亮度質量和銳度質量。
2 超聲圖像采集
為驗證本文所提出的方法的有效性，將彩色多普勒超聲系統集成到機器人（安川電機株式會社，日本），通過安裝于機械臂末端的超聲探頭獲取超聲圖像序列，超聲探頭沿接觸面法線方向逐漸靠近或擠壓實驗對象，超聲探頭運動的同時分別采集前列腺體模、內置囊腫的體模、豬肝臟組織，以及內置囊腫的豬肝臟組織的超聲圖像進行評估實驗。其中前列腺體模為CIRS公司的前列腺測試體模，透明的丙烯酸容器大小為11.5 cm × 7.0 cm × 9.5 cm，內里包含有精囊和尿道等結構以及3 mm的模擬會陰膜，能夠插入各種探頭和手術工具，一般用于直腸探頭前列腺掃描的驗證；豬肝臟組織購于生鮮超市，重量為（） g，其中內置的囊腫由前列腺體模中的藍色前列腺模型裁剪制成；內置囊腫的體模購于寧波柳葉刀醫療科技公司，其外觀尺寸為15 cm × 12 cm × 6 cm。實驗模型的實物圖如圖2所示。
圖2
實驗模型的實物圖
Figure2.
Images of the experimental models
實驗過程中，一共采集4組二維超聲圖像，共計81張。圖像大小為1 050 × 720，橫向和縱向分辨率為0.18 mm/像素。機器人采集的部分超聲圖像如圖3所示。其中，前列腺體模的圖像15張，豬的肝臟組織的圖像21張，內置囊腫的豬肝臟組織圖像25張，內置囊腫的體模圖像20張。圖3中的超聲圖像在測試圖像組的編號分別標于圖片上方，其中編號為1的超聲圖像均為每組的首幀圖像。
圖3
機器人采集的部分超聲圖像
Figure3.
Several ultrasound images captured by the robot
3 超聲圖像綜合評價實驗與分析
3.1 超聲圖像客觀評價
分別用4組超聲圖像驗證文中提出的超聲圖像客觀評價方法的性能。基于組織在超聲圖像中的分布特點，豬肝臟組織以及內置囊腫的豬肝臟組織的超聲圖像的形變評估采用基于全局圖像的組織形變評估方法，前列腺體模以及內置囊腫的體模超聲圖像的形變評估采用基于局部組織特征的組織形變評估方法。
圖4是4組實驗超聲圖像的綜合評估結果。橫軸上圖片序號從小到大表示超聲探頭沿接觸面法線方向逐漸靠近或擠壓實驗對象。圖中顯示了每張超聲圖片的亮度分數、銳度分數、軟組織形變分數、成像質量分數以及總評價分數。對超聲圖像進行總評價時，亮度分數、銳度分數、組織形變分數所占權重相等，即。成像質量分數為不考慮軟組織形變程度，只關注圖像亮度質量和銳度質量的分數。
圖4
四組實驗對象的客觀評價分數
Figure4.
Objective evaluation scores of the four groups of models
計算機配置為Intel Xeon 2.30 GHz 64 位處理器。單幅超聲圖像評估的平均計算時間為68.8 ms，其中亮度評分平均計算時間3.7 ms，銳度評分平均計算時間26.3 ms，形變評分平均計算時間38.7 ms。單幅圖像的最短計算時間為40.7 ms，其中亮度評分3.1 ms，銳度評分24.2 ms，形變評分13.4 ms。每組圖像的各評價分數平均計算時間和標準差如表1所示。
表1
超聲圖像平均評估時間（）
Table1.
Average evaluation time of ultrasound images ()
3.2 超聲圖像主觀評價
為了評估所提算法的準確性，本文采用客觀評價與主觀評價的相關性分析進行算法性能評估。每幅超聲圖像由5名觀察者進行評分。觀察者為從事醫學影像處理研究的研究生，視力和色視覺均正常。每位觀察者分別從亮度、銳度（清晰度）和組織變形程度3個維度為超聲圖像評分，分數區間為0 ~ 100。為了確保主觀評分和客觀評分在相同范圍內，將觀察者給出的每個分數都除以100。每位觀察者的評分過程獨立進行。
對于給定的實驗組 ，設 表示觀察者 對圖像 的評分。將每位觀察者給特定超聲圖像的分數取平均值，可得到評估圖像的平均意見得分（mean opinion score，MOS）[20]：
|
主觀評價實驗的平均意見得分僅僅是關于有限數量的個人評級的統計量，并不是精確的測量值[21]。由于平均意見得分是由所有觀察者評分值進行算術平均得到，因此潛在地假設了主體的同質性。觀察者在參照標準、性格、欣賞水平等方面存在差異，導致他們的評分標準和評分尺度不一致。對于同一組超聲圖像，評分標準嚴苛的觀察者評分較低，而標準較為寬松的觀察者評分較高。相同的分數在不同觀察者的評分尺度中所映射的圖像質量等級并不相同。因此，需要將不同評分尺度下的分數轉換到同一評分尺度中以消除算術平均法潛在的主觀誤差[22]。設觀察者對一組超聲圖片的平均評分為：
|
若每位觀察者的平均評分 差別比較大，直接采取算術平均會產生較大的主觀誤差。因此，需要將不同觀察者的評分尺度進行統一，即令 。當評分區間為 時，具體轉換過程如下：
|
觀察者k對m組中第w張超聲圖像的分數 變換為 ：
| '/> |
此時，m組中第w張超聲圖像的分數為：
| '/> |
得到主觀評價分數后，利用斯皮爾曼（Spearman）秩相關系數評估主客觀評價在不同指標下的相關性。相關系數在0.68 ~ 1.0之間，表明兩組數據具有較高的相關性[23]。客觀評價和主觀評價之間的相關系數可由下式計算：
|
式中，是主觀評分和客觀評分升序排列后的等級差，是樣本個數，即每組超聲圖像的圖像個數。表2為主觀評價和客觀評價在不同指標下的斯皮爾曼秩相關系數。
表2
主客觀評價的斯皮爾曼秩相關系數
Table2.
Spearman rank correlation coefficient of subjective and objective evaluation
從對不同種類超聲圖像的主客觀評價的對比實驗看出，我們提出的考慮軟組織形變的超聲圖像綜合評估方法與主觀評價分數具有良好的一致性。
3.3 實驗結果分析
超聲成像在人體解剖學研究、疾病治療和術中醫療器械跟蹤中具有重要作用。隨著機器人技術、醫學圖像處理技術等學科的快速發展，手術機器人成為當前的研究熱點。因此本文提出一種考慮軟組織形變的無參考超聲圖像綜合評估方法，可以指導由機器人控制的超聲探頭的運動狀態。所提出的綜合評估方法主要采用圖像亮度、圖像銳度以及軟組織形變三個指標對超聲圖像進行綜合評估。
在實驗測試過程中，分別基于前列腺體模、內置囊腫的體模、豬肝臟組織，以及內置囊腫的豬肝臟組織四種不同的模型對算法進行實驗分析，并且計算了算法評估結果與人工評估結果的相關系數。從圖4中可以看出，隨著機械臂末端的超聲探頭沿組織法向方向不斷前進，圖像亮度和銳度都逐漸增加，當這兩者評估分數增大到某一數值（Q1 = 0.4，Q2 = 0.4）時，在給定像素內便可以觀測到組織或腺體輪廓，則將此刻作為超聲探頭與組織的初始接觸時刻，從此刻之后組織開始發生形變。同時，組織形變分數逐漸減小，表明組織形變程度逐漸增大，變化趨勢符合一般規律，表明所提算法可以對組織形變做出準確評估。
利用所提方法對4組超聲圖像進行綜合評估，每組圖像中最佳圖像的序號分別為12（前列腺體模）、12（內置囊腫的體模）、11（肝臟）、19（內置囊腫的肝臟）。從超聲圖像成像質量分數以及軟組織形變分數的變化趨勢可以看出，在這四張圖像之后采集到的超聲圖像，其成像質量并無明顯提升，然而組織形變程度卻不斷增大，在實際應用中，若由于過度追求成像質量而造成組織較大形變，將不利于臨床中的靶向穿刺。因此，利用所提算法可以判斷出組織或腺體變形程度較小時的高質量超聲圖像，在成像質量與軟組織形變的變化關系中尋求一個合適的接觸位置，提高穿刺精度。以上實驗結果表明，文中提出的超聲圖像無參考綜合評價方法滿足監測超聲探頭運動過程中的成像質量以及軟組織形變程度的任務需求。另外，從表1中可以看出，單幅圖像的最短計算時間為40 ms，最長計算時間為88 ms。其中豬肝臟組織和內置囊腫的豬肝臟組織兩種實驗對象的軟組織形變評估時間較長，主要原因是這兩種模型所采用的軟組織評估方法是基于圖像全局的評估方法，數據量較大，因此計算時間較長。在四組模型的實驗評估中，所提算法均能在機器人實際應用中實現實時評估。
在軟組織形變的評估研究中，Gilchrist等[24]提出基于紋理相關性跟蹤軟組織的圖像位移，然后對軟組織變形進行量化，這種方法對于變形較大的軟組織評估較為準確，然而計算過程涉及圖像強度的微分運算并且需要劃分有限元網格，復雜的數據處理不適用于圖像質量的實時評估。Mosbech等[25]通過在軟組織中注射鋼標記物的方法，利用軟組織形變模型的統計數據對軟組織形變位移進行跟蹤，跟蹤精度可以達到1.22 mm，但是其需要預先注射鋼標記物，臨床應用困難。本文所提軟組織形變評估方法不需要人工標記，直接依賴于被成像組織的內在結構和組成，可以保持組織的完整性。綜上所述，本文算法具有數學上的可操作性，計算快速，能夠應用于機器人輔助的手術治療。
4 結論
本文提出了一種考慮軟組織形變的無參考超聲圖像綜合評估方法。該方法首先計算超聲圖像的亮度和銳度，并根據亮度值和銳度值判斷給定像素內是否能觀測到腺體或組織形態。然后，根據圖像中組織分布結構，為其匹配相應的評估方法。若組織中存在明顯的腺體結構，采用基于局部組織特征的方法評估組織變形，否則采用基于全局圖像的方法評估組織變形。最后，基于圖像亮度、圖像銳度和軟組織形變三個指標對超聲圖像進行綜合評估。為了驗證所提方法的有效性，通過機器人采集4組不同模型的超聲圖像，并應用所提方法分析3個指標和總評價分數的變化趨勢，實驗結果表明該方法適用于機器人輔助的超聲引導成像，實現了超聲圖像的實時質量監控和評估。此外，使用評分尺度歸一化后的平均意見分數驗證了客觀評價的有效性，相關性分析結果表明所提方法與主觀評價分數具有良好的一致性。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：李妍負責設計研究方案、實施研究過程、采集整理數據以及文章撰寫，夏澤洋負責優化研究方案、完善實驗設計以及修訂論文，吳曉君負責調研文獻以及設計論文框架，熊璟負責獲取研究經費、提出研究選題、指導研究方案設計、修訂論文以及終審論文。
