特征表達和分類器的性能是決定計算機輔助診斷（CAD）系統性能的重要因素。為了提升基于超聲成像的乳腺癌 CAD 系統的性能，本文提出了一種基于自步學習（SPL）的多經驗核映射（MEKM）排他性正則化機（ERM）集成分類器算法，能同時提升特征表達和分類器模型的性能。該算法首先通過 MEKM 映射得到多組特征，以增強特征表達能力，并嵌入到 ERM 作為多個支持向量機的核變換；然后采用 SPL 策略自適應地選擇樣本，由易到難地逐步訓練 ERM 集成分類器模型，從而提升分類器的性能。該算法分別在乳腺癌 B 型超聲數據庫和彈性超聲數據庫上進行了驗證，結果顯示 B 型超聲的分類準確率、敏感度和特異性分別為 （86.36±6.45）%、（88.15±7.12）% 和 （84.52±9.38）%，而彈性超聲的分類準確率、敏感度和特異性分別為 （85.97±3.75）%、（85.93±6.09）% 和 （86.03±5.88）%。實驗結果表明，本文所提出算法能有效提升乳腺超聲 CAD 的性能，具有投入實用的潛能。
引用本文： 汪琳琳, 沈璐, 施俊, 費曉燕, 周瑋珺, 徐浩煜, 劉立莊. 基于自步學習的多經驗核映射集成分類器在乳腺癌超聲計算機輔助診斷上的應用. 生物醫學工程學雜志, 2021, 38(1): 30-38. doi: 10.7507/1001-5515.202002004 復制
引言
乳腺癌（breast cancer，BC）是女性常見的惡性腫瘤之一，嚴重危害女性健康，給社會和家庭帶來了沉重的負擔。因此，提高乳腺癌診斷的準確性，對于疾病早期介入、治療具有重要的意義。B 型超聲成像（B-mode ultrasound，BUS）作為臨床常用的診斷技術，具有廉價、實時、無輻射等優點，廣泛應用于乳腺癌診斷[1]。彈性超聲成像（elastography ultrasound，EUS）作為一種新的超聲成像技術，提供了組織硬度這一力學特性相關的信息，能幫助提高乳腺癌診斷的準確性，已經逐步應用于臨床診斷[2]。另一方面，隨著人工智能的不斷發展，計算機輔助診斷（computer-aided diagnosis，CAD）為醫生診斷提供輔助決策，提高了診斷的準確性[3-5]。綜上，基于超聲成像的乳腺癌 CAD 一直是研究的熱點[6-7]。
分類器是 CAD 系統的重要模塊，其性能直接影響診斷的準確性[8]。支持向量機（support vector machine，SVM）是廣泛應用的分類器，尤其針對小樣本數據分類任務通常具有較好的性能[9]。而集成學習通過組合多個弱分類器從而構建一個強分類器，能進一步提升面向小樣本數據的分類器的性能[10]。排他性正則化機（exclusivity regularized machine，ERM）是一種新的集成 SVM 分類器，通過定義排他性的多樣性度量方法，約束不同 SVM 的分割超平面互相垂直，從而最大化基學習機的多樣性[11]。ERM 具有應用于基于超聲圖像 CAD 的可行性，其性能仍然有進一步提升的空間。
SVM 是一種典型的基于核方法的分類器。核方法將原始特征向量映射到高維空間，使得映射后的樣本在高維空間線性可分[12]。傳統的核方法主要為隱式核映射（implicit kernel mapping，IKM），容易引起核函數選擇不當時特征的可分性更差的問題[13]。經驗核映射（empirical kernel mapping，EKM）突破了 IKM 對內積計算的限制，顯式地將樣本映射到特征空間[14]，已經成功應用于許多基于核的分類器。多經驗核映射（multiple empirical kernel mapping，MEKM）是一種改進的算法，其通過從訓練集中隨機選擇子集，構建具有不同內核的多個核函數矩陣，然后利用每個核矩陣的特征分解將樣本顯式映射到特征空間，增加了特征映射的多樣性，從而有效提高分類性能[15]。因此，將 MEKM 嵌入 ERM 分類器以取代 SVM 中的核變換，有望進一步提升分類的性能。
另一方面，Kumar 等[16]將課程學習的關鍵原理建立為具有理論基礎的數學表達形式，即自步學習（self-paced learning，SPL）模型[17]。SPL 的核心思想是模擬人的認知方式，從簡單的、普適性的知識結構開始學習，再逐漸增加難度，從而更好地學習更專業化、更復雜的知識。SPL 通過在學習中嵌入自我控制的樣本選擇方法，提升機器學習模型的魯棒性[18]。因此，將 SPL 策略應用于 ERM 模型的訓練過程，對分類器采用由易到難、逐步增加樣本的方式進行迭代訓練，具有提升其性能的可行性。
本文提出了一種基于 SPL 的 MEKM-ERM（SPL-MEKM-ERM）分類算法，應用于基于超聲成像的乳腺癌 CAD 系統。該算法首先對提取的特征進行隨機映射，得到多組不同的特征向量，然后采用 MEKM 對每一組特征向量進行核變換，提升特征表達的能力，同時嵌入到 ERM 作為多個 SVM 的核變換；進一步采用 SPL 策略自適應進行樣本選擇，由易到難逐步訓練 ERM 集成分類器模型，最終提升分類器的性能。本算法主要創新點在于：① 通過 MEKM 產生多種不同的特征表達，在增強特征多樣性的基礎上，同時取代傳統 SVM 分類器的核變換，從而使得分類器更具多樣性，提升集成學習的性能；② 將 SPL 策略應用于 MEKM-ERM 分類器模型的訓練，通過自適應地選擇樣本，由易到難地逐步訓練集成分類器模型，進一步提升分類器的性能。本文所提出的 SPL-MEKM-ERM 算法對小樣本數據具有較好的分類性能，具有應用于乳腺超聲 CAD 的潛在價值，同時也具有拓展應用于其它分類任務的可行性。
1 方法
如圖 1 所示為本文所提出的 SPL-MEKM-ERM 算法的流程圖，主要包含 MEKM 模塊和基于 SPL 的 ERM 模塊。
圖1
SPL-MEKM-ERM 分類算法流程圖
Figure1.
Flowchart of SPL-MEKM-ERM classification algorithm
SPL-MEKM-ERM 分類模型的訓練過程如下：
（1）對單模態訓練樣本提取特征，然后進行多個隨機映射操作，獲得多組新的特征表達；
（2）在 MEKM 模塊中對隨機映射后的每組特征都分別進行 EKM 變換，在顯式的核空間獲得新的多樣性特征表達；
（3）將步驟（2）中獲得的特征表達輸入基于 SPL 的 ERM 模塊，并采用 SPL 策略自適應地選擇訓練樣本，由易到難地逐步訓練 ERM 分類器模型。
1.1 預備知識
1.1.1 MEKM 原理
MEKM 在經驗核的基礎上，通過顯式特征表達的核函數，將原始特征隨機映射到多經驗核空間，再將多個經驗核空間加權組合得到最終預測值。
給定 N 個訓練樣本 
，
，其中 C 是類別數，
和 
分別表示第 i 個訓練樣本的特征向量及其標簽。對于輸入特征 
，隨機生成 S 個表達，如式（1）所示：
 |
其中，
，
是隨機生成的，分別代表權重矩陣和偏置，s = 1, 
, S。
，是激活函數。對每個 
均可得到對應的經驗核函數 
，如式（2）所示：
 |
其中，
是一個特定的內核函數，通常使用高斯核函數，表示 
和 
之間的內積。
表示內積向量的對角矩陣，
表示內積向量的特征向量。得到的 
是一個更加緊密的經驗核。
使用加權組合策略將多個經驗核進行組合構造分類器，如式（3）所示：
 |
其中，
是輸出，
是第 s 個經驗特征空間的權重，
是第 s 個特征映射的權重矩陣，
是偏置。
表示增廣的權重矩陣，
表示增廣的經驗向量。有關多經驗核學習的具體算法細節請參考文獻[19]。
1.1.2 SPL 原理
SPL 按照一定順序學習，首先學習一個初始化的、一般化的模型結構，然后增加復雜性完成學習任務[20]。SPL 模型對所有的訓練樣本賦予權重，使用此權重來衡量樣本的簡單與否，如果一個樣本很容易預測它的真實標簽，則是簡單樣本。SPL 的模型如式（4）所示：
 |
其中，
是目標函數，
表示為損失函數，計算了真實標簽 
和預測標簽 
之間的損失，
表示決策函數 
的模型參數，
是樣本特征 
的 SPL 權重，表示樣本特征 
的學習難易程度。
是自步函數，由自步參數 
控制，確定如何選擇樣本，即自步函數確定 v 的權重更新策略[18]。
1.1.3 ERM 原理
ERM 方法的集成機制是約束弱分類器的超平面向量盡可能正交，以此獲得多樣性，得到不同的弱分類器進行集成，獲得比單個分類器更好的性能。ERM 的目標函數如式（5）所示：
 |
其中，
，
分別為各分類器的超平面法向量所形成的矩陣和相應的偏置所形成的向量，M 是基分類器個數。
是一個常數，用于平衡各項在目標函數中所占的比重，函數 
表示核映射。算子 
，如果 u 為非負數，則保持輸入標量 u 不變，否則返回 0，其擴展向量和矩陣將算子應用于每個元素。對 
進行 
范數的正則使得弱分類器的超平面向量盡可能正交，得到不同的弱分類器。
ERM 的集成方法主要針對分類器本身，未能充分發掘樣本多方面的特性。并且 ERM 對所有樣本賦予相同重要性，忽略了不同樣本對模型的影響，導致 ERM 的魯棒性和泛化能力不強。
1.2 SPL-MEKM-ERM 算法
為了使 ERM 分類器更好地學習醫學影像小樣本數據的特征信息，對特征更好地進行分類，本文提出了 SPL-MEKM-ERM 算法，其模型如式（6）所示：
 |
其中，目標函數的第一項為自步系數與樣本誤差的乘積，第二項為確定如何選擇樣本的自步函數，第三項為參數正則項。MEKM 能夠組合多種不同的特征表達，在增強特征多樣性的基礎上，取代傳統 SVM 分類器的核變換，從而使得分類器更具多樣性，提升集成學習的性能。SPL 通過自適應地選擇樣本，由易到難地逐步訓練集成分類器模型，能進一步提升分類器的性能。
為了使式（6）中的變量可分，便于使用交替優化方法求解，引入輔助變量 
，如式（7）所示：
 |
其中，
，
。同時，引入輔助變量 
。式（6）的最小化問題可以轉化成如式（8）所示形式：
 |
其中，
，
表示點乘運算，
，
。
由于式（8）中每項的凸性以及約束呈線性，因此目標問題是凸的。則式（8）的拉格朗日函數可以轉化成如式（9）所示形式：
 |
定義函數 
，其中
表示矩陣的內積。
是一個正的懲罰數。
，
是拉格朗日乘子。使用交替優化方法，通過固定其它變量一次迭代地更新一個變量，其迭代優化過程如下：
（1）更新 
：
為了更新 
，需要確定自步函數 
的形式。通常使用的自步函數包括硬加權、線性加權和混合加權，本文使用了混合加權的自步函數形式。混合加權的自步函數是 hard 0-1 加權和 soft 實值加權的混合，如式（10）所示：
 |
其中，除了 
外還引入了額外的自步參數 
。因此，得到對應的最優 
如式（11）所示：
 |
其中，
表示樣本特征 
的損失。
（2）更新 
：
將與 
無關的變量固定，對 
的每一行 
進行求解，如式（12）所示：
 |
其中，
是單位矩陣，
的公式如式（13）所示：
 |
其中，
是一個極小的正數，用于避免除數為零。
（3）更新 
：
去除與 
無關的項得到一個最小二乘回歸問題，得到更新 
的公式如式（14）所示：
 |
（4）更新 
：
選取式（9）中與 E 相關的項組成 E 的子問題，為了尋找 E 中每個元素的最小值，需要選擇當 
和 
時，更小的值即可。E 的更新公式如式（15）所示：
 |
其中，
是一個指示函數，
的補集用 
表示。
（5）更新 
：
對式（9）中有包含 
的項求偏導，令偏導為 0，可得更新 
的公式，如式（16）所示：
 |
（6）更新 
：
固定與多核隱射組合系數 
不相關的變量，得到關于 
的子問題，解此最小化問題，得到 
的更新公式，如式（17）所示：
 |
更新拉格朗日乘子 
、
，如式（18）、（19）所示：
 |
 |
本算法在構造目標函數（9）之后，循環更新上述參數，直到目標函數收斂，最終輸出分類結果。
2 實驗和結果
2.1 實驗數據
本文在非公開的乳腺腫瘤雙模態超聲數據集中進行所提出的 SPL-MEKM-ERM 算法驗證。該數據集由南京鼓樓醫院超聲科采集，提供了雙模態的乳腺腫瘤圖像數據，即 B 型超聲模態和彈性超聲模態。雙模態超聲數據同時采集自 264 位患者，其中包括 129 位良性乳腺腫瘤患者和 135 位惡性乳腺腫瘤患者。所有良性腫瘤病例是通過麥默通微創手術或超聲引導下組織學活檢證實，而所有惡性腫瘤則在手術后通過了病理學驗證。該數據集已獲得南京鼓樓醫院倫理委員會的批準，所有患者均簽署了知情同意書，并得到授權可以用作學術研究。
該數據集由超聲掃描儀（Resona7，邁瑞生物醫療電子股份有限公司，中國深圳）通過 L11-3 線陣探頭采集。由一位有經驗的超聲醫生從每幅 B 型超聲圖像中標注包含腫瘤區域的感興趣區域（region of interest，ROI），然后通過自行開發的程序將該區域位置對應到彈性圖像中獲取 ROI。如圖 2 所示為良性和惡性雙模態超聲圖像的示例，其中白色箭頭指向腫瘤區域。
圖2
良惡性乳腺腫瘤雙模態超聲圖像
Figure2.
Bimodal ultrasound images of benign and malignant breast tumors
2.2 特征提取
從每一幅 B 型超聲圖像和彈性超聲圖像中裁剪出所標注的 ROI，然后分別提取了 71 維特征，包括統計特征、紋理特征、Hu 不變矩特征，具體如下：
（1）統計特征，基于 ROI 中像素的強度進行計算，包括均值、標準差、直方圖熵、差異系數、偏度、峰度、面積比、組合面積比、分位數共計 18 個特征。具體計算方法請參考文獻[22]。
（2）紋理特征，基于灰度共生矩陣（gray-level co-occurrence matrix，GLCM）進行計算。GLCM 通過計算圖像中一定距離和方向的兩點像素灰度值之間的相關性，反映了圖像關于方向、亮度、變化幅度方面的信息[21]。本文提取了角二階矩、相關性、能量、對比度、均勻性、熵等特征。為了更有效地表示紋理，將原始圖像量化為 8 個強度，并通過計算像素相對距離（d = 1）和 4 個不同的方向（θ = 0°，45°，90°，135°）得到[22]，共計 46 個特征。
（3）Hu 不變矩，基于圖像二階和三階中心距進行計算，二階矩表示圖像灰度的方差，三階矩用于衡量圖像像素分布是否有偏[23]，Hu 不變矩在連續圖像條件下可以保持平移、縮放、旋轉不變，共計 7 個特征。
2.3 實驗設計
為了評估所提出的 SPL-MEKM-ERM 分類算法性能，本文對多個算法進行了對比實驗：
（1）SVM[9]：采用傳統的 SVM 分類器進行分類，作為一個基準的對比算法；
（2）ERM[11]：采用原始的 ERM 分類器進行分類；
（3）SPL-ERM：采用 SPL 策略對原始 ERM 分類器模型進行訓練，然后應用于分類任務；
（4）EKM[14]：采用原始的 EKM 算法進行分類；
（5）MEKM[15]：采用原始的 MEKM 算法進行分類；
（6）EKM-ERM：對特征先進行 EKM 映射，然后嵌入 ERM 分類器進行分類；
（7）MEKM-ERM：對多次隨機映射的特征采用 MEKM 進行特征表達，然后嵌入 ERM 進行分類；
（8）SPL-EKM-ERM：對特征進行 EKM 映射，并嵌入 ERM 分類器，然后采用 SPL 策略進行模型訓練，最終應用于分類任務。
為了驗證各種算法的性能，本文采用五折交叉驗證方法，最終結果以五次結果的平均±標準差的形式呈現。最終結果使用了如下指標：分類準確率（accuracy，ACC）、敏感性（sensitivity，SEN）、特異性（specificity，SPE）、陽性檢測率（positive predictive value，PPV）、陰性檢測率（negative predictive value，NPV）、約登指數（Youden index，YI）和平衡 F1 分數 (F1 score)。每個指標具體計算方法如式（20）所示。
 |
其中，真陽性（true positive，TP）表示本來是陽性，被正確分類的樣本個數；假陽性（false positive，FP）表示原本不是陽性，但被分類為陽性的樣本個數；真陰性（true negative，TN）表示本來是陰性樣本，被正確分類的樣本個數；假陰性（false negative，FN）表示本來不是陰性，但被錯誤地分類為陰性地樣本個數。分類準確率表示判斷正確的樣本數占所有樣本的比例；敏感性表示所有陽性樣本中被正確分類的比例，衡量了分類器對疾病的敏感程度；特異性表示所有陰性樣本中被正確分類的比例，衡量了分類器對于陰性的識別能力；陽性檢測率表示預測為陽性的樣本中實際為陽性的可能性；陰性檢測率表示預測為陰性的樣本中實際為陰性的可能性；約登指數綜合了敏感性和特異性的結果，表示發現真正陽性和陰性的總能力；F1 分數為敏感性和陽性檢測率的加權平均。約登指數和 F1 分數值越大，表明分類模型的疾病篩查效果越好，真實性越大。本文還畫出受試者工作特征曲線（receiver operating characteristic curve，ROC）作為直觀評價的指標[24]。
2.4 實驗結果
如表 1 所示為各種算法在 B 型超聲數據集上的分類結果。可以發現，在所有對比算法中，SPL-MEKM-ERM 獲得了最高的分類準確率（86.36±6.45）%，其敏感性、約登指數、陽性檢測率、陰性檢測率和 F1 分數也最高，分別為（88.15±7.12）%、（72.67±12.96）%、（86.00±7.89）%、（87.43±7.10）% 和（86.90±6.18）%。相比于其它算法，SPL-MEKM-ERM 在準確率、敏感性、約登指數、陰性檢測率和 F1 分數至少能提高 1.51%、2.96%、2.90%、2.94%、1.95%。本文提出的 SPL-MEKM-ERM 算法使用 MEKM 取代原始 ERM 中 SVM 的隱式核變換，獲得了比 SPL-ERM 算法更優的分類結果，說明 MEKM 變化增強了分類器的多樣性，有利于集成學習；同樣的結論在 MEKM-ERM 與 ERM 的實驗對比得以體現。同時，SPL-MEKM-ERM 算法將 SPL 與 ERM 相結合，與 MEKM-ERM 相比，分類結果也有較為明顯的提高，表明了 SPL 策略的有效性；而 SPL-ERM 與 ERM 的實驗對比同樣也證明了此結論。
表1
基于 B 型超聲數據不同算法分類結果
Table1.
Classification results of different algorithms based on B-mode ultrasound data
如表 2 所示為各種算法在彈性超聲數據集上的分類結果。由表 2 可以發現，該數據集上的結果趨勢與 B 型超聲數據集類似。SPL-MEKM-ERM 仍然取得了最優的結果，其分類準確率為（85.97±3.75）%，敏感性、特異性、約登指數、陽性檢測率、陰性檢測率、F1 分數分別為（85.93±6.09）%、（86.03±5.88）%、（71.96±7.48）%、（86.77±4.45）%、（85.65±5.49）%、（86.21±3.74）%。相比于其它算法，SPL-MEKM-ERM 的分類準確率、特異性、約登指數、陽性檢測率、F1 分數的指標上至少提高了 1.50%、2.31%、3.05%、2.23%、1.26%。SPL-MEKM-ERM 相比于 SPL-ERM 和 MEKM-ERM 算法均取得較明顯的提升，證明了在原始 ERM 中嵌入 SPL 和 MEKM 的有效性。
表2
基于彈性超聲數據不同算法分類的結果
Table2.
Classification results of different algorithms based on elastography ultrasound data
如圖 3、圖 4 所示，分別顯示了各種分類算法在 B 型超聲數據集和彈性超聲數據集上所獲得的 ROC 曲線。SPL-MEKM-ERM 算法的 ROC 曲線與坐標軸的左上角最接近，證明了其分類性能最優。
圖3
基于 B 型超聲數據的不同算法的 ROC 曲線
Figure3.
ROC curves of different algorithms based on the B-mode ultrasound data
圖4
基于彈性超聲數據的不同算法的 ROC 曲線
Figure4.
ROC curves of different algorithms based on the elasto graphy ultrasound data
本文進一步對所提出 SPL-MEKM-ERM 算法的模型訓練和測試時間進行了評估。由于 B 型超聲和彈性超聲的特征維度一樣，如表 3 所示給出了以 B 型超聲數據集為例的五折交叉驗證的平均訓練和測試時間。可以發現，雖然 SPL-MEKM-ERM 的模型訓練時間最長，但是在當前訓練集上也能在 9 s 內完成，仍然具有很高的效率。而在測試階段，該算法與其它對比算法的執行時間并無顯著區別，均在 0.1 s 內即可完成對一幅圖像的診斷。
表3
不同算法在 B 型超聲數據集上的模型訓練測試時間對比
Table3.
Comparison of model training and testing time of diffe rent algorithms on B-mode ultrasound data
3 討論
為了提升基于小樣本訓練集的乳腺超聲 CAD 模型的性能，本文提出了一種基于 SPL 的多經驗核 ERM 分類算法。與對比算法相比較，本文提出的 SPL-MEKM-ERM 分類算法取得了最優的分類結果，表明了算法的有效性。該算法具有以下兩方面的優點：
（1）常規從圖像中提取的特征通常存在表達能力不強、形式單一等問題。本文算法通過在 ERM 中引入 MEKM，將隨機映射和 EKM 相結合來生成多樣化的特征，增加了特征的多樣性和表達能力。EKM 顯式地實現核變換，能夠更易于處理和分析生成的經驗特征空間，而且 EKM 的核函數對輸入數據有很強的自適應能力，能夠最大限度地保留特征空間中的有效信息，并且計算復雜度較低、輸入參數少、收斂速度快，易于實現。將 MEKM 取代 ERM 中 SVM 的隱式核變換，進一步提升了分類器的多樣性，有利于提升集成學習的性能。實驗結果也表明了 MEKM-ERM 分類器的有效性。
另一方面，將 SPL 策略應用于 MEKM-ERM 模型的訓練，能自適應地從易到難選擇訓練樣本，從而進一步提升了分類器的性能。其中，簡單樣本就是目標損失小的樣本，在模型的初級訓練階段就能獲得較好的分類結果；反之則是復雜樣本，需要通過進一步訓練才能使得這些樣本獲得較好的分類準確率。醫學影像數據往往存在較大的個體差異，增加了分類器模型訓練的難度。因此，本文采用 SPL 策略訓練 MEKM-ERM 模型，有效提升了模型訓練的效果，而實驗結果也表明了采用該訓練方法的有效性。
本文在小樣本乳腺數據集上獲得了較好的分類結果，表明了本算法在小樣本數據集上應用的可能性。同時，考慮到本文數據集是雙模態數據集，在今后的研究中，可以考慮在 ERM 中引入遷移學習，或在模型中結合模態融合等方法，將兩種模態的數據更有效地利用，進一步提高分類結果。
4 結論
本文提出了一種基于 SPL 的多經驗核 ERM 分類算法，通過 MEKM 增強特征表達能力和特征的多樣性，并進一步采用 SPL 策略自適應地選擇樣本，由易到難迭代訓練 MEKM-ERM 模型，最終提升了分類器的性能。本文對所提出的算法在乳腺癌的 B 型超聲數據集和彈性超聲數據集上分別進行了實驗。結果表明，與其它對比算法相比，SPL-MEKM-ERM 算法結果在兩個數據集上均獲得了較好的提升，這說明該算法具有應用于小樣本的乳腺超聲 CAD 的潛在價值，同時也具有拓展到其它小樣本分類任務的可行性。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
引言
乳腺癌（breast cancer，BC）是女性常見的惡性腫瘤之一，嚴重危害女性健康，給社會和家庭帶來了沉重的負擔。因此，提高乳腺癌診斷的準確性，對于疾病早期介入、治療具有重要的意義。B 型超聲成像（B-mode ultrasound，BUS）作為臨床常用的診斷技術，具有廉價、實時、無輻射等優點，廣泛應用于乳腺癌診斷[1]。彈性超聲成像（elastography ultrasound，EUS）作為一種新的超聲成像技術，提供了組織硬度這一力學特性相關的信息，能幫助提高乳腺癌診斷的準確性，已經逐步應用于臨床診斷[2]。另一方面，隨著人工智能的不斷發展，計算機輔助診斷（computer-aided diagnosis，CAD）為醫生診斷提供輔助決策，提高了診斷的準確性[3-5]。綜上，基于超聲成像的乳腺癌 CAD 一直是研究的熱點[6-7]。
分類器是 CAD 系統的重要模塊，其性能直接影響診斷的準確性[8]。支持向量機（support vector machine，SVM）是廣泛應用的分類器，尤其針對小樣本數據分類任務通常具有較好的性能[9]。而集成學習通過組合多個弱分類器從而構建一個強分類器，能進一步提升面向小樣本數據的分類器的性能[10]。排他性正則化機（exclusivity regularized machine，ERM）是一種新的集成 SVM 分類器，通過定義排他性的多樣性度量方法，約束不同 SVM 的分割超平面互相垂直，從而最大化基學習機的多樣性[11]。ERM 具有應用于基于超聲圖像 CAD 的可行性，其性能仍然有進一步提升的空間。
SVM 是一種典型的基于核方法的分類器。核方法將原始特征向量映射到高維空間，使得映射后的樣本在高維空間線性可分[12]。傳統的核方法主要為隱式核映射（implicit kernel mapping，IKM），容易引起核函數選擇不當時特征的可分性更差的問題[13]。經驗核映射（empirical kernel mapping，EKM）突破了 IKM 對內積計算的限制，顯式地將樣本映射到特征空間[14]，已經成功應用于許多基于核的分類器。多經驗核映射（multiple empirical kernel mapping，MEKM）是一種改進的算法，其通過從訓練集中隨機選擇子集，構建具有不同內核的多個核函數矩陣，然后利用每個核矩陣的特征分解將樣本顯式映射到特征空間，增加了特征映射的多樣性，從而有效提高分類性能[15]。因此，將 MEKM 嵌入 ERM 分類器以取代 SVM 中的核變換，有望進一步提升分類的性能。
另一方面，Kumar 等[16]將課程學習的關鍵原理建立為具有理論基礎的數學表達形式，即自步學習（self-paced learning，SPL）模型[17]。SPL 的核心思想是模擬人的認知方式，從簡單的、普適性的知識結構開始學習，再逐漸增加難度，從而更好地學習更專業化、更復雜的知識。SPL 通過在學習中嵌入自我控制的樣本選擇方法，提升機器學習模型的魯棒性[18]。因此，將 SPL 策略應用于 ERM 模型的訓練過程，對分類器采用由易到難、逐步增加樣本的方式進行迭代訓練，具有提升其性能的可行性。
本文提出了一種基于 SPL 的 MEKM-ERM（SPL-MEKM-ERM）分類算法，應用于基于超聲成像的乳腺癌 CAD 系統。該算法首先對提取的特征進行隨機映射，得到多組不同的特征向量，然后采用 MEKM 對每一組特征向量進行核變換，提升特征表達的能力，同時嵌入到 ERM 作為多個 SVM 的核變換；進一步采用 SPL 策略自適應進行樣本選擇，由易到難逐步訓練 ERM 集成分類器模型，最終提升分類器的性能。本算法主要創新點在于：① 通過 MEKM 產生多種不同的特征表達，在增強特征多樣性的基礎上，同時取代傳統 SVM 分類器的核變換，從而使得分類器更具多樣性，提升集成學習的性能；② 將 SPL 策略應用于 MEKM-ERM 分類器模型的訓練，通過自適應地選擇樣本，由易到難地逐步訓練集成分類器模型，進一步提升分類器的性能。本文所提出的 SPL-MEKM-ERM 算法對小樣本數據具有較好的分類性能，具有應用于乳腺超聲 CAD 的潛在價值，同時也具有拓展應用于其它分類任務的可行性。
1 方法
如圖 1 所示為本文所提出的 SPL-MEKM-ERM 算法的流程圖，主要包含 MEKM 模塊和基于 SPL 的 ERM 模塊。
圖1
SPL-MEKM-ERM 分類算法流程圖
Figure1.
Flowchart of SPL-MEKM-ERM classification algorithm
SPL-MEKM-ERM 分類模型的訓練過程如下：
（1）對單模態訓練樣本提取特征，然后進行多個隨機映射操作，獲得多組新的特征表達；
（2）在 MEKM 模塊中對隨機映射后的每組特征都分別進行 EKM 變換，在顯式的核空間獲得新的多樣性特征表達；
（3）將步驟（2）中獲得的特征表達輸入基于 SPL 的 ERM 模塊，并采用 SPL 策略自適應地選擇訓練樣本，由易到難地逐步訓練 ERM 分類器模型。
1.1 預備知識
1.1.1 MEKM 原理
MEKM 在經驗核的基礎上，通過顯式特征表達的核函數，將原始特征隨機映射到多經驗核空間，再將多個經驗核空間加權組合得到最終預測值。
給定 N 個訓練樣本 ，，其中 C 是類別數， 和 分別表示第 i 個訓練樣本的特征向量及其標簽。對于輸入特征 ，隨機生成 S 個表達，如式（1）所示：
|
其中，， 是隨機生成的，分別代表權重矩陣和偏置，s = 1, , S。 ，是激活函數。對每個 均可得到對應的經驗核函數 ，如式（2）所示：
|
其中， 是一個特定的內核函數，通常使用高斯核函數，表示 和 之間的內積。 表示內積向量的對角矩陣， 表示內積向量的特征向量。得到的 是一個更加緊密的經驗核。
使用加權組合策略將多個經驗核進行組合構造分類器，如式（3）所示：
|
其中， 是輸出， 是第 s 個經驗特征空間的權重， 是第 s 個特征映射的權重矩陣， 是偏置。 表示增廣的權重矩陣， 表示增廣的經驗向量。有關多經驗核學習的具體算法細節請參考文獻[19]。
1.1.2 SPL 原理
SPL 按照一定順序學習，首先學習一個初始化的、一般化的模型結構，然后增加復雜性完成學習任務[20]。SPL 模型對所有的訓練樣本賦予權重，使用此權重來衡量樣本的簡單與否，如果一個樣本很容易預測它的真實標簽，則是簡單樣本。SPL 的模型如式（4）所示：
|
其中，是目標函數，表示為損失函數，計算了真實標簽 和預測標簽 之間的損失， 表示決策函數 的模型參數，是樣本特征 的 SPL 權重，表示樣本特征 的學習難易程度。 是自步函數，由自步參數 控制，確定如何選擇樣本，即自步函數確定 v 的權重更新策略[18]。
1.1.3 ERM 原理
ERM 方法的集成機制是約束弱分類器的超平面向量盡可能正交，以此獲得多樣性，得到不同的弱分類器進行集成，獲得比單個分類器更好的性能。ERM 的目標函數如式（5）所示：
|
其中，， 分別為各分類器的超平面法向量所形成的矩陣和相應的偏置所形成的向量，M 是基分類器個數。 是一個常數，用于平衡各項在目標函數中所占的比重，函數 表示核映射。算子 ，如果 u 為非負數，則保持輸入標量 u 不變，否則返回 0，其擴展向量和矩陣將算子應用于每個元素。對 進行 范數的正則使得弱分類器的超平面向量盡可能正交，得到不同的弱分類器。
ERM 的集成方法主要針對分類器本身，未能充分發掘樣本多方面的特性。并且 ERM 對所有樣本賦予相同重要性，忽略了不同樣本對模型的影響，導致 ERM 的魯棒性和泛化能力不強。
1.2 SPL-MEKM-ERM 算法
為了使 ERM 分類器更好地學習醫學影像小樣本數據的特征信息，對特征更好地進行分類，本文提出了 SPL-MEKM-ERM 算法，其模型如式（6）所示：
|
其中，目標函數的第一項為自步系數與樣本誤差的乘積，第二項為確定如何選擇樣本的自步函數，第三項為參數正則項。MEKM 能夠組合多種不同的特征表達，在增強特征多樣性的基礎上，取代傳統 SVM 分類器的核變換，從而使得分類器更具多樣性，提升集成學習的性能。SPL 通過自適應地選擇樣本，由易到難地逐步訓練集成分類器模型，能進一步提升分類器的性能。
為了使式（6）中的變量可分，便于使用交替優化方法求解，引入輔助變量 ，如式（7）所示：
|
其中，，。同時，引入輔助變量 。式（6）的最小化問題可以轉化成如式（8）所示形式：
|
其中，，表示點乘運算，， 。
由于式（8）中每項的凸性以及約束呈線性，因此目標問題是凸的。則式（8）的拉格朗日函數可以轉化成如式（9）所示形式：
|
定義函數 ，其中表示矩陣的內積。 是一個正的懲罰數。， 是拉格朗日乘子。使用交替優化方法，通過固定其它變量一次迭代地更新一個變量，其迭代優化過程如下：
（1）更新 ：
為了更新 ，需要確定自步函數 的形式。通常使用的自步函數包括硬加權、線性加權和混合加權，本文使用了混合加權的自步函數形式。混合加權的自步函數是 hard 0-1 加權和 soft 實值加權的混合，如式（10）所示：
|
其中，除了 外還引入了額外的自步參數 。因此，得到對應的最優 如式（11）所示：
|
其中， 表示樣本特征 的損失。
（2）更新 ：
將與 無關的變量固定，對 的每一行 進行求解，如式（12）所示：
|
其中， 是單位矩陣， 的公式如式（13）所示：
|
其中， 是一個極小的正數，用于避免除數為零。
（3）更新 ：
去除與 無關的項得到一個最小二乘回歸問題，得到更新 的公式如式（14）所示：
|
（4）更新 ：
選取式（9）中與 E 相關的項組成 E 的子問題，為了尋找 E 中每個元素的最小值，需要選擇當 和 時，更小的值即可。E 的更新公式如式（15）所示：
|
其中，是一個指示函數， 的補集用 表示。
（5）更新 ：
對式（9）中有包含 的項求偏導，令偏導為 0，可得更新 的公式，如式（16）所示：
|
（6）更新 ：
固定與多核隱射組合系數 不相關的變量，得到關于 的子問題，解此最小化問題，得到 的更新公式，如式（17）所示：
|
更新拉格朗日乘子 、，如式（18）、（19）所示：
|
|
本算法在構造目標函數（9）之后，循環更新上述參數，直到目標函數收斂，最終輸出分類結果。
2 實驗和結果
2.1 實驗數據
本文在非公開的乳腺腫瘤雙模態超聲數據集中進行所提出的 SPL-MEKM-ERM 算法驗證。該數據集由南京鼓樓醫院超聲科采集，提供了雙模態的乳腺腫瘤圖像數據，即 B 型超聲模態和彈性超聲模態。雙模態超聲數據同時采集自 264 位患者，其中包括 129 位良性乳腺腫瘤患者和 135 位惡性乳腺腫瘤患者。所有良性腫瘤病例是通過麥默通微創手術或超聲引導下組織學活檢證實，而所有惡性腫瘤則在手術后通過了病理學驗證。該數據集已獲得南京鼓樓醫院倫理委員會的批準，所有患者均簽署了知情同意書，并得到授權可以用作學術研究。
該數據集由超聲掃描儀（Resona7，邁瑞生物醫療電子股份有限公司，中國深圳）通過 L11-3 線陣探頭采集。由一位有經驗的超聲醫生從每幅 B 型超聲圖像中標注包含腫瘤區域的感興趣區域（region of interest，ROI），然后通過自行開發的程序將該區域位置對應到彈性圖像中獲取 ROI。如圖 2 所示為良性和惡性雙模態超聲圖像的示例，其中白色箭頭指向腫瘤區域。
圖2
良惡性乳腺腫瘤雙模態超聲圖像
Figure2.
Bimodal ultrasound images of benign and malignant breast tumors
2.2 特征提取
從每一幅 B 型超聲圖像和彈性超聲圖像中裁剪出所標注的 ROI，然后分別提取了 71 維特征，包括統計特征、紋理特征、Hu 不變矩特征，具體如下：
（1）統計特征，基于 ROI 中像素的強度進行計算，包括均值、標準差、直方圖熵、差異系數、偏度、峰度、面積比、組合面積比、分位數共計 18 個特征。具體計算方法請參考文獻[22]。
（2）紋理特征，基于灰度共生矩陣（gray-level co-occurrence matrix，GLCM）進行計算。GLCM 通過計算圖像中一定距離和方向的兩點像素灰度值之間的相關性，反映了圖像關于方向、亮度、變化幅度方面的信息[21]。本文提取了角二階矩、相關性、能量、對比度、均勻性、熵等特征。為了更有效地表示紋理，將原始圖像量化為 8 個強度，并通過計算像素相對距離（d = 1）和 4 個不同的方向（θ = 0°，45°，90°，135°）得到[22]，共計 46 個特征。
（3）Hu 不變矩，基于圖像二階和三階中心距進行計算，二階矩表示圖像灰度的方差，三階矩用于衡量圖像像素分布是否有偏[23]，Hu 不變矩在連續圖像條件下可以保持平移、縮放、旋轉不變，共計 7 個特征。
2.3 實驗設計
為了評估所提出的 SPL-MEKM-ERM 分類算法性能，本文對多個算法進行了對比實驗：
（1）SVM[9]：采用傳統的 SVM 分類器進行分類，作為一個基準的對比算法；
（2）ERM[11]：采用原始的 ERM 分類器進行分類；
（3）SPL-ERM：采用 SPL 策略對原始 ERM 分類器模型進行訓練，然后應用于分類任務；
（4）EKM[14]：采用原始的 EKM 算法進行分類；
（5）MEKM[15]：采用原始的 MEKM 算法進行分類；
（6）EKM-ERM：對特征先進行 EKM 映射，然后嵌入 ERM 分類器進行分類；
（7）MEKM-ERM：對多次隨機映射的特征采用 MEKM 進行特征表達，然后嵌入 ERM 進行分類；
（8）SPL-EKM-ERM：對特征進行 EKM 映射，并嵌入 ERM 分類器，然后采用 SPL 策略進行模型訓練，最終應用于分類任務。
為了驗證各種算法的性能，本文采用五折交叉驗證方法，最終結果以五次結果的平均±標準差的形式呈現。最終結果使用了如下指標：分類準確率（accuracy，ACC）、敏感性（sensitivity，SEN）、特異性（specificity，SPE）、陽性檢測率（positive predictive value，PPV）、陰性檢測率（negative predictive value，NPV）、約登指數（Youden index，YI）和平衡 F1 分數 (F1 score)。每個指標具體計算方法如式（20）所示。
|
其中，真陽性（true positive，TP）表示本來是陽性，被正確分類的樣本個數；假陽性（false positive，FP）表示原本不是陽性，但被分類為陽性的樣本個數；真陰性（true negative，TN）表示本來是陰性樣本，被正確分類的樣本個數；假陰性（false negative，FN）表示本來不是陰性，但被錯誤地分類為陰性地樣本個數。分類準確率表示判斷正確的樣本數占所有樣本的比例；敏感性表示所有陽性樣本中被正確分類的比例，衡量了分類器對疾病的敏感程度；特異性表示所有陰性樣本中被正確分類的比例，衡量了分類器對于陰性的識別能力；陽性檢測率表示預測為陽性的樣本中實際為陽性的可能性；陰性檢測率表示預測為陰性的樣本中實際為陰性的可能性；約登指數綜合了敏感性和特異性的結果，表示發現真正陽性和陰性的總能力；F1 分數為敏感性和陽性檢測率的加權平均。約登指數和 F1 分數值越大，表明分類模型的疾病篩查效果越好，真實性越大。本文還畫出受試者工作特征曲線（receiver operating characteristic curve，ROC）作為直觀評價的指標[24]。
2.4 實驗結果
如表 1 所示為各種算法在 B 型超聲數據集上的分類結果。可以發現，在所有對比算法中，SPL-MEKM-ERM 獲得了最高的分類準確率（86.36±6.45）%，其敏感性、約登指數、陽性檢測率、陰性檢測率和 F1 分數也最高，分別為（88.15±7.12）%、（72.67±12.96）%、（86.00±7.89）%、（87.43±7.10）% 和（86.90±6.18）%。相比于其它算法，SPL-MEKM-ERM 在準確率、敏感性、約登指數、陰性檢測率和 F1 分數至少能提高 1.51%、2.96%、2.90%、2.94%、1.95%。本文提出的 SPL-MEKM-ERM 算法使用 MEKM 取代原始 ERM 中 SVM 的隱式核變換，獲得了比 SPL-ERM 算法更優的分類結果，說明 MEKM 變化增強了分類器的多樣性，有利于集成學習；同樣的結論在 MEKM-ERM 與 ERM 的實驗對比得以體現。同時，SPL-MEKM-ERM 算法將 SPL 與 ERM 相結合，與 MEKM-ERM 相比，分類結果也有較為明顯的提高，表明了 SPL 策略的有效性；而 SPL-ERM 與 ERM 的實驗對比同樣也證明了此結論。
表1
基于 B 型超聲數據不同算法分類結果
Table1.
Classification results of different algorithms based on B-mode ultrasound data
如表 2 所示為各種算法在彈性超聲數據集上的分類結果。由表 2 可以發現，該數據集上的結果趨勢與 B 型超聲數據集類似。SPL-MEKM-ERM 仍然取得了最優的結果，其分類準確率為（85.97±3.75）%，敏感性、特異性、約登指數、陽性檢測率、陰性檢測率、F1 分數分別為（85.93±6.09）%、（86.03±5.88）%、（71.96±7.48）%、（86.77±4.45）%、（85.65±5.49）%、（86.21±3.74）%。相比于其它算法，SPL-MEKM-ERM 的分類準確率、特異性、約登指數、陽性檢測率、F1 分數的指標上至少提高了 1.50%、2.31%、3.05%、2.23%、1.26%。SPL-MEKM-ERM 相比于 SPL-ERM 和 MEKM-ERM 算法均取得較明顯的提升，證明了在原始 ERM 中嵌入 SPL 和 MEKM 的有效性。
表2
基于彈性超聲數據不同算法分類的結果
Table2.
Classification results of different algorithms based on elastography ultrasound data
如圖 3、圖 4 所示，分別顯示了各種分類算法在 B 型超聲數據集和彈性超聲數據集上所獲得的 ROC 曲線。SPL-MEKM-ERM 算法的 ROC 曲線與坐標軸的左上角最接近，證明了其分類性能最優。
圖3
基于 B 型超聲數據的不同算法的 ROC 曲線
Figure3.
ROC curves of different algorithms based on the B-mode ultrasound data
圖4
基于彈性超聲數據的不同算法的 ROC 曲線
Figure4.
ROC curves of different algorithms based on the elasto graphy ultrasound data
本文進一步對所提出 SPL-MEKM-ERM 算法的模型訓練和測試時間進行了評估。由于 B 型超聲和彈性超聲的特征維度一樣，如表 3 所示給出了以 B 型超聲數據集為例的五折交叉驗證的平均訓練和測試時間。可以發現，雖然 SPL-MEKM-ERM 的模型訓練時間最長，但是在當前訓練集上也能在 9 s 內完成，仍然具有很高的效率。而在測試階段，該算法與其它對比算法的執行時間并無顯著區別，均在 0.1 s 內即可完成對一幅圖像的診斷。
表3
不同算法在 B 型超聲數據集上的模型訓練測試時間對比
Table3.
Comparison of model training and testing time of diffe rent algorithms on B-mode ultrasound data
3 討論
為了提升基于小樣本訓練集的乳腺超聲 CAD 模型的性能，本文提出了一種基于 SPL 的多經驗核 ERM 分類算法。與對比算法相比較，本文提出的 SPL-MEKM-ERM 分類算法取得了最優的分類結果，表明了算法的有效性。該算法具有以下兩方面的優點：
（1）常規從圖像中提取的特征通常存在表達能力不強、形式單一等問題。本文算法通過在 ERM 中引入 MEKM，將隨機映射和 EKM 相結合來生成多樣化的特征，增加了特征的多樣性和表達能力。EKM 顯式地實現核變換，能夠更易于處理和分析生成的經驗特征空間，而且 EKM 的核函數對輸入數據有很強的自適應能力，能夠最大限度地保留特征空間中的有效信息，并且計算復雜度較低、輸入參數少、收斂速度快，易于實現。將 MEKM 取代 ERM 中 SVM 的隱式核變換，進一步提升了分類器的多樣性，有利于提升集成學習的性能。實驗結果也表明了 MEKM-ERM 分類器的有效性。
另一方面，將 SPL 策略應用于 MEKM-ERM 模型的訓練，能自適應地從易到難選擇訓練樣本，從而進一步提升了分類器的性能。其中，簡單樣本就是目標損失小的樣本，在模型的初級訓練階段就能獲得較好的分類結果；反之則是復雜樣本，需要通過進一步訓練才能使得這些樣本獲得較好的分類準確率。醫學影像數據往往存在較大的個體差異，增加了分類器模型訓練的難度。因此，本文采用 SPL 策略訓練 MEKM-ERM 模型，有效提升了模型訓練的效果，而實驗結果也表明了采用該訓練方法的有效性。
本文在小樣本乳腺數據集上獲得了較好的分類結果，表明了本算法在小樣本數據集上應用的可能性。同時，考慮到本文數據集是雙模態數據集，在今后的研究中，可以考慮在 ERM 中引入遷移學習，或在模型中結合模態融合等方法，將兩種模態的數據更有效地利用，進一步提高分類結果。
4 結論
本文提出了一種基于 SPL 的多經驗核 ERM 分類算法，通過 MEKM 增強特征表達能力和特征的多樣性，并進一步采用 SPL 策略自適應地選擇樣本，由易到難迭代訓練 MEKM-ERM 模型，最終提升了分類器的性能。本文對所提出的算法在乳腺癌的 B 型超聲數據集和彈性超聲數據集上分別進行了實驗。結果表明，與其它對比算法相比，SPL-MEKM-ERM 算法結果在兩個數據集上均獲得了較好的提升，這說明該算法具有應用于小樣本的乳腺超聲 CAD 的潛在價值，同時也具有拓展到其它小樣本分類任務的可行性。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
