定量分析蘇木素-伊紅（H&E）染色組織病理圖像作為一個新興領域得到越來越多的關注。本文綜述了計算機輔助的圖像分析方法在乳腺癌預后中的應用。首先簡述了乳腺癌基于H&E組織病理圖像的傳統預后評估。然后概述了計算機輔助的預后評估，包括圖像采集、圖像預處理、感興趣區域檢測及對象分割、特征提取，以及計算機輔助的預后。最后總結了計算機輔助的乳腺癌預后研究所面臨的主要挑戰和未來的發展方向。
引用本文： 陳佳梅, 屈愛平, 劉文樓, 王林偉, 袁靜萍, 劉娟, 李雁. 基于蘇木素-伊紅組織病理圖像的計算機輔助的乳腺癌預后. 生物醫學工程學雜志, 2016, 33(3): 598-603. doi: 10.7507/1001-5515.20160100 復制
引言
隨著圖像處理、數學、統計學等領域的快速發展，醫學形態學由人工定性分析進入計算機輔助的定量分析階段。計算機輔助的診斷自20世紀90年代正式進入影像學臨床應用，并在該領域發揮著越來越重要的作用[1-2]。與此同時病理學正向著數字化轉變，全切片掃描儀在促進數字化病理圖像數據庫飛速發展的同時，也促進了計算機輔助的圖像分析方法在病理領域的探索與應用[3]。
計算機輔助的圖像分析方法可幫助病理醫生定量研究病理圖像[4]，已有相關分析軟件應用于免疫熒光圖像[5]以及免疫組織化學(immunohistochemistry,IHC)圖像的定量分析[6]。但針對蘇木素-伊紅(hematoxylin & eosin,H&E)組織病理圖像的定量分析尚處于探索階段，未應用于常規病理工作中。然而H&E組織病理圖像是目前大多數疾病以及幾乎所有腫瘤的診斷金標準[7]。不足的是病理醫生對H&E圖像的分析一直停留在基于經驗的定性水平，其評估結果存在觀察者間或觀察者內差異[4]。因而，如何基于H&E圖像的定量分析實現計算機輔助的診斷和預后成為圖像分析領域的研究熱點之一[8-10]。
乳腺癌作為一種高度異質性的疾病，如何準確評估其預后和治療反應性并提供最佳的個體化治療方案，成為臨床亟待解決的難題[11]。盡管基因表達特征譜揭示了乳腺癌的分子異質性，能較好地預測預后，但是其技術缺乏普適性且費用昂貴，暫不能應用于常規病理流程中。目前乳腺癌的預后評估仍依賴于H&E圖像中的形態特征和IHC圖像中的生物指標[12]。本文綜述了計算機輔助的H&E組織病理圖像分析在乳腺癌預后中的應用。
1 基于H&E圖像的傳統預后評估
H&E圖像中癌細胞異型性和上皮組織異型性可為乳腺癌提供重要的預后信息，不同組織學類型乳腺癌的預后顯著不同[13]。世界衛生組織采用的組織學分級——諾丁漢分級(Nottingham grading system,NGS)是乳腺癌經典的預后因子之一。NGS通過半定量評估H&E圖像中的腺管形成程度、癌細胞異型性及有絲分裂象計數來反映乳腺癌的分化程度。該人工評估過程不僅耗時，而且對病理醫生的專業知識和從業經驗都有著極高的要求，易受疲勞閱片等主觀因素的影響，從而限制了NGS在預后中的應用[14]。因而研究者們嘗試以圖像分析技術量化癌細胞和(或)上皮組織的形態特征來實現客觀的分級[15-17]。
另外，乳腺癌的發生發展是癌細胞與腫瘤微環境相互作用的結果，腫瘤間質中細胞種類、數量或形態的改變也具有預后意義[18]。如淋巴細胞浸潤者一般預后較好[19]，而腫瘤相關成纖維細胞的出現則提示預后不良[20]。在常規病理工作中，一般定性描述腫瘤間質中細胞成分和細胞外基質的改變，而基于計算機的圖像分析可自動分割間質中的不同成分并進行定量研究[21-22]。
2 基于H&E圖像的計算機輔助預后評估
計算機輔助預后評估的工作流程如圖 1所示。首先，通過圖像采集將顯微鏡下的組織切片轉換成能被計算機直接處理的數字圖像。然后，模擬病理醫生長期閱片等經驗學習過程處理并分析圖像，其主要過程包括圖像預處理、感興趣區域(region of interest,ROI)檢測與對象分割，以及特征提取。最后，結合臨床病理數據甄別出有預后意義的特征，并構建整合了不同特征的預后模型。
圖1
基于H&E圖像的計算機輔助的乳腺癌預后的流程簡圖
Figure1.
Workflow of computer-aided prognosis for breast cancer based on H&E histopathology images
2.1 圖像采集
傳統的圖像采集系統是安裝在顯微鏡上的數碼相機，可獲取靜態圖像。現在全切片掃描儀可掃描整張組織切片，獲取高分辨率、高清晰度的全切片掃描圖像(whole slide scanner image,WSI)，并可模擬顯微鏡逐級放大，動態觀察病變。有研究顯示，在分析乳腺H&E切片時使用傳統顯微鏡下圖像與使用WSI具有相似的精度、準確度及可重復性[23]。通常組織切片中除了病變組織，還有正常組織或者空白區域，故大量的研究工作只采集圖像中的ROI，或選取WSI中的ROI進行分析[24]。
2.2 圖像預處理
圖像質量的好壞會影響后續ROI檢測與對象分割的精度和準確度。影響圖像質量的因素有組織處理、切片以及染色不當，或圖像采集條件差異。適當的預處理方法可改善圖像質量，如顏色歸一化可減輕染色批次效應[25]，圖像增強可提高感興趣對象與背景的對比度[26]。
2.3 ROI檢測及對象分割
自動檢測ROI并分割病理對象是特征提取的前提，也是圖像處理中的經典難題。乳腺癌的高度異質性導致組織形態復雜多樣[27]，針對其H&E圖像的檢測及分割極具挑戰性。已提出的細胞核分割方法有基于灰度的閾值法[28]與模糊聚類法[29]，結合區域生長與馬爾可夫隨機場的方法[30]，以及與特定理論相結合的方法如基于數學形態學的分水嶺[16, 31]和最近提出的深度堆棧自編碼器[32]。而排斥水平集[33]、主動輪廓模型[34]以及上述分水嶺算法等均可進一步解決分割邊界重疊的現象。對于不同類型的細胞，最小值分割模型可區分正常細胞與癌細胞[35]，而期望值最大化-主動輪廓模型[36]以及支持向量機(support vector machine,SVM)[22, 37]可分割淋巴細胞。
有絲分裂象是具有特殊形態的細胞核，其核濃染、核膜欠清晰、邊緣呈毛刺狀，是評估乳腺癌增殖率常用的方法。國際上組織了關于有絲分裂象檢測算法的挑戰項目[38-39]，在2013年MICCAI(Medical Image Computing and Computer Assisted Interventions)競賽中，深度神經網絡性能最佳，其檢測結果可與病理專家標記結果相媲美[40]。但由于凋亡、壞死細胞核及淋巴細胞等均與有絲分裂象具有類似形態，即使是病理專家也很難做出鑒別。因而有絲分裂象分割比一般細胞核分割更具挑戰性，遠不能應用于病理工作。
上皮細胞在正常乳腺組織中規律排列成腺泡或腺管結構，而惡性上皮細胞間的黏附性降低或消失，使其失去形成管腔的能力，故腺管形成程度可反映癌組織分化程度。鑒于腺管屬于組織水平結構，其分割需分別識別腺腔、上皮細胞后再分割腺管邊界。目前關于乳腺癌腺管分割的文獻并不廣泛[41-42]。Dalle等[43]提出的基于數學形態學的閉運算將脂肪組織等具有腔隙的結構也分割出來，其假陽性率較高。而Naik等[44]采用Bayesian分類器檢測出腺管樣結構，然后基于面積移除假陽性對象，最后應用水平集分割腺管邊界。Xu等[45]提出的測地線-主動輪廓模型與Basavanhally等[46]提出的O’Callaghan鄰近在分割有多重組分的組織結構時具有較大優勢，在區分腺管與其它管腔樣結構時假陽性率較低。
2.4 特征提取
對象分割后，以提取的特征即計算機視覺語言代替病理語言來描述對象，包括像素水平、對象水平及語義水平特征[24]。像素水平特征如顏色與紋理特征不能反映對象屬性，故其生物學解釋性最小，常用于對象的分割如有絲分裂象檢測[47]。對象水平特征如形狀、大小[34]可直觀描述對象形態。然而病理醫生在分析圖像時并非建立在上述低層視覺特征上，還需基于專業知識對圖像內容進行理解。這種基于病理知識的理解與計算機視覺間存在的語義鴻溝是特征提取面臨的主要難題。語義特征即是對圖像內容理解的反映，如一定區域內對象密度、不同對象數量比和空間結構關系等。對于提取出的大量特征，一般需降低特征維數來幫助獲取更具病理意義的特征[48]。
2.5 預后評估
圖像中細胞核的特征可用于評估癌細胞的惡性度。Veta等[16]的研究顯示平均細胞核面積是男性乳腺癌的獨立預后因子。Loukas等[49]以基于紋理特征的模式分類器對乳腺癌進行惡性度分級。Basavanhally等[15]結合細胞核的紋理特征與空間結構特征來區分雌激素受體(estrogen receptor,ER)陽性乳腺癌的低、中、高級別。而Naik等[44]應用基于腺管形狀特征與細胞核空間結構特征的SVM成功區分了高級別與低級別乳腺癌。有研究者嘗試通過綜合定量腺管特征、細胞核特征及有絲分裂象來實現客觀化的組織學分級，其基本流程如圖 2所示。如Tutac等[50]首次提出了一個基于知識模型的半自動化分級系統，其結果的一致性較人工評估的高。Dalle等[43]基于多分辨率方法與Gaussian模型函數進一步完善了上述工作，實現了自動化的組織學分級，且自動分級結果與人工評估結果具有較高的一致性。
圖2
基于感興趣區域的計算機輔助的分級
Figure2.
Computer-aided grade based on regions of interest
腫瘤間質浸潤的淋巴細胞及腫瘤相關成纖維細胞等的形態特征能提供極其重要的預后信息。Yuan等[37]基于SVM測量ER陰性乳腺癌H&E圖像中淋巴細胞浸潤程度(lymphocytic infiltration,LI)，結果顯示LI基于SVM的評分與人工評分的預后意義一致。他們[22]隨后應用圖像分析與統計模型測量三陰性乳腺癌(即雌激素受體、孕激素受體以及人表皮生長因子受體均陰性)圖像的LI，并取得了與基因表達譜檢測相似的結果。除LI外，間質細胞的空間特征在浸潤性導管癌[51-52]或ER陰性乳腺癌[37]中具有獨立預后意義。另外，Nawaz等[53]在ER陰性乳腺癌的研究結果示，圖像中癌細胞與免疫細胞共存者較單獨有癌細胞或者僅有免疫細胞的預后更好。
圖像特征與分子特征分別從形態與功能上預測預后，整合了兩者的預測模型有助于更準確地預測乳腺癌預后[10]，如圖 3所示。例如，整合H&E圖像的形態特征與IHC圖像的分子特征可評估ER陰性乳腺癌的侵襲性，該評估結果或將可能取代較昂貴的Oncotype DX風險評分[54]。在Yuan等[37]的研究中，基于病理圖像特征與基因表達譜特征的預后模型可以預測ER陰性乳腺癌預后，該模型的預測效能優于單獨應用圖像特征或基因表達譜特征。Wang等[55]建立了一個整合H&E圖像特征與基因信息的工作流程，用于三陰性乳腺癌生物標志物的挖掘，他們的結果顯示有48對顯著相關的圖像特征與基因簇，其中4對能預測預后。
圖3
基于多維數據的乳腺癌預后預測
Figure3.
Multi-scale data-based prognosis for breast cancer
3 結論
計算機輔助的H&E圖像分析基于其高通量運算特性在減輕病理醫生工作量的同時，可全面獲取圖像信息，協助病理醫生挖掘出有預后意義的形態特征，將會對乳腺癌病理工作流程產生極大影響。但是，針對H&E圖像的區域檢測與對象分割極具挑戰性，目前所提出的檢測與分割方法在不同數據集中缺乏魯棒性，尤其是有絲分裂象的檢測與腺管結構分割。雖然現有研究結果顯示計算機輔助的預后評估與人工評估結果一致，甚至優于人工評估，但是仍需要前瞻性研究在不同數據集中進一步驗證方法的魯棒性，以及圖像特征的病理意義。
引言
隨著圖像處理、數學、統計學等領域的快速發展，醫學形態學由人工定性分析進入計算機輔助的定量分析階段。計算機輔助的診斷自20世紀90年代正式進入影像學臨床應用，并在該領域發揮著越來越重要的作用[1-2]。與此同時病理學正向著數字化轉變，全切片掃描儀在促進數字化病理圖像數據庫飛速發展的同時，也促進了計算機輔助的圖像分析方法在病理領域的探索與應用[3]。
計算機輔助的圖像分析方法可幫助病理醫生定量研究病理圖像[4]，已有相關分析軟件應用于免疫熒光圖像[5]以及免疫組織化學(immunohistochemistry,IHC)圖像的定量分析[6]。但針對蘇木素-伊紅(hematoxylin & eosin,H&E)組織病理圖像的定量分析尚處于探索階段，未應用于常規病理工作中。然而H&E組織病理圖像是目前大多數疾病以及幾乎所有腫瘤的診斷金標準[7]。不足的是病理醫生對H&E圖像的分析一直停留在基于經驗的定性水平，其評估結果存在觀察者間或觀察者內差異[4]。因而，如何基于H&E圖像的定量分析實現計算機輔助的診斷和預后成為圖像分析領域的研究熱點之一[8-10]。
乳腺癌作為一種高度異質性的疾病，如何準確評估其預后和治療反應性并提供最佳的個體化治療方案，成為臨床亟待解決的難題[11]。盡管基因表達特征譜揭示了乳腺癌的分子異質性，能較好地預測預后，但是其技術缺乏普適性且費用昂貴，暫不能應用于常規病理流程中。目前乳腺癌的預后評估仍依賴于H&E圖像中的形態特征和IHC圖像中的生物指標[12]。本文綜述了計算機輔助的H&E組織病理圖像分析在乳腺癌預后中的應用。
1 基于H&E圖像的傳統預后評估
H&E圖像中癌細胞異型性和上皮組織異型性可為乳腺癌提供重要的預后信息，不同組織學類型乳腺癌的預后顯著不同[13]。世界衛生組織采用的組織學分級——諾丁漢分級(Nottingham grading system,NGS)是乳腺癌經典的預后因子之一。NGS通過半定量評估H&E圖像中的腺管形成程度、癌細胞異型性及有絲分裂象計數來反映乳腺癌的分化程度。該人工評估過程不僅耗時，而且對病理醫生的專業知識和從業經驗都有著極高的要求，易受疲勞閱片等主觀因素的影響，從而限制了NGS在預后中的應用[14]。因而研究者們嘗試以圖像分析技術量化癌細胞和(或)上皮組織的形態特征來實現客觀的分級[15-17]。
另外，乳腺癌的發生發展是癌細胞與腫瘤微環境相互作用的結果，腫瘤間質中細胞種類、數量或形態的改變也具有預后意義[18]。如淋巴細胞浸潤者一般預后較好[19]，而腫瘤相關成纖維細胞的出現則提示預后不良[20]。在常規病理工作中，一般定性描述腫瘤間質中細胞成分和細胞外基質的改變，而基于計算機的圖像分析可自動分割間質中的不同成分并進行定量研究[21-22]。
2 基于H&E圖像的計算機輔助預后評估
計算機輔助預后評估的工作流程如圖 1所示。首先，通過圖像采集將顯微鏡下的組織切片轉換成能被計算機直接處理的數字圖像。然后，模擬病理醫生長期閱片等經驗學習過程處理并分析圖像，其主要過程包括圖像預處理、感興趣區域(region of interest,ROI)檢測與對象分割，以及特征提取。最后，結合臨床病理數據甄別出有預后意義的特征，并構建整合了不同特征的預后模型。
圖1
基于H&E圖像的計算機輔助的乳腺癌預后的流程簡圖
Figure1.
Workflow of computer-aided prognosis for breast cancer based on H&E histopathology images
2.1 圖像采集
傳統的圖像采集系統是安裝在顯微鏡上的數碼相機，可獲取靜態圖像。現在全切片掃描儀可掃描整張組織切片，獲取高分辨率、高清晰度的全切片掃描圖像(whole slide scanner image,WSI)，并可模擬顯微鏡逐級放大，動態觀察病變。有研究顯示，在分析乳腺H&E切片時使用傳統顯微鏡下圖像與使用WSI具有相似的精度、準確度及可重復性[23]。通常組織切片中除了病變組織，還有正常組織或者空白區域，故大量的研究工作只采集圖像中的ROI，或選取WSI中的ROI進行分析[24]。
2.2 圖像預處理
圖像質量的好壞會影響后續ROI檢測與對象分割的精度和準確度。影響圖像質量的因素有組織處理、切片以及染色不當，或圖像采集條件差異。適當的預處理方法可改善圖像質量，如顏色歸一化可減輕染色批次效應[25]，圖像增強可提高感興趣對象與背景的對比度[26]。
2.3 ROI檢測及對象分割
自動檢測ROI并分割病理對象是特征提取的前提，也是圖像處理中的經典難題。乳腺癌的高度異質性導致組織形態復雜多樣[27]，針對其H&E圖像的檢測及分割極具挑戰性。已提出的細胞核分割方法有基于灰度的閾值法[28]與模糊聚類法[29]，結合區域生長與馬爾可夫隨機場的方法[30]，以及與特定理論相結合的方法如基于數學形態學的分水嶺[16, 31]和最近提出的深度堆棧自編碼器[32]。而排斥水平集[33]、主動輪廓模型[34]以及上述分水嶺算法等均可進一步解決分割邊界重疊的現象。對于不同類型的細胞，最小值分割模型可區分正常細胞與癌細胞[35]，而期望值最大化-主動輪廓模型[36]以及支持向量機(support vector machine,SVM)[22, 37]可分割淋巴細胞。
有絲分裂象是具有特殊形態的細胞核，其核濃染、核膜欠清晰、邊緣呈毛刺狀，是評估乳腺癌增殖率常用的方法。國際上組織了關于有絲分裂象檢測算法的挑戰項目[38-39]，在2013年MICCAI(Medical Image Computing and Computer Assisted Interventions)競賽中，深度神經網絡性能最佳，其檢測結果可與病理專家標記結果相媲美[40]。但由于凋亡、壞死細胞核及淋巴細胞等均與有絲分裂象具有類似形態，即使是病理專家也很難做出鑒別。因而有絲分裂象分割比一般細胞核分割更具挑戰性，遠不能應用于病理工作。
上皮細胞在正常乳腺組織中規律排列成腺泡或腺管結構，而惡性上皮細胞間的黏附性降低或消失，使其失去形成管腔的能力，故腺管形成程度可反映癌組織分化程度。鑒于腺管屬于組織水平結構，其分割需分別識別腺腔、上皮細胞后再分割腺管邊界。目前關于乳腺癌腺管分割的文獻并不廣泛[41-42]。Dalle等[43]提出的基于數學形態學的閉運算將脂肪組織等具有腔隙的結構也分割出來，其假陽性率較高。而Naik等[44]采用Bayesian分類器檢測出腺管樣結構，然后基于面積移除假陽性對象，最后應用水平集分割腺管邊界。Xu等[45]提出的測地線-主動輪廓模型與Basavanhally等[46]提出的O’Callaghan鄰近在分割有多重組分的組織結構時具有較大優勢，在區分腺管與其它管腔樣結構時假陽性率較低。
2.4 特征提取
對象分割后，以提取的特征即計算機視覺語言代替病理語言來描述對象，包括像素水平、對象水平及語義水平特征[24]。像素水平特征如顏色與紋理特征不能反映對象屬性，故其生物學解釋性最小，常用于對象的分割如有絲分裂象檢測[47]。對象水平特征如形狀、大小[34]可直觀描述對象形態。然而病理醫生在分析圖像時并非建立在上述低層視覺特征上，還需基于專業知識對圖像內容進行理解。這種基于病理知識的理解與計算機視覺間存在的語義鴻溝是特征提取面臨的主要難題。語義特征即是對圖像內容理解的反映，如一定區域內對象密度、不同對象數量比和空間結構關系等。對于提取出的大量特征，一般需降低特征維數來幫助獲取更具病理意義的特征[48]。
2.5 預后評估
圖像中細胞核的特征可用于評估癌細胞的惡性度。Veta等[16]的研究顯示平均細胞核面積是男性乳腺癌的獨立預后因子。Loukas等[49]以基于紋理特征的模式分類器對乳腺癌進行惡性度分級。Basavanhally等[15]結合細胞核的紋理特征與空間結構特征來區分雌激素受體(estrogen receptor,ER)陽性乳腺癌的低、中、高級別。而Naik等[44]應用基于腺管形狀特征與細胞核空間結構特征的SVM成功區分了高級別與低級別乳腺癌。有研究者嘗試通過綜合定量腺管特征、細胞核特征及有絲分裂象來實現客觀化的組織學分級，其基本流程如圖 2所示。如Tutac等[50]首次提出了一個基于知識模型的半自動化分級系統，其結果的一致性較人工評估的高。Dalle等[43]基于多分辨率方法與Gaussian模型函數進一步完善了上述工作，實現了自動化的組織學分級，且自動分級結果與人工評估結果具有較高的一致性。
圖2
基于感興趣區域的計算機輔助的分級
Figure2.
Computer-aided grade based on regions of interest
腫瘤間質浸潤的淋巴細胞及腫瘤相關成纖維細胞等的形態特征能提供極其重要的預后信息。Yuan等[37]基于SVM測量ER陰性乳腺癌H&E圖像中淋巴細胞浸潤程度(lymphocytic infiltration,LI)，結果顯示LI基于SVM的評分與人工評分的預后意義一致。他們[22]隨后應用圖像分析與統計模型測量三陰性乳腺癌(即雌激素受體、孕激素受體以及人表皮生長因子受體均陰性)圖像的LI，并取得了與基因表達譜檢測相似的結果。除LI外，間質細胞的空間特征在浸潤性導管癌[51-52]或ER陰性乳腺癌[37]中具有獨立預后意義。另外，Nawaz等[53]在ER陰性乳腺癌的研究結果示，圖像中癌細胞與免疫細胞共存者較單獨有癌細胞或者僅有免疫細胞的預后更好。
圖像特征與分子特征分別從形態與功能上預測預后，整合了兩者的預測模型有助于更準確地預測乳腺癌預后[10]，如圖 3所示。例如，整合H&E圖像的形態特征與IHC圖像的分子特征可評估ER陰性乳腺癌的侵襲性，該評估結果或將可能取代較昂貴的Oncotype DX風險評分[54]。在Yuan等[37]的研究中，基于病理圖像特征與基因表達譜特征的預后模型可以預測ER陰性乳腺癌預后，該模型的預測效能優于單獨應用圖像特征或基因表達譜特征。Wang等[55]建立了一個整合H&E圖像特征與基因信息的工作流程，用于三陰性乳腺癌生物標志物的挖掘，他們的結果顯示有48對顯著相關的圖像特征與基因簇，其中4對能預測預后。
圖3
基于多維數據的乳腺癌預后預測
Figure3.
Multi-scale data-based prognosis for breast cancer
3 結論
計算機輔助的H&E圖像分析基于其高通量運算特性在減輕病理醫生工作量的同時，可全面獲取圖像信息，協助病理醫生挖掘出有預后意義的形態特征，將會對乳腺癌病理工作流程產生極大影響。但是，針對H&E圖像的區域檢測與對象分割極具挑戰性，目前所提出的檢測與分割方法在不同數據集中缺乏魯棒性，尤其是有絲分裂象的檢測與腺管結構分割。雖然現有研究結果顯示計算機輔助的預后評估與人工評估結果一致，甚至優于人工評估，但是仍需要前瞻性研究在不同數據集中進一步驗證方法的魯棒性，以及圖像特征的病理意義。
