白帶顯微圖像中白細胞的數量可以提示陰道炎癥的嚴重程度。目前對白帶中白細胞的檢測主要依靠醫學專家們的人工鏡檢，這種人工檢查耗時、昂貴且容易出錯。近年來，有研究提出基于深度學習技術對白帶白細胞實現智能檢測，但是這類方法通常需要人工標注大量的樣本作為訓練集，標注代價高。因此，本研究提出運用深度主動學習算法來實現對白帶顯微圖像中白細胞的智能檢測。在主動學習框架下，首先以少量的標注樣本作為基礎訓練集，采用更快的卷積神經網絡（Faster R-CNN）訓練檢測模型，再自動挑選最有價值的樣本進行人工標注，從而迭代更新訓練集和相應的檢測模型，使模型的性能不斷提高。實驗結果表明，深度主動學習技術能在較少的人工標注樣本下獲得較高的檢測精度，對白細胞檢測的平均精度達到了 90.6%，可以滿足臨床常規檢查要求。
引用本文： 鞠孟汐, 李欣蔚, 李章勇. 基于深度主動學習的白帶白細胞智能檢測方法研究. 生物醫學工程學雜志, 2020, 37(3): 519-526. doi: 10.7507/1001-5515.201909040 復制
引言
陰道疾病是常見的婦科疾病，白帶常規檢查是婦科檢查中常見的檢查項目，通過白帶常規檢查，可以知道陰道內細菌的情況，確定陰道清潔度，判斷陰道炎癥的嚴重程度。白帶顯微圖像中有多種有形成分，包括白細胞、上皮細胞、線索細胞、桿菌、球菌等，如圖 1 所示。其中白細胞的多少可以直接體現陰道炎癥或者細菌感染的情況，白細胞越多，陰道炎癥越嚴重。現如今大多數醫院的白帶常規檢查是依靠人工鏡檢，但是醫務人員長時間在顯微鏡下觀察細胞，工作量大，且白帶顯微圖像背景復雜，容易產生視覺疲勞，此外白帶樣本長時間處于觀察中容易受到溫度和各種外界環境的影響，可能會出現誤檢或漏檢[1-2]。
圖1
白帶顯微圖像
Figure1.
Microscopic image of leucorrhea
近年來，人工智能飛速發展，目標檢測逐漸趨向自動化，醫學上對細胞的檢測也逐漸從人工鏡檢發展到自動識別。在細胞識別和分類上，2005 年 Ushizima 等[3]利用支持向量機算法識別六種白細胞。2012 年，Na 等[4]用歐氏距離法分類白細胞。2014 年，Putzu 等[5]利用基于高斯核的支持向量機算法將 267 個白細胞分為五大類。2015 年，Prinyakupt 等[6]用線性分類器和樸素貝葉斯分類器對白細胞進行五分類。2016 年，Shirazi 等[7]用維納濾波分割出白細胞，用反向傳播算法對白細胞進行五分類。雖然這類傳統的機器學習方法已取得了較好的識別結果，但它們通常需要對圖像進行預處理，比如圖像分割、去噪、濾波等，而且訓練前需要對圖像人為提取特征，過程繁瑣，計算量大，訓練時間長。近年來，深度學習在圖像處理領域廣泛應用。2012 年，Hinton 在 ImageNet 競賽中，對上百萬圖片進行分類[8]；有研究基于神經網絡進行紅細胞識別[9]；目前最新的研究，基于機器學習進行白帶中白細胞的自動檢測[10]。但基于深度學習的細胞檢測均需要大量的標注樣本用于訓練檢測模型，例如前沿的基于卷積神經網絡（convolutional neural network，CNN）的白帶中白細胞的自動檢測，采用 10 000 張樣本圖片作為訓練集，檢測準確率已經趨于平穩狀態，最高達到 89.5%[10]。然而，目前面臨的問題是，由于模型的訓練樣本需完整地表示所含類別的統計屬性，因此所需的訓練數據集龐大，訓練時間長。而且對白帶顯微圖像中白細胞的標注需要專家人工操作，成本高，工作周期長，在處于視覺疲勞的情況下容易誤判漏判，產生大量冗余樣本并加入訓練，影響模型檢測性能。
針對上述問題，主動學習技術可通過與用戶或專家進行交互，選出最有價值的未標定數據讓專家標注，迭代訓練模型，讓模型利用較少的標記數據獲得較好的性能。近年來主動學習在各領域得到了廣泛應用。2017 年 Liu 等[11]將主動學習用于人體姿勢檢測，使用 23% 的標注時間，得到了 80% 的檢測性能，姿勢檢測器性能得到大幅提升。Zhou 等[12]將主動學習用于 CNN 微調，通過每次迭代加入新的注釋樣本，對三種醫學圖像進行分析，不斷提高 CNN 性能，結果表明性能比單一的 CNN 提高，同時注釋成本至少減少了一半。Wang 等[13]將主動學習用于新聞組和數字識別，通過查詢最不確定或最具代表性的樣本作為訓練集，結果它的檢測性能超過了最先進的方法。Andersson 等[14]研究飛機飛行軌跡，結合主動學習算法也取得了優異的成果。此外，在 CNN、LSTM 等算法中已有不少學者利用主動學習來提高效率，如 Sener 等[15]的基于主動學習的 CNN，以及 Shen 等[16]將深度主動學習用于命名實體識別。可見，主動學習有較大的研究和應用前景。
本研究提出采用深度主動學習算法對白帶顯微圖像中的白細胞進行自動檢測，為該領域提供更優的細胞檢測方案。首先由人工專家標記少量樣本，送入更快的區域卷積神經網絡（faster region convolutional neural network，Faster R-CNN）模型訓練得到基準檢測模型，然后用該模型去檢測大量未標記樣本，通過一定的選擇策略挑選出最有價值的樣本加入訓練集，接著不斷更新訓練集并優化模型性能，直到模型性能達到一定標準，停止迭代。整個過程就是盡可能提高標注樣本的質量，減少冗余樣本，用盡可能少的標注樣本訓練檢測模型，減少模型訓練時間和空間[17]，以期用更少的標注樣本訓練出更好的檢測模型。
1 方法
1.1 主動學習算法
主動學習算法是一個循環迭代的過程，其模型主要由四個部分構成，如圖 2 所示，包括目標檢測模型、標記樣本集、未標記樣本池、人工專家。首先使用少量的標記樣本訓練模型得到基準模型，通過一定的選擇策略從未標記樣本中挑選出一個或一批最有用的樣本給人工專家審查標記[18]，再將這些已經標記的樣本加入標記樣本集，使用更新的標記樣本集再次訓練模型。就這樣不斷更新標記樣本集，不斷訓練檢測模型，直到模型性能達到一定標準，停止迭代。
圖2
主動學習算法框架
Figure2.
Active learning algorithm framework
在本研究中首先把已標記的部分樣本輸入檢測模型，訓練得到基準檢測模型，以及模型平均準確率（mean average precision，MAP）；然后用第一次訓練的檢測模型去預測未標記樣本集U中所有未標記的圖片，得到每張圖片的評價分數，如果圖像中有多個對象，我們使用置信度分數的平均值，選擇評價分數最低的樣本交給人工專家在 vott 標記工具中標記，將標記好的樣本加入已標記樣本集L中，更新標記樣本集；最后，把更新的樣本集輸入檢測模型進行第二次迭代訓練，得到新的檢測模型。就這樣不斷更新標記樣本，不斷迭代訓練，不斷提高檢測模型性能，直到檢測模型性能達到較為滿意的程度，停止訓練，得到穩定的檢測模型。
1.2 選擇策略
本研究基于主動學習算法，選取了基于不確定性的選擇策略[19]。基于不確定性的樣例挑選過程中，分類器對于每個未標注樣例給出一個置信度分數作為評價分數來表示其不確定性。置信度分數即樣本圖片中的待檢測細胞在某一設定置信區間內是白細胞的概率。如果樣本圖片中只有單個白細胞，則該白細胞的置信度分數即為該樣本的評價分數；如果樣本圖片中有多個白細胞，該樣本評價分數為多個白細胞置信度分數的均值，該均值若大于 0.5，則判定為白細胞（陽性），該均值若小于 0.5，則判定為非白細胞（陰性）。然后將每個未標注樣例的評價分數排序，選取一個或者一批樣本給人工專家標注，即找到評價分數最接近給定閾值（0.5）的樣例給人工專家標記[20]。
本實驗中，共選用了 300 張白帶顯微圖像，隨機選擇了 270 張圖片作為訓練集，并分成 10 組，經過 10 次迭代訓練。選用 30 張圖片作為測試集。首先由專家人工標注 27 張樣本送入模型訓練，得到初次檢測模型；然后從未標記樣本中隨機挑選 27 張樣本供初次檢測模型檢測，得到每張圖片的評價分數，評價分數小于 0.5 的直接濾去，評價分數大于 0.5 的予以排序，選取倒數 3 張樣本供人工專家標記審查后再加入訓練集，其他樣本直接加入訓練集，就這樣不斷更新訓練集，迭代訓練檢測模型。
1.3 Faster R-CNN 模型
在主動學習算法中，機器學習模型選擇至關重要，本研究選用了 Faster R-CNN 作為主動學習循環結構中的基準檢測模型。傳統的目標檢測流程包括選擇候選區域、提取特征、分類與邊界回歸。Faster R-CNN 所有流程均交給神經網絡來完成，相比區域卷積神經網絡（region convolutional neural network，R-CNN），Faster R-CNN 訓練效率得到了很大提升。Faster R-CNN 模型主要由快速區域卷積神經網絡（fast region convolutional neural network，Fast R-CNN）模型和區域建議網絡（region proposal network，RPN）構成，兩者共享卷積層，其基本流程如圖 3 所示。
圖3
Faster R-CNN 流程圖
Figure3.
Faster R-CNN flow chart
Faster R-CNN 模型中，首先輸入圖片，經過卷積層提取輸入樣本圖片的特征圖，然后會有兩個分支，一個分支直接將特征圖輸入池化層，另一個分支將提取的特征圖送入 RPN 網絡，得到 2 000 個候選框 Proposals 送入池化層中，提取出候選框對應的特征，得到固定大小的特征圖，最后再通過全連接操作進行分類計算和邊框回歸來確定待檢測目標的位置。
1.3.1 RPN
RPN 最大的特點就是和檢測網絡共享卷積特征圖，很大程度上節省了時間。RPN 最核心的思想是采用 CNN 來生成區域建議框，其實質就是用滑動窗口在 CNN 的最后一層上依次滑動[21-22]。如圖 4 所示，滑動窗口對應到特征圖，然后將其映射到低維向量。再連接兩個全連接層，一個是分類層，其功能主要是判斷是不是檢測目標，并給出每個檢測框的置信度分數；另一個是回歸層，其功能主要是對區域建議框進行精修，最后得到待檢測目標的精確坐標。
圖4
RPN 網絡框架
Figure4.
RPN network framework
1.3.2 ResNet50
現如今深度學習發展迅速，研究者運用神經網絡日漸成熟，但是普遍面臨一個問題，隨著網絡的不斷加深，會出現正確率趨于穩定甚至會有下降的表現，本文采用了殘差網絡 ResNet50 來解決這一問題，如圖 5 所示。ResNet 殘差網絡通過恒等映射，可以將最初的數據 x 傳輸到深層網絡中，而且整個過程不會增加計算[23]。本研究是在 Faster R-CNN 網絡中的 RPN 網絡和池化層上結合 ResNet50 網絡，構成 Faster R-CNN & ResNet50 新網絡來實現對白帶顯微圖像中白細胞的自動檢測。
圖5
ResNet 結構
Figure5.
ResNet structure
1.4 算法評價方法
為了驗證方法的有效性，本研究選用了 10 折交叉驗證來訓練和測試。300 張白帶顯微圖像隨機分為 10 組，隨機選取一組 30 張樣本圖片為測試集，剩下 9 組共 270 張樣本圖片為測試集，選用精確率 Precision、MAP 作為評價參數，最終的評價結果為 10 次測試的均值。
 |
 |
本研究選用 MAP 對目標檢測模型的性能進行評價。公式中 
是給定樣本圖片類別 C 的精度，其可以用圖像正確預測的數量除以該類別圖像總數來計算，本研究使用每張樣本圖片中白細胞的置信度均值（取 0.5 為分界點）來判斷預測是否正確，N 代表類別個數[24]。
2 實驗
2.1 實驗數據
本實驗數據來自重慶醫科大學第一附屬醫院，采集了 500 張左右的白帶顯微圖像，由于連續拍攝，有部分重復樣本，最終統計有 300 張白帶顯微圖像用于深度主動學習。實驗所用樣本圖片均為 1 440 × 960 的白帶顯微圖像，在載物臺上的白帶涂片放大了 20 倍，在本研究中不需要對樣本圖片進行預處理。
2.2 實驗數據處理
本實驗隨機選取了 270 張白帶顯微圖像作為訓練集，另外的 30 張白帶顯微圖像作為測試集。所有的樣本圖片均采用 vott 標記工具標記白帶顯微圖像中的白細胞，標記部分樣本圖片如圖 6 所示。
圖6
vott 標記的白細胞
Figure6.
Vott-labeled white blood cells
vott 標記好的信息會轉換成 CSV 文件存儲起來，便于送入模型中訓練。標記好的樣本圖片信息如圖 7 所示。標記好的信息包括邊框類別 class，邊框的位置坐標 xmin、xmax、ymin、ymax 以及邊框的高度 height 和寬度 width。
圖7
已標記樣本信息表
Figure7.
Labeled sample information table
2.3 訓練模型及實驗結果
首先由專家人工標注 27 張樣本送入模型訓練，得到初次檢測模型。選用基于不確定性的選擇策略，迭代訓練檢測模型，共迭代訓練 10 次，每次迭代挑選評價分數倒數的 3 張樣本供專家人工審查，即專家共審查標記了 57 張樣本。每一次迭代都會用該模型測試一次，每迭代一次，模型的檢測性能都會相應提高，最終該模型的檢測 MAP 均值達到 90.6%。10 次交叉驗證中，迭代 MAP 變化如圖 8 所示。
圖8
交叉驗證 10 次在測試集上的檢測 MAP 變化圖
Figure8.
MAP changes on the test set after 10 cross-validations
本研究選取了 CNN 中經典的 LeNet-5 網絡和 Faster R-CNN 網絡作為對比方法。由表 1 可見，相比其他方法，采用同樣的訓練集和測試集，主動學習僅標記了約 1/5 的白帶顯微圖像，專家僅花費了約 1/5 的時間人工標記白細胞，主動學習訓練得到的模型檢測結果比其他方法更好。可見，在同等條件下，主動學習算法可以標記少量的樣本圖片訓練檢測模型即能達到較好的效果，用較少的標注代價獲得了較好的檢測模型。
表1
不同算法在相同數據集上的測試結果對比
Table1.
Comparison of test results of different algorithms on the same data set
主動學習算法測試樣本的測試結果如圖 9 所示，每張白帶顯微圖像中白細胞都用紅色邊框標記，并顯示了置信度分數。
圖9
白帶顯微圖像中白細胞測試結果展示
Figure9.
Leucocyte test result display in leucorrhea micrograph
3 討論
白帶中白細胞的多少可以直接表征陰道疾病的嚴重程度，因此本研究對白帶顯微圖像中的白細胞自動檢測具有重要意義。當前機器學習已廣泛應用于細胞檢測，但還存在一定的缺陷，在訓練模型之前需要對圖像進行預處理，比如圖像分割、去噪、濾波、圖像人為提取特征等，過程繁瑣，計算量大。要訓練好模型，一般有標記的數據越多越好，成本高，工作周期長，且處于視覺疲勞的情況下容易誤判漏判，產生大量冗余樣本并加入訓練，從而影響模型的檢測性能。針對以上問題，本研究采用深度主動學習算法來實現對白帶顯微圖像中白細胞的自動檢測，首先選取 Faster R-CNN & ResNet50 作為基準檢測模型，Faster R-CNN 可以加快訓練速度，ResNet50 使模型的準確率不會隨著網絡的加深而降低。然后采用主動學習算法，使用少量的人工標記樣本訓練模型，模型檢測出最不確定的樣本交由人工專家判斷。相比其他機器學習方法，本研究選用的樣本圖片質量更高，減少了冗余樣本，人工標注時間減少，模型準確率更高，檢測器性能更好。
此外，本研究在其他條件相同的情況下，選用 LeNet-5 網絡模型作為對照實驗，隨機選取的 270 張圖片作為訓練集，30 張圖片作為測試集。在深度主動學習中專家首先僅人工標注 27 張樣本圖片，之后只需要標記模型挑選出來的最不確定的樣本圖片，然而 LeNet-5 網絡則需要專家一次性標注 270 張樣本圖片作為訓練集，實驗表明 CNN 網絡人工標記的時間大約是深度主動學習人工標注時間的 4 倍。而且從最后的訓練模型性能可以看到，深度主動學習檢測準確率達到了 90.6%，而 LeNet-5 只有 73.3%。由此可見，深度主動學習不僅節約了人工標注時間，還大大提高了模型的性能。近年來，電子科技大學研究過用 LeNet-5 來實現對白帶顯微圖像中白細胞的自動檢測，人工標記了 10 000 張白帶顯微圖像作為訓練集，檢測準確率趨于穩定，最高達到 89.5%[10]。由此可見，本研究采用的深度主動學習算法能夠使用少量標記樣本達到與近期發表方法相當的模型性能，在保證分類器精度不降低的前提下，減少了人工標記代價，標注樣本質量高，減少了冗余樣本，縮短了模型訓練的時間和空間。
當然，本研究對白帶顯微圖像中的白細胞自動檢測也存在一些缺陷。檢測模型存在一定的誤檢和漏檢。例如，由于線索細胞的細胞核和白細胞形態相似度高，容易出現誤檢，如圖 10所示。同時，模型的檢測 MAP 還受到樣本圖片背景環境的影響，有的白帶顯微圖像背景復雜，導致檢測不準確。因此，在復雜背景下精確檢測白細胞，不斷提高模型檢測準確率，是我們未來研究的方向。在后續的研究中，將會對模型進行改進以進一步提高其檢測性能。主動學習算法中最關鍵的步驟就是選擇策略，后續研究將從這里切入，想要從兩個不同的卷積層輸出檢測結果，如果模型對一個目標檢測效果好，那么兩個 layer 輸出的結果應該基本一致，將引入一個 margin 函數作為兩層輸出結果的差值，用這個 margin 值來評價模型的檢測性能，差值越小，說明模型檢測性能越好。這將是后續研究的方向。
圖10
線索細胞核和白細胞對比
Figure10.
Comparison of clue nuclei and leukocytes
4 結論
白帶常規檢查是比較重要的婦科檢查項目，白帶顯微圖像中白細胞的多少直接表征了女性陰道疾病的嚴重程度，白細胞越多，陰道感染越嚴重，所以對白帶顯微圖像中白細胞的自動檢測具有重要的臨床價值。本研究中，結合使用主動學習算法和 Faster R-CNN 深度檢測網絡，實現了對白帶顯微圖像中白細胞的自動檢測，檢測效果良好，模型檢測 MAP 達到了 90.6%。相比于其他基于深度學習的目標檢測方法，本研究主要采用主動學習算法，訓練過程中盡可能選擇了高質量的樣本，減少冗余樣本，在保證分類器精度不降低的前提下盡量降低人工標注的代價，有著重要的臨床推廣價值。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
引言
陰道疾病是常見的婦科疾病，白帶常規檢查是婦科檢查中常見的檢查項目，通過白帶常規檢查，可以知道陰道內細菌的情況，確定陰道清潔度，判斷陰道炎癥的嚴重程度。白帶顯微圖像中有多種有形成分，包括白細胞、上皮細胞、線索細胞、桿菌、球菌等，如圖 1 所示。其中白細胞的多少可以直接體現陰道炎癥或者細菌感染的情況，白細胞越多，陰道炎癥越嚴重。現如今大多數醫院的白帶常規檢查是依靠人工鏡檢，但是醫務人員長時間在顯微鏡下觀察細胞，工作量大，且白帶顯微圖像背景復雜，容易產生視覺疲勞，此外白帶樣本長時間處于觀察中容易受到溫度和各種外界環境的影響，可能會出現誤檢或漏檢[1-2]。
圖1
白帶顯微圖像
Figure1.
Microscopic image of leucorrhea
近年來，人工智能飛速發展，目標檢測逐漸趨向自動化，醫學上對細胞的檢測也逐漸從人工鏡檢發展到自動識別。在細胞識別和分類上，2005 年 Ushizima 等[3]利用支持向量機算法識別六種白細胞。2012 年，Na 等[4]用歐氏距離法分類白細胞。2014 年，Putzu 等[5]利用基于高斯核的支持向量機算法將 267 個白細胞分為五大類。2015 年，Prinyakupt 等[6]用線性分類器和樸素貝葉斯分類器對白細胞進行五分類。2016 年，Shirazi 等[7]用維納濾波分割出白細胞，用反向傳播算法對白細胞進行五分類。雖然這類傳統的機器學習方法已取得了較好的識別結果，但它們通常需要對圖像進行預處理，比如圖像分割、去噪、濾波等，而且訓練前需要對圖像人為提取特征，過程繁瑣，計算量大，訓練時間長。近年來，深度學習在圖像處理領域廣泛應用。2012 年，Hinton 在 ImageNet 競賽中，對上百萬圖片進行分類[8]；有研究基于神經網絡進行紅細胞識別[9]；目前最新的研究，基于機器學習進行白帶中白細胞的自動檢測[10]。但基于深度學習的細胞檢測均需要大量的標注樣本用于訓練檢測模型，例如前沿的基于卷積神經網絡（convolutional neural network，CNN）的白帶中白細胞的自動檢測，采用 10 000 張樣本圖片作為訓練集，檢測準確率已經趨于平穩狀態，最高達到 89.5%[10]。然而，目前面臨的問題是，由于模型的訓練樣本需完整地表示所含類別的統計屬性，因此所需的訓練數據集龐大，訓練時間長。而且對白帶顯微圖像中白細胞的標注需要專家人工操作，成本高，工作周期長，在處于視覺疲勞的情況下容易誤判漏判，產生大量冗余樣本并加入訓練，影響模型檢測性能。
針對上述問題，主動學習技術可通過與用戶或專家進行交互，選出最有價值的未標定數據讓專家標注，迭代訓練模型，讓模型利用較少的標記數據獲得較好的性能。近年來主動學習在各領域得到了廣泛應用。2017 年 Liu 等[11]將主動學習用于人體姿勢檢測，使用 23% 的標注時間，得到了 80% 的檢測性能，姿勢檢測器性能得到大幅提升。Zhou 等[12]將主動學習用于 CNN 微調，通過每次迭代加入新的注釋樣本，對三種醫學圖像進行分析，不斷提高 CNN 性能，結果表明性能比單一的 CNN 提高，同時注釋成本至少減少了一半。Wang 等[13]將主動學習用于新聞組和數字識別，通過查詢最不確定或最具代表性的樣本作為訓練集，結果它的檢測性能超過了最先進的方法。Andersson 等[14]研究飛機飛行軌跡，結合主動學習算法也取得了優異的成果。此外，在 CNN、LSTM 等算法中已有不少學者利用主動學習來提高效率，如 Sener 等[15]的基于主動學習的 CNN，以及 Shen 等[16]將深度主動學習用于命名實體識別。可見，主動學習有較大的研究和應用前景。
本研究提出采用深度主動學習算法對白帶顯微圖像中的白細胞進行自動檢測，為該領域提供更優的細胞檢測方案。首先由人工專家標記少量樣本，送入更快的區域卷積神經網絡（faster region convolutional neural network，Faster R-CNN）模型訓練得到基準檢測模型，然后用該模型去檢測大量未標記樣本，通過一定的選擇策略挑選出最有價值的樣本加入訓練集，接著不斷更新訓練集并優化模型性能，直到模型性能達到一定標準，停止迭代。整個過程就是盡可能提高標注樣本的質量，減少冗余樣本，用盡可能少的標注樣本訓練檢測模型，減少模型訓練時間和空間[17]，以期用更少的標注樣本訓練出更好的檢測模型。
1 方法
1.1 主動學習算法
主動學習算法是一個循環迭代的過程，其模型主要由四個部分構成，如圖 2 所示，包括目標檢測模型、標記樣本集、未標記樣本池、人工專家。首先使用少量的標記樣本訓練模型得到基準模型，通過一定的選擇策略從未標記樣本中挑選出一個或一批最有用的樣本給人工專家審查標記[18]，再將這些已經標記的樣本加入標記樣本集，使用更新的標記樣本集再次訓練模型。就這樣不斷更新標記樣本集，不斷訓練檢測模型，直到模型性能達到一定標準，停止迭代。
圖2
主動學習算法框架
Figure2.
Active learning algorithm framework
在本研究中首先把已標記的部分樣本輸入檢測模型，訓練得到基準檢測模型，以及模型平均準確率（mean average precision，MAP）；然后用第一次訓練的檢測模型去預測未標記樣本集U中所有未標記的圖片，得到每張圖片的評價分數，如果圖像中有多個對象，我們使用置信度分數的平均值，選擇評價分數最低的樣本交給人工專家在 vott 標記工具中標記，將標記好的樣本加入已標記樣本集L中，更新標記樣本集；最后，把更新的樣本集輸入檢測模型進行第二次迭代訓練，得到新的檢測模型。就這樣不斷更新標記樣本，不斷迭代訓練，不斷提高檢測模型性能，直到檢測模型性能達到較為滿意的程度，停止訓練，得到穩定的檢測模型。
1.2 選擇策略
本研究基于主動學習算法，選取了基于不確定性的選擇策略[19]。基于不確定性的樣例挑選過程中，分類器對于每個未標注樣例給出一個置信度分數作為評價分數來表示其不確定性。置信度分數即樣本圖片中的待檢測細胞在某一設定置信區間內是白細胞的概率。如果樣本圖片中只有單個白細胞，則該白細胞的置信度分數即為該樣本的評價分數；如果樣本圖片中有多個白細胞，該樣本評價分數為多個白細胞置信度分數的均值，該均值若大于 0.5，則判定為白細胞（陽性），該均值若小于 0.5，則判定為非白細胞（陰性）。然后將每個未標注樣例的評價分數排序，選取一個或者一批樣本給人工專家標注，即找到評價分數最接近給定閾值（0.5）的樣例給人工專家標記[20]。
本實驗中，共選用了 300 張白帶顯微圖像，隨機選擇了 270 張圖片作為訓練集，并分成 10 組，經過 10 次迭代訓練。選用 30 張圖片作為測試集。首先由專家人工標注 27 張樣本送入模型訓練，得到初次檢測模型；然后從未標記樣本中隨機挑選 27 張樣本供初次檢測模型檢測，得到每張圖片的評價分數，評價分數小于 0.5 的直接濾去，評價分數大于 0.5 的予以排序，選取倒數 3 張樣本供人工專家標記審查后再加入訓練集，其他樣本直接加入訓練集，就這樣不斷更新訓練集，迭代訓練檢測模型。
1.3 Faster R-CNN 模型
在主動學習算法中，機器學習模型選擇至關重要，本研究選用了 Faster R-CNN 作為主動學習循環結構中的基準檢測模型。傳統的目標檢測流程包括選擇候選區域、提取特征、分類與邊界回歸。Faster R-CNN 所有流程均交給神經網絡來完成，相比區域卷積神經網絡（region convolutional neural network，R-CNN），Faster R-CNN 訓練效率得到了很大提升。Faster R-CNN 模型主要由快速區域卷積神經網絡（fast region convolutional neural network，Fast R-CNN）模型和區域建議網絡（region proposal network，RPN）構成，兩者共享卷積層，其基本流程如圖 3 所示。
圖3
Faster R-CNN 流程圖
Figure3.
Faster R-CNN flow chart
Faster R-CNN 模型中，首先輸入圖片，經過卷積層提取輸入樣本圖片的特征圖，然后會有兩個分支，一個分支直接將特征圖輸入池化層，另一個分支將提取的特征圖送入 RPN 網絡，得到 2 000 個候選框 Proposals 送入池化層中，提取出候選框對應的特征，得到固定大小的特征圖，最后再通過全連接操作進行分類計算和邊框回歸來確定待檢測目標的位置。
1.3.1 RPN
RPN 最大的特點就是和檢測網絡共享卷積特征圖，很大程度上節省了時間。RPN 最核心的思想是采用 CNN 來生成區域建議框，其實質就是用滑動窗口在 CNN 的最后一層上依次滑動[21-22]。如圖 4 所示，滑動窗口對應到特征圖，然后將其映射到低維向量。再連接兩個全連接層，一個是分類層，其功能主要是判斷是不是檢測目標，并給出每個檢測框的置信度分數；另一個是回歸層，其功能主要是對區域建議框進行精修，最后得到待檢測目標的精確坐標。
圖4
RPN 網絡框架
Figure4.
RPN network framework
1.3.2 ResNet50
現如今深度學習發展迅速，研究者運用神經網絡日漸成熟，但是普遍面臨一個問題，隨著網絡的不斷加深，會出現正確率趨于穩定甚至會有下降的表現，本文采用了殘差網絡 ResNet50 來解決這一問題，如圖 5 所示。ResNet 殘差網絡通過恒等映射，可以將最初的數據 x 傳輸到深層網絡中，而且整個過程不會增加計算[23]。本研究是在 Faster R-CNN 網絡中的 RPN 網絡和池化層上結合 ResNet50 網絡，構成 Faster R-CNN & ResNet50 新網絡來實現對白帶顯微圖像中白細胞的自動檢測。
圖5
ResNet 結構
Figure5.
ResNet structure
1.4 算法評價方法
為了驗證方法的有效性，本研究選用了 10 折交叉驗證來訓練和測試。300 張白帶顯微圖像隨機分為 10 組，隨機選取一組 30 張樣本圖片為測試集，剩下 9 組共 270 張樣本圖片為測試集，選用精確率 Precision、MAP 作為評價參數，最終的評價結果為 10 次測試的均值。
|
|
本研究選用 MAP 對目標檢測模型的性能進行評價。公式中 是給定樣本圖片類別 C 的精度，其可以用圖像正確預測的數量除以該類別圖像總數來計算，本研究使用每張樣本圖片中白細胞的置信度均值（取 0.5 為分界點）來判斷預測是否正確，N 代表類別個數[24]。
2 實驗
2.1 實驗數據
本實驗數據來自重慶醫科大學第一附屬醫院，采集了 500 張左右的白帶顯微圖像，由于連續拍攝，有部分重復樣本，最終統計有 300 張白帶顯微圖像用于深度主動學習。實驗所用樣本圖片均為 1 440 × 960 的白帶顯微圖像，在載物臺上的白帶涂片放大了 20 倍，在本研究中不需要對樣本圖片進行預處理。
2.2 實驗數據處理
本實驗隨機選取了 270 張白帶顯微圖像作為訓練集，另外的 30 張白帶顯微圖像作為測試集。所有的樣本圖片均采用 vott 標記工具標記白帶顯微圖像中的白細胞，標記部分樣本圖片如圖 6 所示。
圖6
vott 標記的白細胞
Figure6.
Vott-labeled white blood cells
vott 標記好的信息會轉換成 CSV 文件存儲起來，便于送入模型中訓練。標記好的樣本圖片信息如圖 7 所示。標記好的信息包括邊框類別 class，邊框的位置坐標 xmin、xmax、ymin、ymax 以及邊框的高度 height 和寬度 width。
圖7
已標記樣本信息表
Figure7.
Labeled sample information table
2.3 訓練模型及實驗結果
首先由專家人工標注 27 張樣本送入模型訓練，得到初次檢測模型。選用基于不確定性的選擇策略，迭代訓練檢測模型，共迭代訓練 10 次，每次迭代挑選評價分數倒數的 3 張樣本供專家人工審查，即專家共審查標記了 57 張樣本。每一次迭代都會用該模型測試一次，每迭代一次，模型的檢測性能都會相應提高，最終該模型的檢測 MAP 均值達到 90.6%。10 次交叉驗證中，迭代 MAP 變化如圖 8 所示。
圖8
交叉驗證 10 次在測試集上的檢測 MAP 變化圖
Figure8.
MAP changes on the test set after 10 cross-validations
本研究選取了 CNN 中經典的 LeNet-5 網絡和 Faster R-CNN 網絡作為對比方法。由表 1 可見，相比其他方法，采用同樣的訓練集和測試集，主動學習僅標記了約 1/5 的白帶顯微圖像，專家僅花費了約 1/5 的時間人工標記白細胞，主動學習訓練得到的模型檢測結果比其他方法更好。可見，在同等條件下，主動學習算法可以標記少量的樣本圖片訓練檢測模型即能達到較好的效果，用較少的標注代價獲得了較好的檢測模型。
表1
不同算法在相同數據集上的測試結果對比
Table1.
Comparison of test results of different algorithms on the same data set
主動學習算法測試樣本的測試結果如圖 9 所示，每張白帶顯微圖像中白細胞都用紅色邊框標記，并顯示了置信度分數。
圖9
白帶顯微圖像中白細胞測試結果展示
Figure9.
Leucocyte test result display in leucorrhea micrograph
3 討論
白帶中白細胞的多少可以直接表征陰道疾病的嚴重程度，因此本研究對白帶顯微圖像中的白細胞自動檢測具有重要意義。當前機器學習已廣泛應用于細胞檢測，但還存在一定的缺陷，在訓練模型之前需要對圖像進行預處理，比如圖像分割、去噪、濾波、圖像人為提取特征等，過程繁瑣，計算量大。要訓練好模型，一般有標記的數據越多越好，成本高，工作周期長，且處于視覺疲勞的情況下容易誤判漏判，產生大量冗余樣本并加入訓練，從而影響模型的檢測性能。針對以上問題，本研究采用深度主動學習算法來實現對白帶顯微圖像中白細胞的自動檢測，首先選取 Faster R-CNN & ResNet50 作為基準檢測模型，Faster R-CNN 可以加快訓練速度，ResNet50 使模型的準確率不會隨著網絡的加深而降低。然后采用主動學習算法，使用少量的人工標記樣本訓練模型，模型檢測出最不確定的樣本交由人工專家判斷。相比其他機器學習方法，本研究選用的樣本圖片質量更高，減少了冗余樣本，人工標注時間減少，模型準確率更高，檢測器性能更好。
此外，本研究在其他條件相同的情況下，選用 LeNet-5 網絡模型作為對照實驗，隨機選取的 270 張圖片作為訓練集，30 張圖片作為測試集。在深度主動學習中專家首先僅人工標注 27 張樣本圖片，之后只需要標記模型挑選出來的最不確定的樣本圖片，然而 LeNet-5 網絡則需要專家一次性標注 270 張樣本圖片作為訓練集，實驗表明 CNN 網絡人工標記的時間大約是深度主動學習人工標注時間的 4 倍。而且從最后的訓練模型性能可以看到，深度主動學習檢測準確率達到了 90.6%，而 LeNet-5 只有 73.3%。由此可見，深度主動學習不僅節約了人工標注時間，還大大提高了模型的性能。近年來，電子科技大學研究過用 LeNet-5 來實現對白帶顯微圖像中白細胞的自動檢測，人工標記了 10 000 張白帶顯微圖像作為訓練集，檢測準確率趨于穩定，最高達到 89.5%[10]。由此可見，本研究采用的深度主動學習算法能夠使用少量標記樣本達到與近期發表方法相當的模型性能，在保證分類器精度不降低的前提下，減少了人工標記代價，標注樣本質量高，減少了冗余樣本，縮短了模型訓練的時間和空間。
當然，本研究對白帶顯微圖像中的白細胞自動檢測也存在一些缺陷。檢測模型存在一定的誤檢和漏檢。例如，由于線索細胞的細胞核和白細胞形態相似度高，容易出現誤檢，如圖 10所示。同時，模型的檢測 MAP 還受到樣本圖片背景環境的影響，有的白帶顯微圖像背景復雜，導致檢測不準確。因此，在復雜背景下精確檢測白細胞，不斷提高模型檢測準確率，是我們未來研究的方向。在后續的研究中，將會對模型進行改進以進一步提高其檢測性能。主動學習算法中最關鍵的步驟就是選擇策略，后續研究將從這里切入，想要從兩個不同的卷積層輸出檢測結果，如果模型對一個目標檢測效果好，那么兩個 layer 輸出的結果應該基本一致，將引入一個 margin 函數作為兩層輸出結果的差值，用這個 margin 值來評價模型的檢測性能，差值越小，說明模型檢測性能越好。這將是后續研究的方向。
圖10
線索細胞核和白細胞對比
Figure10.
Comparison of clue nuclei and leukocytes
4 結論
白帶常規檢查是比較重要的婦科檢查項目，白帶顯微圖像中白細胞的多少直接表征了女性陰道疾病的嚴重程度，白細胞越多，陰道感染越嚴重，所以對白帶顯微圖像中白細胞的自動檢測具有重要的臨床價值。本研究中，結合使用主動學習算法和 Faster R-CNN 深度檢測網絡，實現了對白帶顯微圖像中白細胞的自動檢測，檢測效果良好，模型檢測 MAP 達到了 90.6%。相比于其他基于深度學習的目標檢測方法，本研究主要采用主動學習算法，訓練過程中盡可能選擇了高質量的樣本，減少冗余樣本，在保證分類器精度不降低的前提下盡量降低人工標注的代價，有著重要的臨床推廣價值。
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
