白血病是一種常見多發且較為兇險的血液疾病,其早期發現與治療至關重要。目前白血病類型的診斷主要依靠病理醫師對血細胞圖像進行形態學檢查,該過程枯燥、費時,且診斷結果有較強的主觀性,易發生誤診與漏診。針對上述問題,本文提出了一種基于改進Vision Transformer的血細胞圖像識別方法。首先,使用快速區域卷積神經網絡從圖像中定位并裁剪出單個血細胞圖像切片。然后,將單細胞圖像劃分為多個圖像塊并輸入到編碼層中進行特征提取。本文基于Transformer的自注意機制提出了稀疏注意力模塊,該模塊能夠篩選出圖像中的辨識性區域,進一步提升模型的細粒度特征表達能力。最后,本文采用對比損失函數,進一步增加分類特征的類內一致性與類間差異性。實驗結果表明,本文模型在慕尼黑血細胞形態學數據集上的識別準確率為91.96%,有望為醫師臨床診斷提供參考依據。
針對結腸息肉圖像分割時空間歸納偏差和全局上下文信息的有效表示缺失,導致邊緣細節信息丟失和病變區域誤分割等問題,提出一種融合Transformer和跨級相位感知的結腸息肉分割方法。該方法一是從變換的全局特征角度出發,運用分層Transformer編碼器逐層提取病變區域的語義信息和空間細節;二是通過相位感知融合模塊(PAFM)捕獲各階段跨層次交互信息,有效聚合多尺度上下文信息;三是設計位置導向功能模塊(POF)有效整合全局與局部特征信息,填補語義空白,抑制背景噪聲;四是利用殘差軸反向注意力模塊(RA-IA)來提升網絡對邊緣像素點的識別能力。在公共數據集CVC-ClinicDB、Kvasir、CVC-ColonDB和EITS上進行實驗測試,其Dice相似性系數分別為94.04%、92.04%、80.78%和76.80%,平均交并比分別為89.31%、86.81%、73.55%和69.10%。仿真實驗結果表明,本文提出的方法能有效地分割結腸息肉圖像,為結直腸息肉的診斷提供了新窗口。
藥物組合的協同作用能夠解決單一藥物療法的獲得耐藥性問題,對于癌癥等復雜疾病的治療具有巨大的潛力。在本項研究中,為了探索不同藥物分子間相互作用對于抗癌藥物療效的影響,我們提出了一種基于Transformer的深度學習預測模型——SMILESynergy。首先用藥物的文本數據——簡化分子線性輸入規范(SMILES)表征藥物分子,其次通過SMILES Enumeration生成藥物分子的異構體進行數據增強,然后利用Transformer中的注意力機制對數據增強后的藥物進行編解碼,最后連接一個多層感知器(MLP)獲得藥物的協同作用值。實驗結果表明我們的模型在O’Neil數據集的回歸分析中均方誤差為51.34,分類分析中準確率為0.97,預測性能均優于DeepSynergy和MulinputSynergy模型。SMILESynergy具有更好的預測性能,可輔助研究人員快速篩選最優藥物組合以提高癌癥治療效果。
皮膚惡性黑色素瘤是一種常見的惡性腫瘤,針對病灶區域進行準確的分割對于該病的早期診斷非常重要。為了實現對皮膚病灶區域進行更有效、準確的分割,本文提出了一種基于變換器(Transformer)的并聯網絡結構。該網絡由兩條并聯支路構成:前者為本文新構建的多重殘差頻域通道注意網絡(MFC),后者為視覺變換網絡(ViT)。首先,在MFC網絡支路中,本文將多重殘差模塊和頻域通道注意力模塊(FCA)進行融合,在提高網絡魯棒性的同時加強對圖像細節特征的提取;其次,在ViT網絡支路中采用Transformer中的多頭自注意機制(MSA)使圖像的全局特征得以保留;最后,通過并聯的方式將兩條支路提取的特征信息結合起來,更有效地實現對圖像的分割。為了驗證本文算法,本文在國際皮膚成像合作組織(ISIC)2018年所公開的皮膚鏡圖像數據集上進行實驗,結果表明本文算法的分割結果中交并比(IoU)和戴斯(Dice)系數分別達到了90.15%和94.82%,相比于最新的皮膚黑色素瘤分割網絡均有較好的提升。因此,本文提出的網絡能夠更好地對病灶區域進行分割,為皮膚科醫生提供更準確的病灶數據。