磁共振成像（MRI）是一種重要的醫學成像技術，但其成像機制導致其掃描時間較長，增加了患者的檢查成本與等待時間。目前已有一些技術手段，如并行成像（PI）、壓縮感知（CS）等重建技術加快了其成像速度，但重建圖像的質量受算法的影響。傳統的重建算法在圖像質量與重建速度等方面都有提高的空間。近年來，基于生成對抗網絡（GAN）的方法在磁共振圖像重建中展現出了優良性能，成為磁共振圖像重建領域的研究熱點。本文對近幾年生成對抗網絡在磁共振圖像重建領域中的應用研究進行了全面梳理歸納，從單一模態加速重建和多模態協同加速重建兩個方面綜述了目前生成對抗網絡在磁共振成像圖像重建中的應用，以期為相關研究者提供有益參考。此外，本文還進一步分析了現有技術的特點與局限，并對未來發展趨勢進行了展望。
引用本文： 蔡昕, 侯學文, 楊光, 聶生東. 生成對抗網絡在磁共振圖像重建領域的應用. 生物醫學工程學雜志, 2023, 40(3): 582-588. doi: 10.7507/1001-5515.202204007 復制
0 引言
磁共振成像（magnetic resonance imaging，MRI）技術是現代醫學中最重要的影像診斷手段之一。相比于計算機斷層掃描（computed tomography，CT）等其他醫學成像方法，MRI的掃描速度緩慢，增加了患者檢查的成本與等待的時間。因此，在保證圖像質量的前提下加快MRI的掃描速度成為該領域重要的研究課題。MRI的掃描速度主要取決于k空間數據的填充速度，因此加速MRI的兩個主要途徑就是加快k空間數據的填充或者減少圖像重建所需的k空間數據量。并行成像（parallel imaging，PI）與壓縮感知（compress sensing，CS）是兩類通過減少k空間的相位編碼步數來縮短采集時間的技術[1-2]，它們利用特定的算法實現對欠采樣k空間數據的重建。但是基于PI和CS的圖像重建算法很難完全消除圖像混疊偽影，也會導致重建圖像模糊；并且隨著欠采樣倍數的提高，重建噪聲也會升高。在臨床MRI檢查中，醫學影像技師必須在圖像質量和掃描速度中進行權衡。
在基于深度學習（deep learning，DL）的醫學圖像人工智能研究熱潮中，卷積神經網絡（convolutional neuron network，CNN）發揮了重要的作用。經過近十年的發展，CNN在醫學圖像的分割、配準、重建和分類等問題中展現出比傳統方法更好的效果，但由于其網絡結構特點的限制，CNN在圖像生成任務中尚不能達到完美的應用效果。隨著研究的深入，最早為解決圖像生成任務而設計的新型人工神經網絡——生成對抗網絡（generative adversarial network，GAN）也逐步推廣至圖像重建、分割、分類等領域[3-5]。近年來，GAN網絡在快速MRI圖像重建任務中得到廣泛應用，效果超越傳統的重建算法和其他DL算法，成為MRI圖像重建領域的研究熱點。
本文系統綜述了近年來GAN網絡在MRI圖像重建領域中的應用：首先簡單介紹快速MRI圖像重建的現狀和GAN網絡的基本原理；其次，聚焦單一模態加速重建、多模態協同加速重建兩個方向介紹相關領域最新研究進展，對所提及的方法進行了總結；最后，評價了GAN網絡在MRI圖像快速重建領域中的發展現狀和局限性，展望了該技術的發展趨勢。希望本文可以幫助相關科研工作者快速了解GAN網絡在MRI圖像重建領域的最新應用進展，為其研究提供有益參考。
1 快速MRI圖像重建方法和GAN模型原理
1.1 快速MRI圖像重建方法
CS和PI是目前加速MRI掃描的主流方法，已普遍應用于臨床檢查。但是傳統的CS和PI重建算法結構比較復雜，且在較高欠采樣率下重建的圖像質量欠佳。此外，傳統算法對重建計算機的硬件要求較高，在實時性要求較高的應用場景中，圖像質量和重建時間難以兩全。DL算法的出現，很大程度上解決了這一問題。通過應用訓練好的人工神經網絡，圖像重建速度可以達到毫秒量級，圖像質量也可媲美甚至超過傳統算法。
另一方面，一次MRI檢查會掃描產生不同模態的MRI圖像。利用各模態MRI圖像之間的共享信息來加速MRI掃描速度的方法稱為多模態協同加速重建。但是多模態數據增加了MRI圖像重建算法的復雜性，常規算法很難取得高質量重建圖像。DL算法自動特征提取的能力和GAN網絡強大的圖像學習能力可為MRI圖像多模態協同加速重建問題提供良好的解決方案。
1.2 GAN模型原理
2014年，Goodfellow等[3]提出了GAN網絡，具體結構如圖1所示。它由生成器和鑒別器組成，生成器捕捉輸入數據的分布并通過學習生成具有相同分布的數據；鑒別器是一個二元分類器，作用是評估該生成數據是否屬于真實數據。二者之間不斷對抗迭代訓練，最終使生成器生成的數據使得鑒別器無法判別真偽。在分類和特征提取方面，GAN網絡比傳統的神經網絡更具有優勢。GAN網絡不僅可以按照真實數據的特點生成新的數據，還可通過無監督方式訓練網絡，無需金標準數據即可進行監督學習以生成高質量圖像，在一定程度上緩解了標簽影像數據獲取困難的壓力。另一方面，為了解決原始GAN網絡模型存在的缺陷，研究者提出了大量的基于GAN網絡的優化模型[6-7]。這些改進網絡加速了GAN模型在醫學圖像處理中的應用，使得GAN網絡在MRI圖像重建領域取得了大量成果并成為MRI圖像重建的重要方法[8-9]。本文將從MRI圖像單一模態加速重建和多模態協同加速重建兩個主要方向分別介紹GAN網絡在MRI圖像重建中的應用。
圖1
GAN網絡模型結構
Figure1.
Overview of GAN network structure
2 GAN在MRI圖像重建中的應用
基于GAN的MRI圖像重建算法使用標準GAN網絡結構，通過訓練數據直接建立從有偽影圖像到最終清晰圖像的映射關系。由于MRI圖像重建存在k空間到圖像域的變換過程，因此網絡的輸入可以是帶有偽影的圖像數據，也可以是填充不完整的k空間數據。雖然也有很多使用基于標準網絡結構映射輸入與輸出結構的CNN模型來進行快速MRI圖像重建研究，但是在GAN網絡中，對抗損失函數的利用使得基于GAN的重建模型在欠采樣MRI圖像的偽影消除和多模態圖像協同重建上有更好的效果。
2.1 基于GAN的單一模態加速重建
近年來，采用GAN網絡實現單一模態數據重建的方法逐步發展成MRI圖像快速重建領域中重要的技術手段。從方法上區分，MRI圖像單一模態加速重建方法有CS與PI兩種主流的加速技術，目前均已經廣泛應用于臨床檢查。在這兩種MRI圖像加速技術的重建方法中，GAN網絡都發揮了重要的作用。
2.1.1 基于壓縮感知原理的加速重建
自Yang等[10]提出基于條件GAN（conditional GAN，CGAN）的深度去混疊GAN模型（deep de-aliasing GAN，DAGAN）開始，大量基于GAN的MRI圖像加速重建研究陸續展開。
目前，研究者們的研究重點是根據MRI圖像的特點以及重建任務的不同，對GAN網絡模型進行優化。針對傳統GAN鑒別器的缺點，Yuan等[11]提出了基于自注意力機制與相對平均鑒別器的GAN網絡模型。該模型為了充分利用先驗信息，使用相對平均鑒別器將絕對真假判別轉化為相對真假判別，解決了原始GAN模型忽略鑒別器輸入數據的先驗信息的問題，提高了鑒別器的性能。同時，該研究在生成器中引入了自注意力機制，可以有效解決卷積核大小受限的問題。上述兩方面的改進使得該模型取得了優于DAGAN的圖像重建效果。此外，Shaul等[12]提出了一個具有k空間和圖像域級聯生成器結構的GAN網絡模型，模型根據MRI圖像重建的原理設計了k空間數據生成模塊和圖像域數據生成模塊，充分挖掘兩個變換域中的信息。與此同時，該模型還將相鄰k空間的切片數據進行輸入，充分利用原始數據中時間以及空間相關性。通過對三個帶有病灶信息的腦部圖像數據集的圖像分割效果以及藥代動力學參數的分析，驗證了該模型具有良好的臨床使用效果。
由于CNN網絡的濾波特性，基于DL的MRI圖像重建算法常會導致圖像過度平滑。為解決MRI重建圖像邊緣不夠清晰的問題，Li等[13]和Huang等[14]分別提出了具有雙鑒別器結構的GAN網絡用于MRI圖像的快速重建。雙鑒別器設計的目的是提高MRI圖像重建網絡的邊緣信息重建能力：一個鑒別器用于圖像的整體重建，另一個鑒別器則負責邊緣信息的增強。該結構的添加，是針對MRI圖像重建特點對GAN網絡結構做的一次有益優化，使得MRI重建圖像細節更加豐富，重建結果更接近于全采樣圖像。
近年來，隨著轉換器（Transformer）結構的深入研究，結合Transformer進行重建網絡搭建的研究工作陸續展開[15]。Transformer引入了基于偽協方差的自注意力機制，相比CNN網絡，它的感受野更大，在圖像特征提取的方面更有優勢。Huang等[16]提出了一種基于Transformer結構生成器的GAN網絡快速MRI圖像重建方法。為了進一步保存邊緣和紋理信息，該模型同樣引入了雙鑒別結構模塊。相比于基于CNN結構的GAN網絡，基于Transformer結構的模型在不同欠采樣條件下MRI圖像的重建結果更優，這也證明了Transformer網絡結構在特征提取和特征匯聚方面的優勢。但相比于CNN網絡，目前Transformer結構對數據樣本量的要求更高。因此，隨著該結構的進一步優化，其在MRI圖像重建中的性能還可以進一步提高。
以上研究中使用的MRI圖像都為靜態MRI圖像，此類圖像的金標準圖像相對容易獲得。但是在某些快速MRI成像應用場景下，如動態對比度增強成像、三維心臟電影和四維血流成像等圖像的重建任務中，全采集的金標準圖像通常很難獲取。因此，基于無監督學習的DL方法更加適用于此類圖像的快速重建。Cole等[17]提出了一種基于無監督GAN網絡的圖像重建模型，使用生成圖像的傅里葉逆變換隨機采樣數據與原始圖像欠采樣k空間數據作為鑒別器的輸入進行網絡訓練。該模型解決了先前無監督重建模型中迭代速度慢和無法使用展開網絡的問題，在回顧性和前瞻性動態對比度增強圖像數據集中進行測試，取得了快速和高質量的重建結果，接近有監督學習的GAN模型。此外，Oh等[18]也發表了基于循環GAN（cycleGAN）的不成對CS-MRI數據重建網絡模型。cycleGAN模型的主要原理是通過訓練兩對生成器-鑒別器，實現了圖像在兩個領域間的無監督轉換。該研究使用了一種新的成分鑒別器，并在損失函數中的循環一致性項中加入平方和平方根運算。這些改進提高了網絡訓練的穩定性，減少了訓練時間。該方法中的模型相比傳統cycleGAN模型，在無監督MRI圖像重建任務中有更優異的表現，重建效果與基于有監督學習網絡的重建結果相當。
此外，高欠采樣率下的圖像重建質量是未來MRI臨床應用的重要課題。Li等[19]提出了一種改進的GAN重建模型，該模型將殘差U型網絡（U-Net）與空間注意力模塊以及通道注意力模塊相結合，消除高欠采樣率造成的偽影。該研究分別在笛卡爾和非笛卡爾坐標系中使用不同的采樣模式和欠采樣率數據來重建圖像，在最高10%的采樣率下重建出定量指標上都優于其他方法的MRI圖像，顯示了其在高欠采樣率下優良的重建性能。Belov等[20]使用幾個已有的GAN重建和超分辨模型以及U-Net模型的組合，對高欠采樣率圖像進行圖像質量的改善和分辨率的恢復。將在不同欠采樣模式和欠采樣率下的重建結果進行了對比研究，他們發現超分辨GAN（super-resolution GAN，SRGAN）和U-Net的組合模型效果最好。此外，該研究還討論了32倍和64倍極高欠采樣率下的重建圖像在非診斷性臨床應用場合中的可能應用，對后續研究有啟發意義。
2.1.2 基于PI原理的加速重建
為了更好地重建多通道MRI圖像數據，文獻[17]在提出的無監督CS-MRI圖像重建方法中初步利用了線圈靈敏度分布圖，但并未為線圈靈敏度分布圖設計獨立的損失函數進行網絡訓練，因此該工作也未深入研究線圈靈敏度信息在PI重建中的應用。Lv等[21]開始將靈敏度編碼（sensitivity encoding，SENSE）算法與GAN模型相結合。該研究使用殘差U-Net網絡作為GAN網絡的生成器，首先將多通道圖像使用SENSE算法進行重建，重建后圖像作為GAN網絡生成器的輸入進行進一步圖像重建。結果表明，該模型能使用高g因子下SENSE算法采集的數據重建出無偽影圖像，可以有效地應用于實際臨床中前瞻性欠采樣數據的重建。但由于網絡結構原因，它并不適用于基于單線圈圖像的重建。因此，在文獻[21]工作的基礎上，Lv等[22]又提出了名為PI耦合GAN（PI coupled GAN， PIC-GAN）的多通道并行MRI圖像重建模型。該方法不僅結合了SENSE和廣義自動校準部分并行采集（generalized autocalibrating partially parallel acquisitions，GRAPPA）兩種不同的PI方法，更重要的是將線圈靈敏度空間分布納入損失函數，同時分別加入了圖像域損失項和k空間損失項，提升了并行MRI圖像重建結果的結構相似性。接著，在PIC-GAN模型的基礎上，該研究團隊通過三個不同MRI圖像數據庫的遷移學習研究，探討了PIC-GAN模型的泛化能力[23]。研究表明，在樣本量偏小的情況下，應用遷移學習的方法可以提高并行MRI圖像重建的效果。上述這些重建模型涵蓋了不同的臨床并行MRI圖像采集方式，并且取得了較傳統方法更好的圖像重建效果和更短的圖像重建時間。
盡管基于GAN的單一模態加速重建算法已經得到了廣泛的研究，但是由于MRI圖像重建的任務的多樣性，研究人員往往需要根據目標任務的特點，改變GAN網絡的結構和損失函數，合理設置超參數，以優化模型效果。針對GAN網絡中相關參數設置與重建圖像質量之間的關系，研究者也進行了深入探討。Edupuganti等[24]設計了一個基于GAN網絡的測試模型，用于評估基于GAN網絡的MRI圖像重建模型的穩定性以及重建圖像的偽影程度、結構不確定性。該研究結果表明，采樣率、k空間采集模式和損失函數等因素對模型的魯棒性影響較大，同時超參數的合理選擇對于圖像的穩定重建有很大的影響。雖然本領域研究追求的最終目標是設計出適用于不同部位和不同序列圖像的通用重建網絡，但可以預期，有針對性的模型改進和參數優化仍將是研究熱點。同時，目前臨床MRI應用基本采用CS與PI相結合的方式進行數據采集，如何根據CS和PI的特點設計有效的采樣模式，同時針對性地進行圖像重建，是目前各個研究機構與設備廠商積極探索的前沿課題之一。
2.2 基于GAN的多模態協同加速重建
多模態、多參數是MRI圖像最大的特點。典型的MRI臨床檢查協議一般包含T1加權、T2加權和質子密度加權等多個不同方位的不同對比度成像序列。多模態數據可以為臨床診斷提供更充足的依據，確保診斷結果的可靠性，但這意味著更長的檢查時間。同時，研究者們發現多模態圖像之間存在大量的冗余和關聯信息，如組織形態結構、密度和對比度信息等。因此，在MRI圖像單一模態加速重建技術的基礎上，充分利用多模態間的共享信息[25-27]，可以進一步減少目標模態的采樣數據，這為提高臨床MRI檢查速度提供了新的思路。
在DL技術應用于MRI圖像重建之前，多模態協同加速重建技術主要為基于群稀疏理論的貝葉斯CS加速重建。但由于此類算法重建時間長、圖像質量不穩定，無法應用于實際臨床檢查[28]。近年來，DL在MRI圖像快速重建領域中的迅速應用并取得良好效果。深度神經網絡結構靈活，可拓展為使用多個通道輸入對多模態圖像進行處理，也可大幅度提高重建速度，這些特點使得DL特別適用于MRI多模態圖像加速重建。因此，基于DL的多模態協同加速重建的工作開始大量陸續展開。
Xiang等[29]借助T1模態和T2模態圖像之間的共享信息，使用臨床采集時間較短的全采集T1圖像對最高8倍欠采樣的T2圖像進行協同加速重建。該研究在經典U-Net模型基礎上加入了密集連接模塊來適應多模態重建任務的新需求。密集連接模塊可以改善跨層的特征流，對于多模態圖像中的相同特征的學習和提取有一定幫助。因此，與U-Net模型相比，該研究中重建圖像的邊界更為清晰，重建誤差也更低。該研究是使用DL技術對多模態MRI圖像進行協同加速重建的首次嘗試，其多模態輸入的網絡結構、利用多模態共享信息以及使用短時模態圖像輔助耗時模態圖像重建以減少采樣時間的思路對后續研究有啟發作用。但在重建模型的結構以及多模態圖像特征的利用方面，該研究還有待進一步優化，例如U-Net網絡在建模遠程交互方面受限，這可能影響圖像中精細結構的還原[28]。此后，針對多模態MRI圖像的特點，更多的優化網絡模型和共享特征的提取方法相繼出現。其中，GAN網絡作為一種廣泛應用的生成模型，它的對抗機制可以很好地學習MRI圖像各模態中的共享特征并體現在目標模態圖像的重建中，提高圖像的重建質量，因此基于GAN網絡的重建模型逐步在MRI圖像多模態協同加速重建任務中凸顯優勢。
Kim等[28]成功地將GAN網絡應用在了多模態加速重建中，該研究指出，對抗損失和像素損失的加入有利于提高重建圖像的視覺質量，同時該研究也強調了MRI圖像高頻信息主要表征組織的結構信息，可通過共享各模態之間的高頻信息，對目標模態的欠采樣行數進行補充，從而達到提高目標模態圖像分辨率的目的。該研究利用公共數據集和自有數據進行了驗證，結果表明：① 使用其他模態高分辨數據輔助重建的圖像效果好于使用單一模態進行重建的結果，也要好于SRGAN等成熟的超分辨神經網絡模型的結果。② 使用了對抗結構的GAN網絡與只有生成器結構的單一CNN網絡相比，重建圖像有更好的視覺效果。另外，通過該研究發現，目前對于重建圖像的視覺效果的評估，還缺乏客觀的評價參數，影響了圖像重建結果評估的客觀性。
Do等[30]提出了一個更優化的GAN多模態協同加速重建模型，GAN網絡的生成器由兩個殘差U-Net網絡構成。該模型分別將T1和T2對比度圖像作為多通道輸入，從欠采樣圖像重建全采樣圖像，再通過GAN網絡對重建圖像進行進一步優化，取得的結果優于傳統CS和PI方法以及U-Net重建方法。在該研究中，GAN網絡模型的使用提高了重建圖像真實度，但并沒有過多的參與到多模態圖像的關鍵重建環節。此外，Dar等[31]提出了一種結合重建網絡和生成網絡的GAN重建模型。首先，該方法根據多模態MRI圖像的原理和圖像特點提出了三個重要的先驗依據：① 共享各模態高頻信息有利于目標模態的高頻細節重建。② 共享低頻信息可防止目標模態中的特征丟失。③ 像素感知信息可改善高級特征的還原。該模型使用多對比度圖像作為生成器的輸入，分別提取各模態圖像中的高頻信息和低頻信息，輔助生成目標模態的圖像。同時，在損失函數中通過加入最小化像素損失、感知損失項來提高重建圖像的質量。最后，該研究使用健康受試者以及患者的腦MRI圖像數據集中T1、T2和質子密度加權圖像進行了驗證。與單一模態重建和交叉模態合成方法相比，該方法可以使用重度欠采樣的目標模態k空間數據和全采或輕度欠采樣的輔助模態k空間數據，重建出高質量的目標模態圖像。結果表明，重建圖像的精細程度和還原度有明顯提高，并且在高達50倍的加速倍數情況下，可以穩定重建出質量可靠的圖像。
如何從多模態圖像數據中挖掘共享的信息，是多模態加速重建中關鍵的技術環節之一。為了更好地挖掘多模態圖像中的共享信息，樓鑫杰[32]提出了一種基于拉普拉斯金字塔深度級聯網絡的多模態快速MRI圖像重建方法。圖像金字塔模型廣泛應用于圖像分割和超分辨等應用。該研究從圖像金字塔思想出發，考慮了MRI圖像的特性和深度級聯網絡結構的優勢，通過不同模態數據的一致性分析得出在高欠采樣率下目標模態圖像和全采樣參考模態之間的相似性下降的結論。因此，該研究通過利用k空間的拉普拉斯金字塔模型逐步對多模態數據進行特征提取和學習，提升了高欠采樣率下多模態協同加速重建的圖像效果，給了研究者們新的啟示。
多模態成像是臨床MRI掃描的基本方式，而多模態MRI圖像天然具有冗余性，利用多模態信息進行圖像重建必將是今后重要的研究方向，多模態協同加速重建也將成為MRI圖像加速重建的重要手段。就目前文獻檢索和分析來看，基于GAN的MRI圖像多模態協同加速重建算法研究剛剛起步，但已展示出了其優越的重建性能。然而，相比圖像生成和圖像轉化任務，臨床診斷對于圖像重建任務中重建圖像的準確度要求更高，錯誤的重建所帶來的臨床誤診將造成無法預估的后果。在GAN網絡真正應用于臨床MRI圖像重建之前，GAN網絡重建的真實性問題是研究者必須充分解決和充分證明的關鍵問題。
3 總結與展望
本文對近年來GAN網絡模型在MRI圖像快速重建中的應用進行了詳細的綜述，從單一模態加速重建和多模態協同加速重建兩個方面對目前現有方法進行了分析、分類和總結。最后，對GAN網絡在MRI圖像加速重建中的進一步應用進行展望。
首先，在CS-MRI和并行MRI圖像重建領域，針對GAN模型本身缺陷的完善工作一直在進行。將GAN網絡在自然圖像領域中出現的新技術應用于MRI圖像重建領域，是學術界需要持續關注的問題。同時，由于MRI圖像重建任務種類繁多，針對不同目標任務進行模型修正和參數的優化也將是持續的研究熱點。例如，在欠采樣數據的重建中將結合了PI采樣與CS采樣后的MRI數據進行一次重建得到最后高質量圖像。更進一步，構建通用于不同部位和不同模態的重建任務網絡結構，將對該領域有更深刻的影響。
其次，通過文獻分析得知，多模態協同加速重建的主要目標模態都集中在較常規的臨床MRI圖像模態，如T2圖像和液體衰減反轉恢復（fluid-attenuated inversion recovery，FLAIR）圖像。臨床中使用的MRI圖像模態多種多樣，很多高級序列的采集和圖像重建更加費時。針對這些高級序列圖像的協同加速重建研究可以大幅度提升相關序列的檢查速度和圖像質量，進一步增強MRI的臨床應用能力。同時，更多的臨床模態帶來了更為豐富的多模態信息，如何提取并利用這些多模態信息將是接下來研究工作的重點。通過不斷優化現有模型的結構，更加充分地利用多模態間的共享信息將使多模態協同加速重建算法的性能進一步提高。
此外，大量研究表明，相比于CNN網絡，GAN網絡可以重建出視覺效果更好的MRI圖像，但這大都是由影像專家主觀評判得出結果。同時，在圖像重建中常用的圖像重建指標如峰值信噪比（peak signal-to-noise ratio，PSNR）和結構相似性（structural similarity，SSIM）等，并不能反映重建圖像質量是否完全滿足臨床診斷的需求。如何使用客觀評價參數準確地評估GAN網絡重建圖像還原程度和視覺真實程度將是GAN網絡廣泛應用的先決條件之一。隨著計算機輔助診斷算法的發展和成熟，建立基于計算機輔助診斷結果的圖像重建評價指標也許會為基于GAN的MRI圖像重建算法性能的提升提供新的突破點，這類研究也是后續研究者們關注的方向之一。
綜上所述，未來隨著GAN網絡的不斷改進發展以及MRI新技術的不斷應用，兩者結合的應用場景將更加多元，應用也將更加深入有效。基于GAN模型的重建算法將逐步真正應用于MRI圖像重建，幫助提升MRI掃描的速度和圖像質量，助力臨床MRI檢查。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：蔡昕負責文獻調研、模型測試及論文撰寫；侯學文參與論文核對檢查；楊光參與體系梳理和論文撰寫指導；聶生東參與論文撰寫指導和審校。
0 引言
磁共振成像（magnetic resonance imaging，MRI）技術是現代醫學中最重要的影像診斷手段之一。相比于計算機斷層掃描（computed tomography，CT）等其他醫學成像方法，MRI的掃描速度緩慢，增加了患者檢查的成本與等待的時間。因此，在保證圖像質量的前提下加快MRI的掃描速度成為該領域重要的研究課題。MRI的掃描速度主要取決于k空間數據的填充速度，因此加速MRI的兩個主要途徑就是加快k空間數據的填充或者減少圖像重建所需的k空間數據量。并行成像（parallel imaging，PI）與壓縮感知（compress sensing，CS）是兩類通過減少k空間的相位編碼步數來縮短采集時間的技術[1-2]，它們利用特定的算法實現對欠采樣k空間數據的重建。但是基于PI和CS的圖像重建算法很難完全消除圖像混疊偽影，也會導致重建圖像模糊；并且隨著欠采樣倍數的提高，重建噪聲也會升高。在臨床MRI檢查中，醫學影像技師必須在圖像質量和掃描速度中進行權衡。
在基于深度學習（deep learning，DL）的醫學圖像人工智能研究熱潮中，卷積神經網絡（convolutional neuron network，CNN）發揮了重要的作用。經過近十年的發展，CNN在醫學圖像的分割、配準、重建和分類等問題中展現出比傳統方法更好的效果，但由于其網絡結構特點的限制，CNN在圖像生成任務中尚不能達到完美的應用效果。隨著研究的深入，最早為解決圖像生成任務而設計的新型人工神經網絡——生成對抗網絡（generative adversarial network，GAN）也逐步推廣至圖像重建、分割、分類等領域[3-5]。近年來，GAN網絡在快速MRI圖像重建任務中得到廣泛應用，效果超越傳統的重建算法和其他DL算法，成為MRI圖像重建領域的研究熱點。
本文系統綜述了近年來GAN網絡在MRI圖像重建領域中的應用：首先簡單介紹快速MRI圖像重建的現狀和GAN網絡的基本原理；其次，聚焦單一模態加速重建、多模態協同加速重建兩個方向介紹相關領域最新研究進展，對所提及的方法進行了總結；最后，評價了GAN網絡在MRI圖像快速重建領域中的發展現狀和局限性，展望了該技術的發展趨勢。希望本文可以幫助相關科研工作者快速了解GAN網絡在MRI圖像重建領域的最新應用進展，為其研究提供有益參考。
1 快速MRI圖像重建方法和GAN模型原理
1.1 快速MRI圖像重建方法
CS和PI是目前加速MRI掃描的主流方法，已普遍應用于臨床檢查。但是傳統的CS和PI重建算法結構比較復雜，且在較高欠采樣率下重建的圖像質量欠佳。此外，傳統算法對重建計算機的硬件要求較高，在實時性要求較高的應用場景中，圖像質量和重建時間難以兩全。DL算法的出現，很大程度上解決了這一問題。通過應用訓練好的人工神經網絡，圖像重建速度可以達到毫秒量級，圖像質量也可媲美甚至超過傳統算法。
另一方面，一次MRI檢查會掃描產生不同模態的MRI圖像。利用各模態MRI圖像之間的共享信息來加速MRI掃描速度的方法稱為多模態協同加速重建。但是多模態數據增加了MRI圖像重建算法的復雜性，常規算法很難取得高質量重建圖像。DL算法自動特征提取的能力和GAN網絡強大的圖像學習能力可為MRI圖像多模態協同加速重建問題提供良好的解決方案。
1.2 GAN模型原理
2014年，Goodfellow等[3]提出了GAN網絡，具體結構如圖1所示。它由生成器和鑒別器組成，生成器捕捉輸入數據的分布并通過學習生成具有相同分布的數據；鑒別器是一個二元分類器，作用是評估該生成數據是否屬于真實數據。二者之間不斷對抗迭代訓練，最終使生成器生成的數據使得鑒別器無法判別真偽。在分類和特征提取方面，GAN網絡比傳統的神經網絡更具有優勢。GAN網絡不僅可以按照真實數據的特點生成新的數據，還可通過無監督方式訓練網絡，無需金標準數據即可進行監督學習以生成高質量圖像，在一定程度上緩解了標簽影像數據獲取困難的壓力。另一方面，為了解決原始GAN網絡模型存在的缺陷，研究者提出了大量的基于GAN網絡的優化模型[6-7]。這些改進網絡加速了GAN模型在醫學圖像處理中的應用，使得GAN網絡在MRI圖像重建領域取得了大量成果并成為MRI圖像重建的重要方法[8-9]。本文將從MRI圖像單一模態加速重建和多模態協同加速重建兩個主要方向分別介紹GAN網絡在MRI圖像重建中的應用。
圖1
GAN網絡模型結構
Figure1.
Overview of GAN network structure
2 GAN在MRI圖像重建中的應用
基于GAN的MRI圖像重建算法使用標準GAN網絡結構，通過訓練數據直接建立從有偽影圖像到最終清晰圖像的映射關系。由于MRI圖像重建存在k空間到圖像域的變換過程，因此網絡的輸入可以是帶有偽影的圖像數據，也可以是填充不完整的k空間數據。雖然也有很多使用基于標準網絡結構映射輸入與輸出結構的CNN模型來進行快速MRI圖像重建研究，但是在GAN網絡中，對抗損失函數的利用使得基于GAN的重建模型在欠采樣MRI圖像的偽影消除和多模態圖像協同重建上有更好的效果。
2.1 基于GAN的單一模態加速重建
近年來，采用GAN網絡實現單一模態數據重建的方法逐步發展成MRI圖像快速重建領域中重要的技術手段。從方法上區分，MRI圖像單一模態加速重建方法有CS與PI兩種主流的加速技術，目前均已經廣泛應用于臨床檢查。在這兩種MRI圖像加速技術的重建方法中，GAN網絡都發揮了重要的作用。
2.1.1 基于壓縮感知原理的加速重建
自Yang等[10]提出基于條件GAN（conditional GAN，CGAN）的深度去混疊GAN模型（deep de-aliasing GAN，DAGAN）開始，大量基于GAN的MRI圖像加速重建研究陸續展開。
目前，研究者們的研究重點是根據MRI圖像的特點以及重建任務的不同，對GAN網絡模型進行優化。針對傳統GAN鑒別器的缺點，Yuan等[11]提出了基于自注意力機制與相對平均鑒別器的GAN網絡模型。該模型為了充分利用先驗信息，使用相對平均鑒別器將絕對真假判別轉化為相對真假判別，解決了原始GAN模型忽略鑒別器輸入數據的先驗信息的問題，提高了鑒別器的性能。同時，該研究在生成器中引入了自注意力機制，可以有效解決卷積核大小受限的問題。上述兩方面的改進使得該模型取得了優于DAGAN的圖像重建效果。此外，Shaul等[12]提出了一個具有k空間和圖像域級聯生成器結構的GAN網絡模型，模型根據MRI圖像重建的原理設計了k空間數據生成模塊和圖像域數據生成模塊，充分挖掘兩個變換域中的信息。與此同時，該模型還將相鄰k空間的切片數據進行輸入，充分利用原始數據中時間以及空間相關性。通過對三個帶有病灶信息的腦部圖像數據集的圖像分割效果以及藥代動力學參數的分析，驗證了該模型具有良好的臨床使用效果。
由于CNN網絡的濾波特性，基于DL的MRI圖像重建算法常會導致圖像過度平滑。為解決MRI重建圖像邊緣不夠清晰的問題，Li等[13]和Huang等[14]分別提出了具有雙鑒別器結構的GAN網絡用于MRI圖像的快速重建。雙鑒別器設計的目的是提高MRI圖像重建網絡的邊緣信息重建能力：一個鑒別器用于圖像的整體重建，另一個鑒別器則負責邊緣信息的增強。該結構的添加，是針對MRI圖像重建特點對GAN網絡結構做的一次有益優化，使得MRI重建圖像細節更加豐富，重建結果更接近于全采樣圖像。
近年來，隨著轉換器（Transformer）結構的深入研究，結合Transformer進行重建網絡搭建的研究工作陸續展開[15]。Transformer引入了基于偽協方差的自注意力機制，相比CNN網絡，它的感受野更大，在圖像特征提取的方面更有優勢。Huang等[16]提出了一種基于Transformer結構生成器的GAN網絡快速MRI圖像重建方法。為了進一步保存邊緣和紋理信息，該模型同樣引入了雙鑒別結構模塊。相比于基于CNN結構的GAN網絡，基于Transformer結構的模型在不同欠采樣條件下MRI圖像的重建結果更優，這也證明了Transformer網絡結構在特征提取和特征匯聚方面的優勢。但相比于CNN網絡，目前Transformer結構對數據樣本量的要求更高。因此，隨著該結構的進一步優化，其在MRI圖像重建中的性能還可以進一步提高。
以上研究中使用的MRI圖像都為靜態MRI圖像，此類圖像的金標準圖像相對容易獲得。但是在某些快速MRI成像應用場景下，如動態對比度增強成像、三維心臟電影和四維血流成像等圖像的重建任務中，全采集的金標準圖像通常很難獲取。因此，基于無監督學習的DL方法更加適用于此類圖像的快速重建。Cole等[17]提出了一種基于無監督GAN網絡的圖像重建模型，使用生成圖像的傅里葉逆變換隨機采樣數據與原始圖像欠采樣k空間數據作為鑒別器的輸入進行網絡訓練。該模型解決了先前無監督重建模型中迭代速度慢和無法使用展開網絡的問題，在回顧性和前瞻性動態對比度增強圖像數據集中進行測試，取得了快速和高質量的重建結果，接近有監督學習的GAN模型。此外，Oh等[18]也發表了基于循環GAN（cycleGAN）的不成對CS-MRI數據重建網絡模型。cycleGAN模型的主要原理是通過訓練兩對生成器-鑒別器，實現了圖像在兩個領域間的無監督轉換。該研究使用了一種新的成分鑒別器，并在損失函數中的循環一致性項中加入平方和平方根運算。這些改進提高了網絡訓練的穩定性，減少了訓練時間。該方法中的模型相比傳統cycleGAN模型，在無監督MRI圖像重建任務中有更優異的表現，重建效果與基于有監督學習網絡的重建結果相當。
此外，高欠采樣率下的圖像重建質量是未來MRI臨床應用的重要課題。Li等[19]提出了一種改進的GAN重建模型，該模型將殘差U型網絡（U-Net）與空間注意力模塊以及通道注意力模塊相結合，消除高欠采樣率造成的偽影。該研究分別在笛卡爾和非笛卡爾坐標系中使用不同的采樣模式和欠采樣率數據來重建圖像，在最高10%的采樣率下重建出定量指標上都優于其他方法的MRI圖像，顯示了其在高欠采樣率下優良的重建性能。Belov等[20]使用幾個已有的GAN重建和超分辨模型以及U-Net模型的組合，對高欠采樣率圖像進行圖像質量的改善和分辨率的恢復。將在不同欠采樣模式和欠采樣率下的重建結果進行了對比研究，他們發現超分辨GAN（super-resolution GAN，SRGAN）和U-Net的組合模型效果最好。此外，該研究還討論了32倍和64倍極高欠采樣率下的重建圖像在非診斷性臨床應用場合中的可能應用，對后續研究有啟發意義。
2.1.2 基于PI原理的加速重建
為了更好地重建多通道MRI圖像數據，文獻[17]在提出的無監督CS-MRI圖像重建方法中初步利用了線圈靈敏度分布圖，但并未為線圈靈敏度分布圖設計獨立的損失函數進行網絡訓練，因此該工作也未深入研究線圈靈敏度信息在PI重建中的應用。Lv等[21]開始將靈敏度編碼（sensitivity encoding，SENSE）算法與GAN模型相結合。該研究使用殘差U-Net網絡作為GAN網絡的生成器，首先將多通道圖像使用SENSE算法進行重建，重建后圖像作為GAN網絡生成器的輸入進行進一步圖像重建。結果表明，該模型能使用高g因子下SENSE算法采集的數據重建出無偽影圖像，可以有效地應用于實際臨床中前瞻性欠采樣數據的重建。但由于網絡結構原因，它并不適用于基于單線圈圖像的重建。因此，在文獻[21]工作的基礎上，Lv等[22]又提出了名為PI耦合GAN（PI coupled GAN， PIC-GAN）的多通道并行MRI圖像重建模型。該方法不僅結合了SENSE和廣義自動校準部分并行采集（generalized autocalibrating partially parallel acquisitions，GRAPPA）兩種不同的PI方法，更重要的是將線圈靈敏度空間分布納入損失函數，同時分別加入了圖像域損失項和k空間損失項，提升了并行MRI圖像重建結果的結構相似性。接著，在PIC-GAN模型的基礎上，該研究團隊通過三個不同MRI圖像數據庫的遷移學習研究，探討了PIC-GAN模型的泛化能力[23]。研究表明，在樣本量偏小的情況下，應用遷移學習的方法可以提高并行MRI圖像重建的效果。上述這些重建模型涵蓋了不同的臨床并行MRI圖像采集方式，并且取得了較傳統方法更好的圖像重建效果和更短的圖像重建時間。
盡管基于GAN的單一模態加速重建算法已經得到了廣泛的研究，但是由于MRI圖像重建的任務的多樣性，研究人員往往需要根據目標任務的特點，改變GAN網絡的結構和損失函數，合理設置超參數，以優化模型效果。針對GAN網絡中相關參數設置與重建圖像質量之間的關系，研究者也進行了深入探討。Edupuganti等[24]設計了一個基于GAN網絡的測試模型，用于評估基于GAN網絡的MRI圖像重建模型的穩定性以及重建圖像的偽影程度、結構不確定性。該研究結果表明，采樣率、k空間采集模式和損失函數等因素對模型的魯棒性影響較大，同時超參數的合理選擇對于圖像的穩定重建有很大的影響。雖然本領域研究追求的最終目標是設計出適用于不同部位和不同序列圖像的通用重建網絡，但可以預期，有針對性的模型改進和參數優化仍將是研究熱點。同時，目前臨床MRI應用基本采用CS與PI相結合的方式進行數據采集，如何根據CS和PI的特點設計有效的采樣模式，同時針對性地進行圖像重建，是目前各個研究機構與設備廠商積極探索的前沿課題之一。
2.2 基于GAN的多模態協同加速重建
多模態、多參數是MRI圖像最大的特點。典型的MRI臨床檢查協議一般包含T1加權、T2加權和質子密度加權等多個不同方位的不同對比度成像序列。多模態數據可以為臨床診斷提供更充足的依據，確保診斷結果的可靠性，但這意味著更長的檢查時間。同時，研究者們發現多模態圖像之間存在大量的冗余和關聯信息，如組織形態結構、密度和對比度信息等。因此，在MRI圖像單一模態加速重建技術的基礎上，充分利用多模態間的共享信息[25-27]，可以進一步減少目標模態的采樣數據，這為提高臨床MRI檢查速度提供了新的思路。
在DL技術應用于MRI圖像重建之前，多模態協同加速重建技術主要為基于群稀疏理論的貝葉斯CS加速重建。但由于此類算法重建時間長、圖像質量不穩定，無法應用于實際臨床檢查[28]。近年來，DL在MRI圖像快速重建領域中的迅速應用并取得良好效果。深度神經網絡結構靈活，可拓展為使用多個通道輸入對多模態圖像進行處理，也可大幅度提高重建速度，這些特點使得DL特別適用于MRI多模態圖像加速重建。因此，基于DL的多模態協同加速重建的工作開始大量陸續展開。
Xiang等[29]借助T1模態和T2模態圖像之間的共享信息，使用臨床采集時間較短的全采集T1圖像對最高8倍欠采樣的T2圖像進行協同加速重建。該研究在經典U-Net模型基礎上加入了密集連接模塊來適應多模態重建任務的新需求。密集連接模塊可以改善跨層的特征流，對于多模態圖像中的相同特征的學習和提取有一定幫助。因此，與U-Net模型相比，該研究中重建圖像的邊界更為清晰，重建誤差也更低。該研究是使用DL技術對多模態MRI圖像進行協同加速重建的首次嘗試，其多模態輸入的網絡結構、利用多模態共享信息以及使用短時模態圖像輔助耗時模態圖像重建以減少采樣時間的思路對后續研究有啟發作用。但在重建模型的結構以及多模態圖像特征的利用方面，該研究還有待進一步優化，例如U-Net網絡在建模遠程交互方面受限，這可能影響圖像中精細結構的還原[28]。此后，針對多模態MRI圖像的特點，更多的優化網絡模型和共享特征的提取方法相繼出現。其中，GAN網絡作為一種廣泛應用的生成模型，它的對抗機制可以很好地學習MRI圖像各模態中的共享特征并體現在目標模態圖像的重建中，提高圖像的重建質量，因此基于GAN網絡的重建模型逐步在MRI圖像多模態協同加速重建任務中凸顯優勢。
Kim等[28]成功地將GAN網絡應用在了多模態加速重建中，該研究指出，對抗損失和像素損失的加入有利于提高重建圖像的視覺質量，同時該研究也強調了MRI圖像高頻信息主要表征組織的結構信息，可通過共享各模態之間的高頻信息，對目標模態的欠采樣行數進行補充，從而達到提高目標模態圖像分辨率的目的。該研究利用公共數據集和自有數據進行了驗證，結果表明：① 使用其他模態高分辨數據輔助重建的圖像效果好于使用單一模態進行重建的結果，也要好于SRGAN等成熟的超分辨神經網絡模型的結果。② 使用了對抗結構的GAN網絡與只有生成器結構的單一CNN網絡相比，重建圖像有更好的視覺效果。另外，通過該研究發現，目前對于重建圖像的視覺效果的評估，還缺乏客觀的評價參數，影響了圖像重建結果評估的客觀性。
Do等[30]提出了一個更優化的GAN多模態協同加速重建模型，GAN網絡的生成器由兩個殘差U-Net網絡構成。該模型分別將T1和T2對比度圖像作為多通道輸入，從欠采樣圖像重建全采樣圖像，再通過GAN網絡對重建圖像進行進一步優化，取得的結果優于傳統CS和PI方法以及U-Net重建方法。在該研究中，GAN網絡模型的使用提高了重建圖像真實度，但并沒有過多的參與到多模態圖像的關鍵重建環節。此外，Dar等[31]提出了一種結合重建網絡和生成網絡的GAN重建模型。首先，該方法根據多模態MRI圖像的原理和圖像特點提出了三個重要的先驗依據：① 共享各模態高頻信息有利于目標模態的高頻細節重建。② 共享低頻信息可防止目標模態中的特征丟失。③ 像素感知信息可改善高級特征的還原。該模型使用多對比度圖像作為生成器的輸入，分別提取各模態圖像中的高頻信息和低頻信息，輔助生成目標模態的圖像。同時，在損失函數中通過加入最小化像素損失、感知損失項來提高重建圖像的質量。最后，該研究使用健康受試者以及患者的腦MRI圖像數據集中T1、T2和質子密度加權圖像進行了驗證。與單一模態重建和交叉模態合成方法相比，該方法可以使用重度欠采樣的目標模態k空間數據和全采或輕度欠采樣的輔助模態k空間數據，重建出高質量的目標模態圖像。結果表明，重建圖像的精細程度和還原度有明顯提高，并且在高達50倍的加速倍數情況下，可以穩定重建出質量可靠的圖像。
如何從多模態圖像數據中挖掘共享的信息，是多模態加速重建中關鍵的技術環節之一。為了更好地挖掘多模態圖像中的共享信息，樓鑫杰[32]提出了一種基于拉普拉斯金字塔深度級聯網絡的多模態快速MRI圖像重建方法。圖像金字塔模型廣泛應用于圖像分割和超分辨等應用。該研究從圖像金字塔思想出發，考慮了MRI圖像的特性和深度級聯網絡結構的優勢，通過不同模態數據的一致性分析得出在高欠采樣率下目標模態圖像和全采樣參考模態之間的相似性下降的結論。因此，該研究通過利用k空間的拉普拉斯金字塔模型逐步對多模態數據進行特征提取和學習，提升了高欠采樣率下多模態協同加速重建的圖像效果，給了研究者們新的啟示。
多模態成像是臨床MRI掃描的基本方式，而多模態MRI圖像天然具有冗余性，利用多模態信息進行圖像重建必將是今后重要的研究方向，多模態協同加速重建也將成為MRI圖像加速重建的重要手段。就目前文獻檢索和分析來看，基于GAN的MRI圖像多模態協同加速重建算法研究剛剛起步，但已展示出了其優越的重建性能。然而，相比圖像生成和圖像轉化任務，臨床診斷對于圖像重建任務中重建圖像的準確度要求更高，錯誤的重建所帶來的臨床誤診將造成無法預估的后果。在GAN網絡真正應用于臨床MRI圖像重建之前，GAN網絡重建的真實性問題是研究者必須充分解決和充分證明的關鍵問題。
3 總結與展望
本文對近年來GAN網絡模型在MRI圖像快速重建中的應用進行了詳細的綜述，從單一模態加速重建和多模態協同加速重建兩個方面對目前現有方法進行了分析、分類和總結。最后，對GAN網絡在MRI圖像加速重建中的進一步應用進行展望。
首先，在CS-MRI和并行MRI圖像重建領域，針對GAN模型本身缺陷的完善工作一直在進行。將GAN網絡在自然圖像領域中出現的新技術應用于MRI圖像重建領域，是學術界需要持續關注的問題。同時，由于MRI圖像重建任務種類繁多，針對不同目標任務進行模型修正和參數的優化也將是持續的研究熱點。例如，在欠采樣數據的重建中將結合了PI采樣與CS采樣后的MRI數據進行一次重建得到最后高質量圖像。更進一步，構建通用于不同部位和不同模態的重建任務網絡結構，將對該領域有更深刻的影響。
其次，通過文獻分析得知，多模態協同加速重建的主要目標模態都集中在較常規的臨床MRI圖像模態，如T2圖像和液體衰減反轉恢復（fluid-attenuated inversion recovery，FLAIR）圖像。臨床中使用的MRI圖像模態多種多樣，很多高級序列的采集和圖像重建更加費時。針對這些高級序列圖像的協同加速重建研究可以大幅度提升相關序列的檢查速度和圖像質量，進一步增強MRI的臨床應用能力。同時，更多的臨床模態帶來了更為豐富的多模態信息，如何提取并利用這些多模態信息將是接下來研究工作的重點。通過不斷優化現有模型的結構，更加充分地利用多模態間的共享信息將使多模態協同加速重建算法的性能進一步提高。
此外，大量研究表明，相比于CNN網絡，GAN網絡可以重建出視覺效果更好的MRI圖像，但這大都是由影像專家主觀評判得出結果。同時，在圖像重建中常用的圖像重建指標如峰值信噪比（peak signal-to-noise ratio，PSNR）和結構相似性（structural similarity，SSIM）等，并不能反映重建圖像質量是否完全滿足臨床診斷的需求。如何使用客觀評價參數準確地評估GAN網絡重建圖像還原程度和視覺真實程度將是GAN網絡廣泛應用的先決條件之一。隨著計算機輔助診斷算法的發展和成熟，建立基于計算機輔助診斷結果的圖像重建評價指標也許會為基于GAN的MRI圖像重建算法性能的提升提供新的突破點，這類研究也是后續研究者們關注的方向之一。
綜上所述，未來隨著GAN網絡的不斷改進發展以及MRI新技術的不斷應用，兩者結合的應用場景將更加多元，應用也將更加深入有效。基于GAN模型的重建算法將逐步真正應用于MRI圖像重建，幫助提升MRI掃描的速度和圖像質量，助力臨床MRI檢查。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：蔡昕負責文獻調研、模型測試及論文撰寫；侯學文參與論文核對檢查；楊光參與體系梳理和論文撰寫指導；聶生東參與論文撰寫指導和審校。
