本文介紹不報告偏倚（證據缺失偏倚）風險評價工具ROB-ME的主要內容，包括其制訂背景、適用范圍、相關信號問題以及決策路徑等。ROB-ME工具具有邏輯清晰、細節完善、操作簡便、適用性良好等優點，在評價不報告偏倚風險方面具有相當大的優勢，可為臨床研究者提供權威參考，值得推廣和應用。
引用本文： 鄧湘金, 胡玉鵬, 高歌, 劉偉, 曾維, 陳金龍, 湯煒, 劉暢. 不報告偏倚風險評價工具ROB-ME中文解讀. 中國循證醫學雜志, 2023, 23(7): 843-848. doi: 10.7507/1672-2531.202303107 復制
1 ROB-ME工具的制訂背景
系統評價作為循證醫學研究的重要工具和方法，強調盡可能收集所有符合納入標準的原始研究并進行方法學質量評價，提取特征和數據，對原始研究結果數據進行合并，最后進行證據評級，其中系統評價的數據合并（synthesis）包括Meta分析、Meta回歸等方法。對每項數據合并進行GRADE證據評級時需要充分考慮到報告偏倚（reporting bias），例如：RoB 2[1]、ROBINS-I[2]或ROBINS-E[3]等偏倚風險評價工具中的選擇性報告偏倚（selective reporting bias）[4-5]，基于漏斗圖等分析的發表偏倚（publication bias）[6]等。
當研究者根據研究結果的P值、大小或方向，從多個測量指標、多種統計分析方法、多個亞組中刻意選擇一部分結果進行報告時，就會產生選擇性報告偏倚。例如，研究人員使用兩種工具來進行疼痛程度的測量，但只報告了統計學上具有顯著性的測量結果，而沒有報告另一種疼痛測量工具的結果，若這時進行系統評價便有一個可用的結果納入數據合并，使用該結果將有較高的偏倚風險。因此，在開發偏倚風險評價工具時，RoB 2[1]、ROBINS-I[2]和ROBINS-E[3]等工具開發團隊都已經充分考慮到了這種選擇性報告研究結果所致偏倚風險。
然而，除了選擇性報告偏倚以外，還會因為研究結果的P值、效應值的大小或方向而導致研究結果沒有報告、報告不可獲取、報告的研究結果不可用于數據合并等情況的報告偏倚。Page等[7]將這類選擇性報告偏倚以外的報告偏倚定義為“不報告偏倚”（non-reporting bias）：因為研究結果的P值、大小或方向影響研究結果的可用性，導致證據缺失（missing evidence）即無法獲取所有的研究和結果，故又叫做“證據缺失偏倚”（bias due to missing evidence）。不報告偏倚（證據缺失偏倚）包括：① 研究內的不報告偏倚（with-study non-reporting bias）即研究者根據研究結果的P值、大小或方向，在研究報告中刻意不報告某些結果，這種情況下證據缺失表現為研究結果缺失（missing results），可以通過研究計劃書、試驗注冊、統計分析計劃等渠道進行驗證，因此比喻為“已知的未知”（known unknowns）；② 研究間的不報告偏倚（across-study non-reporting bias）即由于研究結果的P值、大小或方向導致研究報告無法發表或延遲發表[8]，或即使發表也無法被系統評價獲取（如發表在非英文期刊、未被數據庫索引的期刊上）[8]，這類情況下證據缺失表現為研究缺失（missing studies），因此比喻為“未知的未知”（unknown unknowns）。關于報告偏倚的總結見圖1。
圖1
報告偏倚總結
基于此背景，Page等[7]2017年開始開發新的偏倚風險評價工具，用于評價數據合并中的不報告偏倚（證據缺失偏倚），并且2020年在Risk of bias tools官網上正式發布了ROB-ME（Risk Of Bias due to Missing Evidence）工具。ROB-ME工具遵循了與RoB 2[1]、ROBINS-I[2]等工具相似的開發原則，故而比較嚴謹科學，本文旨在對ROB-ME工具進行解讀。
2 ROB-ME工具解讀
ROB-ME工具用于系統評價中每項數據合并的證據缺失偏倚風險評價，其過程較為簡便，分為四步：第一是選擇并定義將進行證據缺失偏倚風險評價的數據合并；第二是確定哪些納入的研究有結果缺失，為評價研究內的不報告偏倚風險做準備；第三是評價系統評價中研究缺失的可能性，為評價研究間的不報告偏倚風險做準備；第四是基于前三步的準備工作，對每項數據合并的證據缺失偏倚風險做出評價。
ROB-ME工具包含了多個不同的信號問題，在評價證據缺失偏倚風險時，需做出判斷并客觀地回答這些問題。與RoB 2[1]、ROBINS-I[2]等工具類似，ROB-ME工具的信號問題的供選答案有：是（yes，Y）、可能是（probably yes，PY）、可能否（probably no，PN）、否（no，N）、沒有信息（no information，NI）、不適用（not applicable，NA）。
2.1 步驟一：選擇并定義將進行證據缺失偏倚風險評價的數據合并
在系統評價中同時評價所有數據合并的證據缺失偏倚風險可行性較差，尤其是系統評價進行了多項數據合并，而且每項數據合并納入了多項研究。因此，評價者應該預先指定將進行證據缺失偏倚風險評價的數據合并（一般選擇患者和醫務人員最關心的結局），并明確定義符合每項數據合并的研究結果類型，即確定每項數據合并限定于哪些特定條件（表1），否則將很難確定哪些結果有缺失。
表1
ROB-ME工具步驟一：選擇并定義將進行證據缺失偏倚風險評價的數據合并
2.2 步驟二：確定哪些納入的研究有結果缺失
對每項符合系統評價納入標準的研究，將可用的結果與預先指定的信息（包括將測量哪些結局、進行哪些分析等）進行比較。這些信息可能來自文章的方法部分、試驗注冊、研究計劃書、統計分析計劃書、其他研究來源（如臨床研究報告）或與研究者聯系。然后完成下面的結果可用性矩陣（表2），以表明研究結果對將進行偏倚風險評價的每項數據合并的可用性，一旦確定某項研究沒有可納入數據合并的結果時，必須考慮其結果不可用的原因，可參考表3中的情況。同時還需明確每項研究納入分析的受試者總數，以表明數據合并中每項研究的可能權重。
表2
ROB-ME工具步驟二：結果矩陣（可根據需要添加/刪除行或列）
表3
研究結果缺失的可能原因
2.3 步驟三：評價系統評價中研究缺失的可能性
無論納入的研究是否存在結果缺失，數據合并都有可能由于研究缺失而造成結果缺失。ROB-ME工具第三步的信號問題用于確定是否因為結果的P值、大小或方向，一些符合納入標準的研究可能沒有被納入。相關信號問題及供選答案見表4。
表4
ROB-ME工具步驟三：評價系統評價中研究缺失的可能性
2.4 步驟四：對每項數據合并的證據缺失偏倚風險評價
ROB-ME工具第四步包括8個信號問題，用于判斷證據缺失偏倚風險。這些問題根據是由目前為止在上述步驟中整理的材料提出的，分別評價研究內的不報告偏倚和研究間的不報告偏倚。與步驟一至步驟三只需要完成一次不同，這部分需分別評價每項數據合并中的證據缺失偏倚風險。相關信號問題及供選答案見表5。
表5
ROB-ME工具步驟四：對每項數據合并的證據缺失偏倚風險評價
基于對步驟四中信號問題的回答，每項數據合并的證據缺失偏倚風險可分為三個等級：“低風險”，即不太可能由于證據缺失而造成偏倚；“高風險”，即很可能由于證據缺失而造成偏倚；“中風險”，即證據缺失的程度或潛在影響存在不確定性，從而排除了對低風險或高風險的判斷。相關偏倚風險分級的決策路徑見圖2。
圖2
偏倚風險決策路徑圖
此外，對每項數據合并的證據缺失偏倚風險做出判斷后，評價者還可預計偏倚的方向：對試驗組有利、對對照組有利、趨于無效假設、遠離無效假設、無法預計以及不適用（not applicable，NA）。
3 ROB-ME工具的使用示例
我們以2015年的一篇系統評價為例[9]，其數據合并1.5（Analysis 1.5）共納入分析6項研究，包括244名受試者，且已知3項存在結果缺失的研究。對此，步驟三3.1～3.3及步驟四4.1～4.8相關信號問題的回答見表6。根據圖2所示偏倚風險決策路徑圖可知：本項數據合并的不報告偏倚風險為高風險。
表6
ROB-ME工具的示例
4 討論
4.1 研究內的不報告偏倚（研究結果缺失）
為了更加直觀地對有結果缺失的數據合并進行可視化表達，Page等[7]建議在傳統森林圖[9]的基礎上加上有結果缺失的研究，提供了一個改良的森林圖示例[7]。研究者可將存在結果缺失的已知研究添加到森林圖中，同時補充樣本量信息以及任何與結果相關的信息（例如結果的P值、效應的方向等）。使用時需注意，森林圖不需要包括以下研究：一是沒有測量感興趣的結局的研究；二是研究結果缺失的原因與結果的P值、大小或方向無關（例如由于大量數據缺失）；三是無法確認研究產生了待納入的結果（例如公開來源或與作者聯系均未提供預先指定結局的信息）。
4.2 研究間的不報告偏倚（研究缺失）
長期以來，循證醫學研究對研究間的不報告偏倚主要關注在發表偏倚上，并且在GRADE證據評級時也很重視發表偏倚[6]。對發表偏倚的分析方法對研究間的不報告偏倚同樣適用，在信號問題4.7和4.8所提及的分析方法主要基于觀察的研究結果的圖形（pattern of observed results）和敏感性分析，包括：① 漏斗圖的觀察[10]；② 漏斗圖對稱性檢驗[11]；③ 比較固定效應與隨機效應的Meta分析效應值[7]；④ 觀察森林圖或表格中的研究結果的P值、大小或方向[7]。在漏斗圖中，橫坐標是效應值，縱坐標是倒序的標準誤、代表樣本量或精確性：對于大樣本研究所對應的散點，其精確性高、隨機誤差小，其效應值與合并效應值的距離往往較近；對于小樣本研究所對應的散點，其精確性差、隨機誤差大，其效應值與合并效應值的距離可能波動較遠[10]。理想狀態下（沒有發生證據缺失的情況下），漏斗圖應該是以合并效應值為對稱軸、左右大致對稱的上窄下寬的分布圖像，即倒置的漏斗形狀。在報告研究結果時，通常是樣本量小、研究結果陰性的研究容易發生研究間的不報告偏倚，即漏斗圖下端小樣本研究靠近無效假設的區域散點較遠離無效假設的區域稀疏，導致小樣本研究估計的效應值與大樣本研究估計的效應值不同，因此研究間的不報告偏倚在漏斗圖的表現又被叫做“小樣本研究效應”（small-study effects）[7,10-11]。Sterne等[11]發現當納入研究不足10個時，漏斗圖對稱性檢驗效能較低，因此建議超過10個研究才繪制漏斗圖、進行對稱性檢驗。
綜上所述，不報告偏倚（證據缺失偏倚）會影響系統評價和相關數據合并結論的可靠性。因此對證據缺失偏倚采用恰當的方法學質量評價顯得尤為重要。ROB-ME工具通過回答一系列邏輯嚴密的相關信號問題，可以對每項數據合并的證據缺失偏倚風險做出準確判斷，其評價流程科學嚴謹，操作簡便，具有邏輯清晰、細節完善、適用性良好的優點。目前，ROB-ME工具尚處于初步測試階段，尚未提供Excel或Access的文檔工具，ROB-ME仍在進一步完善和改進中。簡而言之，ROB-ME工具在評價證據缺失偏倚風險方面具有相當大的優勢，雖然尚在初步測試階段，仍可為臨床研究者提供權威參考，值得推廣和應用。
1 ROB-ME工具的制訂背景
系統評價作為循證醫學研究的重要工具和方法，強調盡可能收集所有符合納入標準的原始研究并進行方法學質量評價，提取特征和數據，對原始研究結果數據進行合并，最后進行證據評級，其中系統評價的數據合并（synthesis）包括Meta分析、Meta回歸等方法。對每項數據合并進行GRADE證據評級時需要充分考慮到報告偏倚（reporting bias），例如：RoB 2[1]、ROBINS-I[2]或ROBINS-E[3]等偏倚風險評價工具中的選擇性報告偏倚（selective reporting bias）[4-5]，基于漏斗圖等分析的發表偏倚（publication bias）[6]等。
當研究者根據研究結果的P值、大小或方向，從多個測量指標、多種統計分析方法、多個亞組中刻意選擇一部分結果進行報告時，就會產生選擇性報告偏倚。例如，研究人員使用兩種工具來進行疼痛程度的測量，但只報告了統計學上具有顯著性的測量結果，而沒有報告另一種疼痛測量工具的結果，若這時進行系統評價便有一個可用的結果納入數據合并，使用該結果將有較高的偏倚風險。因此，在開發偏倚風險評價工具時，RoB 2[1]、ROBINS-I[2]和ROBINS-E[3]等工具開發團隊都已經充分考慮到了這種選擇性報告研究結果所致偏倚風險。
然而，除了選擇性報告偏倚以外，還會因為研究結果的P值、效應值的大小或方向而導致研究結果沒有報告、報告不可獲取、報告的研究結果不可用于數據合并等情況的報告偏倚。Page等[7]將這類選擇性報告偏倚以外的報告偏倚定義為“不報告偏倚”（non-reporting bias）：因為研究結果的P值、大小或方向影響研究結果的可用性，導致證據缺失（missing evidence）即無法獲取所有的研究和結果，故又叫做“證據缺失偏倚”（bias due to missing evidence）。不報告偏倚（證據缺失偏倚）包括：① 研究內的不報告偏倚（with-study non-reporting bias）即研究者根據研究結果的P值、大小或方向，在研究報告中刻意不報告某些結果，這種情況下證據缺失表現為研究結果缺失（missing results），可以通過研究計劃書、試驗注冊、統計分析計劃等渠道進行驗證，因此比喻為“已知的未知”（known unknowns）；② 研究間的不報告偏倚（across-study non-reporting bias）即由于研究結果的P值、大小或方向導致研究報告無法發表或延遲發表[8]，或即使發表也無法被系統評價獲取（如發表在非英文期刊、未被數據庫索引的期刊上）[8]，這類情況下證據缺失表現為研究缺失（missing studies），因此比喻為“未知的未知”（unknown unknowns）。關于報告偏倚的總結見圖1。
圖1
報告偏倚總結
基于此背景，Page等[7]2017年開始開發新的偏倚風險評價工具，用于評價數據合并中的不報告偏倚（證據缺失偏倚），并且2020年在Risk of bias tools官網上正式發布了ROB-ME（Risk Of Bias due to Missing Evidence）工具。ROB-ME工具遵循了與RoB 2[1]、ROBINS-I[2]等工具相似的開發原則，故而比較嚴謹科學，本文旨在對ROB-ME工具進行解讀。
2 ROB-ME工具解讀
ROB-ME工具用于系統評價中每項數據合并的證據缺失偏倚風險評價，其過程較為簡便，分為四步：第一是選擇并定義將進行證據缺失偏倚風險評價的數據合并；第二是確定哪些納入的研究有結果缺失，為評價研究內的不報告偏倚風險做準備；第三是評價系統評價中研究缺失的可能性，為評價研究間的不報告偏倚風險做準備；第四是基于前三步的準備工作，對每項數據合并的證據缺失偏倚風險做出評價。
ROB-ME工具包含了多個不同的信號問題，在評價證據缺失偏倚風險時，需做出判斷并客觀地回答這些問題。與RoB 2[1]、ROBINS-I[2]等工具類似，ROB-ME工具的信號問題的供選答案有：是（yes，Y）、可能是（probably yes，PY）、可能否（probably no，PN）、否（no，N）、沒有信息（no information，NI）、不適用（not applicable，NA）。
2.1 步驟一：選擇并定義將進行證據缺失偏倚風險評價的數據合并
在系統評價中同時評價所有數據合并的證據缺失偏倚風險可行性較差，尤其是系統評價進行了多項數據合并，而且每項數據合并納入了多項研究。因此，評價者應該預先指定將進行證據缺失偏倚風險評價的數據合并（一般選擇患者和醫務人員最關心的結局），并明確定義符合每項數據合并的研究結果類型，即確定每項數據合并限定于哪些特定條件（表1），否則將很難確定哪些結果有缺失。
表1
ROB-ME工具步驟一：選擇并定義將進行證據缺失偏倚風險評價的數據合并
2.2 步驟二：確定哪些納入的研究有結果缺失
對每項符合系統評價納入標準的研究，將可用的結果與預先指定的信息（包括將測量哪些結局、進行哪些分析等）進行比較。這些信息可能來自文章的方法部分、試驗注冊、研究計劃書、統計分析計劃書、其他研究來源（如臨床研究報告）或與研究者聯系。然后完成下面的結果可用性矩陣（表2），以表明研究結果對將進行偏倚風險評價的每項數據合并的可用性，一旦確定某項研究沒有可納入數據合并的結果時，必須考慮其結果不可用的原因，可參考表3中的情況。同時還需明確每項研究納入分析的受試者總數，以表明數據合并中每項研究的可能權重。
表2
ROB-ME工具步驟二：結果矩陣（可根據需要添加/刪除行或列）
表3
研究結果缺失的可能原因
2.3 步驟三：評價系統評價中研究缺失的可能性
無論納入的研究是否存在結果缺失，數據合并都有可能由于研究缺失而造成結果缺失。ROB-ME工具第三步的信號問題用于確定是否因為結果的P值、大小或方向，一些符合納入標準的研究可能沒有被納入。相關信號問題及供選答案見表4。
表4
ROB-ME工具步驟三：評價系統評價中研究缺失的可能性
2.4 步驟四：對每項數據合并的證據缺失偏倚風險評價
ROB-ME工具第四步包括8個信號問題，用于判斷證據缺失偏倚風險。這些問題根據是由目前為止在上述步驟中整理的材料提出的，分別評價研究內的不報告偏倚和研究間的不報告偏倚。與步驟一至步驟三只需要完成一次不同，這部分需分別評價每項數據合并中的證據缺失偏倚風險。相關信號問題及供選答案見表5。
表5
ROB-ME工具步驟四：對每項數據合并的證據缺失偏倚風險評價
基于對步驟四中信號問題的回答，每項數據合并的證據缺失偏倚風險可分為三個等級：“低風險”，即不太可能由于證據缺失而造成偏倚；“高風險”，即很可能由于證據缺失而造成偏倚；“中風險”，即證據缺失的程度或潛在影響存在不確定性，從而排除了對低風險或高風險的判斷。相關偏倚風險分級的決策路徑見圖2。
圖2
偏倚風險決策路徑圖
此外，對每項數據合并的證據缺失偏倚風險做出判斷后，評價者還可預計偏倚的方向：對試驗組有利、對對照組有利、趨于無效假設、遠離無效假設、無法預計以及不適用（not applicable，NA）。
3 ROB-ME工具的使用示例
我們以2015年的一篇系統評價為例[9]，其數據合并1.5（Analysis 1.5）共納入分析6項研究，包括244名受試者，且已知3項存在結果缺失的研究。對此，步驟三3.1～3.3及步驟四4.1～4.8相關信號問題的回答見表6。根據圖2所示偏倚風險決策路徑圖可知：本項數據合并的不報告偏倚風險為高風險。
表6
ROB-ME工具的示例
4 討論
4.1 研究內的不報告偏倚（研究結果缺失）
為了更加直觀地對有結果缺失的數據合并進行可視化表達，Page等[7]建議在傳統森林圖[9]的基礎上加上有結果缺失的研究，提供了一個改良的森林圖示例[7]。研究者可將存在結果缺失的已知研究添加到森林圖中，同時補充樣本量信息以及任何與結果相關的信息（例如結果的P值、效應的方向等）。使用時需注意，森林圖不需要包括以下研究：一是沒有測量感興趣的結局的研究；二是研究結果缺失的原因與結果的P值、大小或方向無關（例如由于大量數據缺失）；三是無法確認研究產生了待納入的結果（例如公開來源或與作者聯系均未提供預先指定結局的信息）。
4.2 研究間的不報告偏倚（研究缺失）
長期以來，循證醫學研究對研究間的不報告偏倚主要關注在發表偏倚上，并且在GRADE證據評級時也很重視發表偏倚[6]。對發表偏倚的分析方法對研究間的不報告偏倚同樣適用，在信號問題4.7和4.8所提及的分析方法主要基于觀察的研究結果的圖形（pattern of observed results）和敏感性分析，包括：① 漏斗圖的觀察[10]；② 漏斗圖對稱性檢驗[11]；③ 比較固定效應與隨機效應的Meta分析效應值[7]；④ 觀察森林圖或表格中的研究結果的P值、大小或方向[7]。在漏斗圖中，橫坐標是效應值，縱坐標是倒序的標準誤、代表樣本量或精確性：對于大樣本研究所對應的散點，其精確性高、隨機誤差小，其效應值與合并效應值的距離往往較近；對于小樣本研究所對應的散點，其精確性差、隨機誤差大，其效應值與合并效應值的距離可能波動較遠[10]。理想狀態下（沒有發生證據缺失的情況下），漏斗圖應該是以合并效應值為對稱軸、左右大致對稱的上窄下寬的分布圖像，即倒置的漏斗形狀。在報告研究結果時，通常是樣本量小、研究結果陰性的研究容易發生研究間的不報告偏倚，即漏斗圖下端小樣本研究靠近無效假設的區域散點較遠離無效假設的區域稀疏，導致小樣本研究估計的效應值與大樣本研究估計的效應值不同，因此研究間的不報告偏倚在漏斗圖的表現又被叫做“小樣本研究效應”（small-study effects）[7,10-11]。Sterne等[11]發現當納入研究不足10個時，漏斗圖對稱性檢驗效能較低，因此建議超過10個研究才繪制漏斗圖、進行對稱性檢驗。
綜上所述，不報告偏倚（證據缺失偏倚）會影響系統評價和相關數據合并結論的可靠性。因此對證據缺失偏倚采用恰當的方法學質量評價顯得尤為重要。ROB-ME工具通過回答一系列邏輯嚴密的相關信號問題，可以對每項數據合并的證據缺失偏倚風險做出準確判斷，其評價流程科學嚴謹，操作簡便，具有邏輯清晰、細節完善、適用性良好的優點。目前，ROB-ME工具尚處于初步測試階段，尚未提供Excel或Access的文檔工具，ROB-ME仍在進一步完善和改進中。簡而言之，ROB-ME工具在評價證據缺失偏倚風險方面具有相當大的優勢，雖然尚在初步測試階段，仍可為臨床研究者提供權威參考，值得推廣和應用。
