한국 물리치료 학술지에 무작위대조연구의 비뚤림 위험 평가: 2018~2022년 검토

Ⅰ. 서 론

전향적 연구인 무작위 대조군 실험(Randomized Controlled Trials, RCTs)은 새로운 중재와 치료의 효과를 측정한다(Hanriton 과 Locascio, 2018). 근거 피라미드(Evidence pyramid)에서 RCTs는 높은 수준의 근거를 가지고 있으며, 임상에서 실무의 결정은 RCTs의 근거에 기초하여 선택하는 것이 좋다(Bhide 등, 2018). RCTs는 중재의 효과 또는 안정성에 대한 근거를 제공하고 그 결과를 종합하여 체계적 고찰과 임상적용 지침 작성에 대한 정보를 제공한다. 하지만, 많은 RCTs는 방법론적인 결함을 가지고 있으며 이로 인해 연구 결과에 비뚤림이 발생할 수 있다(Macleod, 등, 2014).

비뚤림은 연구의 자료 수집, 자료 분석, 언어 번역, 논문 출판 과정에서 의도적이든 의도적이지 않든 발생하며 연구자는 실제 결과와 다른 결과를 내리게 된다(Gardenier 과 Resnik, 2010). 비뚤림의 잠재적인 모든 원인을 연구자는 인식해야 하며 실제 결과와 자신의 결과의 비뚤림을 최소화해야 한다. 그럼에도 자신의 결론과 실제 결론 사이에 편차가 존재한다면 연구자들은 그것에 대한 내용을 연구에서 제시해야한다(Simundić, 2013).

RCTs의 비뚤림 위험을 평가하는 것은 체계적 검토 같은 중재의 효과를 알아보기 위한 연구들의 필수 요소다(Sterne 등, 2019). RCTs의 비뚤림 위험을 평가하는 도구들 중에서 코크란의 비뚤림 위험(Risk of Bias, RoB) 도구를 일반적으로 사용해 왔다. 하지만 코크란은 최근 RCTs에서 비뚤림이 어떻게 발생하는지 파악하고 도구 사용자의 피드백을 받고 그 한계를 해결하기 위해 RoB2 도구를 개발했다. RCTs의 비뚤림 위험을 평가하기 위한 도구인 RoB2는 코크란 및 여러 체계적 검토에서 많이 사용되고 있으며, 구글 학술검색에 40,000번 이상 인용되었다(Sterne 등, 2019).

RoB2는 무작위 배정 과정에서 발생하는 비뚤림, 의도한 중재에서 이탈로 인한 비뚤림, 중재결과 자료의 결측으로 인한 비뚤림, 중재결과 측정의 비뚤림, 보고된 연구결과 선택의 비뚤림 총 5가지의 비뚤림 위험 영역으로 구성되어 있다. RoB2를 이용하는 평가자는 영역별로 질문에 응답하여 ”높음 (High)”, “일부 우려 (Unclear)”, “낮음 (Low)”으로 RCTs의 비뚤림 위험을 평가한다(Sterne 등, 2019).

Dechartres 등(2017)의 연구에서는 2011~2014년 사이에 출판된 코크란의 RCTs 논문을 대상으로 RoB의 일부 영역을 평가하였는데, 시간이 지나면서 무작위 순서 생성과 배정 순서 은폐 등 일부 영역의 비뚤림이 감소됐지만 그 외의 다른 영역과 저널 간의 비뚤림 차이가 있었다고 보고하였다. Vinkers 등(2021)의 연구에서는 1966년부터 2018년도까지의 RCTs의 논문을 평가하여 RCTs에 대한 방법론적 품질이 수십년간 방법론적 품질이 점진적으로 개선되고 있다고 하였다. 이윤재 등(2011)의 연구에서는 한의학과 관련된 130편의 RCTs 논문을 RoB를 사용해 평가하였으며 한의학 임상연구가 양적으로는 성장하고 있지만 연구 설계와 연구결과 보고에 힘을 기울여 연구의 질적 성장이 필요하다고 하였다. 또한 (Olivo S 등2015; 김형근, 2022)의 연구에서는 물리치료 중재를 적용한 RCTs의 무작위 배정과 배정 순서 은폐에 대한 비뚤림을 평가하였으며 Moseley 등(2019)의 연구에서는 RoB와 PEDro (Physiotherapy Evidence Database, PEDro) 도구를 통해 물리치료 중재를 적용한 RCTs의 비뚤림을 평가하고 일치도를 비교하였다.

이처럼 다양한 분야의 RCTs와 외국의 물리치료 중재를 적용한 RCTs의 비뚤림을 평가하는 연구는 있었지만 아직 RoB2를 사용하여 한국 물리치료학회지 RCTs의 비뚤림을 평가한 연구는 부족한 실정이다. 따라서, 본 연구는 2018년도부터 2022년도 까지의 한국 물리치료 학회지 RCTs를 대상으로 RoB2를 통해 비뚤림 위험을 평가하였다.

Ⅱ. 연구방법

2. 질 평가 도구 및 방법

RCTs의 질 평가를 위해 RoB2 가이드라인(Sterne 등, 2019)을 참고하여 한국 물리치료학회지 RCTs를 대상으로 비뚤림 위험을 평가하였다. RoB2는 무작위 배정 과정, 의도한 중재에서 이탈, 중재결과 자료의 결측, 중재결과 측정, 보고된 연구결과 선택의 비뚤림 위험 총 5가지 항목으로 구성되어 있다<Table 1>.

Table 1.

Cochrane ROB 2.0 tool

Ⅲ. 결 과

1. 일반적 특성

2018년부터 2022년까지 등재지 후보 이상의 한국 물리치료 학회지 11곳에서 선정 기준을 만족한 논문은 대한물리치료학회 84개, 물리치료재활과학회 70개, 대한고유수용성신경근촉진법학회 78개, 국제물리치료학회 68개, 근골격계과학기술학회지 6개, 대한물리의학회 116개, 대한물리치료과학회 49개, 대한심장호흡물리치료학회 12개, 대한정형도수물리치료학회 62개, 한국스포츠물리치료학회 41개, 한국전문물리치료학회 30개로 총 616개의 논문이 포함되었다(Figure 1).

Figure 1.

RCTs published in Korean physical therapy journals

2. 무작위 배정 과정에서 생기는 비뚤림 위험

2018년부터 2022년까지 총 616개 논문의 무작위 배정 과정에서 생기는 비뚤림 위험의 분석 결과 높은 위험의 비율이 555(90.1%)로 가장 높았으며 그 다음 낮은 위험 41(6.7%), 일부 우려 20(3.2%) 순으로 높았다(Figure 2).

Figure 2.

Risk of bias arising from the randomization process

3. 의도한 중재에서 이탈로 인한 비뚤림 위험

2018년도부터 2022년까지 총 616개 논문의 연도에 따른 의도한 중재에서 이탈로 인한 비뚤림 위험 분석 결과 비율의 순위는 일부 우려의 비율이 390(63.3%)로 가장 높았으며, 높은 위험 218(35.4%), 낮은 위험 8(1.3%) 순으로 높았다(Figure 3).

Figure 3.

Risk of bias due to deviations from the intended interventions

4. 중재결과 자료의 결측으로 인한 비뚤림 위험

2018년도부터 2022년까지 총 616개 논문의 중재결과 자료의 결측으로 인한 비뚤림 분석 결과 낮은 위험의 비율이 399(64.8%)로 가장 높았으며 그 다음 순으로 높은 위험 159(25.8%), 일부 우려 58(9.4%) 순으로 높았다(Figure 4).

Figure 4.

Risk of bias due to missing outcome data

5. 중재결과 측정의 비뚤림 위험

2018년부터 2022년까지 총 616개 논문의 중재결과 측정의 비뚤림 위험 분석 결과 높은 위험의 비율이 294(47.7%)로 가장 높았으며 낮은 위험 224(36.4%), 일부 우려 98(15.9%) 순으로 높았다(Figure 5).

Figure 5.

Risk of bias in measurement of the outcome

6. 보고된 연구결과 선택의 비뚤림 위험

2018년도부터 2022년까지 총 616개 논문의 보고된 연구결과 선택의 비뚤림 위험의 분석 결과 높은 위험의 비율이 610(99%)로 가장 높았으며 낮은 위험 4(0.7%), 일부 우려 2(0.3%) 순으로 높았다(Figure 6).

Figure 6.

Risk of bias in selection of the reported result

Ⅳ. 논 의

본 연구는 RoB2 도구를 사용하여 한국 물리치료 학회지에 개제된 616개의 RCTs 비뚤림 위험을 평가하였다. 비뚤림 위험의 높은 위험 비율이 가장 높은 영역은 무작위 배정 과정에서 생기는 비뚤림, 중재결과 측정의 비뚤림, 보고된 연구결과 선택의 비뚤림 위험이었다.

본 연구의 무작위 배정 과정에서 생기는 비뚤림 위험 평가 결과 555(90.1%)개의 RCTs에서 높은 위험으로 평가되었다. 대부분의 연구에서 배정 순서 은폐에 관한 내용을 보고하지 않아 비뚤림 위험을 높은 위험으로 평가하였으며, 무작위 배정 방법과 배정 순서 은폐에 관한 내용을 상세히 보고한 연구는 41(6.7%)개였다. Olivo 등(2015)의 연구에서는 코크란 RCTs 물리치료 연구에서 무작위 배정과 배정 순서 은폐를 모두 보고한 연구는 8.9%에 불과하다고 하였으며, 이는 본 연구와 비슷한 수치이다. 무작위 배정은 임상 시험 설계의 핵심이며 선택 비뚤림 제거, 두 그룹 간 중재 요인에 대한 근거 확인, 참가자 또는 중재자의 눈가림에 도움이 된다(Endres과 Badura, 2012). 또한 배정 순서 은폐가 올바르지 않을 경우 치료 효과를 과대평가하게 된다(Olivo 등, 2015). 연구자는 RCTs의 질을 높이기 위해서는 무작위 배정에 대한 과정을 상세히 작성해야 하고 입원 순서, 환자의 생일 같이 예측할 수 있는 방법이 아닌 난수표 또는 컴퓨터 프로그램을 사용해 무작위 배정을 할 필요가 있다. 또한 그룹을 분배할 때는 밀봉된 봉투 또는 제삼자의 개입을 통해 배정 순서를 은폐해야 한다.

중재결과 측정의 비뚤림 위험 평가 결과 294(47.7%)개의 RCTs에서 높은 위험으로 평가되었으며, 결과 측정자의 눈가림 또는 중재 지식이 결과 평가에 영향을 미치지 않는 경우는 224(34.6%)개였다. Kahan 등(2015)의 연구에서는 미국 의학 저널의 RCTs를 대상으로 결과 측정자의 눈가림을 평가하였는데 RCTs의 74%가 눈가림에 대한 정보가 부족하다고 하였다. 이러한 선행연구와의 차이는 RoB2는 결과 측정자의 눈가림이 되지 않더라도 중재 지식이 결과 측정에 미치지 않는 경우 낮은 위험으로 평가되기 때문이라 사료된다. 결과 평가자의 눈가림을 제대로 하지 않았을 경우 치료 효과 평가에 대한 비뚤림이 발생할 수 있다(Hróbjartsson, 2012; Hróbjartsson, 2013). 그렇기 때문에 연구자는 자신의 연구 결과를 측정할 때 결과 측정자의 눈가림에 대한 정보를 작성해야 하고 눈가림이 되지 않았다면 판단을 수반하지 않는 결과 측정 방법을 사용해 비뚤림 위험을 최소화해야 한다.

보고된 연구 결과 선택의 비뚤림 위험 평가 결과 610(99%)개의 RCTs에서 높은 위험으로 평가되었다. Scott 등(2015)의 연구에서는 임상 시험 등록이 의무화 되어있는 정신의학 학회지를 대상으로 사전 임상시험 등록 정보와 내용 변경에 대한 연구를 진행하였다. 그 결과 33.1%의 연구에서 사전 등록되었으며 14.4%의 연구가 사전 등록된 내용의 변경이 없었다고 보고하였다. 본 연구의 99%의 RCTs는 사전 임상시험 등록에 대한 정보가 제공되지 않았다. 국제 의학 저널 편집자 위원회 (International Committee of Medical Journal editors, ICMJE)는 2005년부터 연구를 시작하기 전에 임상시험을 등록할 필요가 있으며, 학회지의 출판 조건으로 임상시험 등록을 요구하였다(Angelis 등, 2004). 하지만 한국 물리치료학회지는 아직 임상시험 사전 등록이 의무화가 아니다. 한국에도 임상시험을 사전 등록할 수 있는 임상연구정보서비스 (Clinical Research information Service, CRIS)가 있으며 연구자들은 연구를 진행할 때 연구 정보를 미리 등록하여 연구 결과 선택의 비뚤림 위험을 최소화해야 한다.

비뚤림 위험 중 일부 우려의 비율이 가장 높은 영역은 의도한 중재에서 이탈로 인한 비뚤림 위험이었다. 390(63.3%)개의 RCTs가 일부 우려로 평가되었으며, 이중 눈가림과 중재 배정효과 추정에 적절한 분석을 한 연구는 8(1.3%)개였다. Cho 등(2019)의 미국심장학회의 지침을 참조한 RCTs를 대상으로 한 연구에서는 78%의 연구에서 참가자 또는 관계자의 눈가림이 되어있지 않다고 하였으며, 그 이유로 전체 RCTs 논문 중에서 13%만이 약물을 이용한 실험이기 때문이라 하였다. 이와 마찬가지로 물리치료학회지 RCTs 대부분은 약물을 사용하지 않는 운동 또는 치료 중재 위주인 연구이기 때문에 이중 눈가림에 어려움이 있었을 것으로 사료된다. 연구자는 이중 눈가림이 어려울 경우 임상 시험적 맥락 때문에 의도한 중재에서 이탈이 있었는지 근거를 제시하여 비뚤림 위험을 최소화해야 한다.

비뚤림 위험 중 낮은 위험의 비율이 가장 높은 영역은 중재결과 자료의 결측으로 인한 비뚤림 위험이었다. 399(64.8%)개의 RCTs 연구에서 탈락자가 없거나 연구 결과에 영향을 미치지 않을 정도로 적어 비뚤림 발생이 낮음으로 평가되었다. Dechartres 등(2017)의 코크란 RCTs를 대상으로 한 연구에서 불완전한 결과 자료 영역에서 58.2%의 연구가 낮은 위험으로 평가하였으며 이는 본 연구와 비슷한 수치였다. Auleley 등(2004)의 연구에서는 탈락자들의 누락된 값이 비뚤림을 초래하고 표본 크기에 큰 변화를 초래할 수 있다고 하였다. 연구자는 연구에서 대상자가 이탈이 발생할 경우 누락된 값이 연구 결과에 영향을 미치지 않는다는 근거를 연구에 제시해 비뚤림 위험을 최소화해야 한다.

본 연구의 제한점은 물리치료 학회지의 RCTs는 대부분 재활 또는 운동 치료와 관련된 연구였으며, 그 외 다른 학술지의 재활 또는 운동 치료와 관련된 RCTs는 포함하지 못하였다. 후속 연구에서는 물리치료학회지뿐만 아니라 더 넓고 다양한 분야의 학회지를 포함하여 재활 또는 운동치료와 관련된 RCTs의 비뚤림 위험을 평가할 필요가 있다.

Ⅴ. 결 론

본 연구는 RoB 2 도구를 사용해 한국 물리치료학회지 RCTs의 비뚤림 위험을 평가하였다. 총 616개 RCTs를 5가지 비뚤림 영역을 평가한 결과 높은 위험의 비율이 가장 높은 영역은 무작위 배정 과정, 중재결과 측정, 보고된 연구 결과 선택 영역이었다. 일부 우려의 비율이 가장 높은 영역은 의도한 중재에서 이탈 영역이었다. 낮은 위험의 비율이 가장 높은 영역은 중재결과 자료의 결측 영역이었다. 본 연구를 통해 한국 물리치료학회지 RCTs의 비뚤림 위험은 대부분 높았으며 연구의 방법론적인 품질 개선을 위해 연구자는 연구 설계를 철저히 준비할 필요가 있으며 학회에서는 엄격한 논문 투고 규정을 통해 연구의 질을 높일 필요가 있다.

References

• 김형근, 하현근, 배영현. 물리치료 기술 개발 방향 정립을 위한 세부 연구 분야 우선순위 도출. 대한물리치료과학회지. 2022;29(1):15-29.
• 이윤재, 장보형, 고호연, 등. 한의학 관련 무작위배정비교임상연구의 비뚤림 위험 평가. 대한한방부인과학회지 2011;24(4):105-113.
• Angelis CD, Drazen JM, Frizelle FA, et al. Clinical trial registration: a statement from the International Committee of Medical Journal Editors. Lancet 2004;364(9438):911-912. [https://doi.org/10.1016/S0140-6736(04)17034-7]
• Armijo-Olivo S, Saltaji H, da Costa BR, et al. What is the influence of randomisation sequence generation and allocation concealment on treatment effects of physical therapy trials? A meta-epidemiological study. BMJ Open 2015;5(9):e008562. [https://doi.org/10.1136/bmjopen-2015-008562]
• Auleley GR, Giraudeau B, Baron G, et al. The methods for handling missing data in clinical trials influence sample size requirements. J Clin Epidemiol 2004;57(5):447-453. [https://doi.org/10.1016/j.jclinepi.2003.09.012]
• Bhide A, Shah PS, Acharya G. A simplified guide to randomized controlled trials. Acta Obstet Gynecol Scand 2018;97(4):380-387. [https://doi.org/10.1111/aogs.13309]
• Cho Y, Kim C, Kang B. Risk of bias assessment of randomised controlled trials referenced in the 2015 American Heart Association guidelines update for cardiopulmonary resuscitation and emergency cardiovascular care: a cross-sectional review. BMJ Open 2019;9(5):e023725. [https://doi.org/10.1136/bmjopen-2018-023725]
• Dechartres A, Trinquart L, Atal I, et al. Evolution of poor reporting and inadequate methods over time in 20 920 randomised controlled trials included in Cochrane reviews: research on research study. BMJ 2017;357:j2490. [https://doi.org/10.1136/bmj.j2490]
• Endres S, Badura A. Shield kyphoplasty through a unipedicular approach compared to vertebroplasty and balloon kyphoplasty in osteoporotic thoracolumbar fracture: a prospective randomized study. Orthop Traumatol Surg Res 2012;98(3):334-340. [https://doi.org/10.1016/j.otsr.2011.11.010]
• Gardenier JS, Resnik DB. The misuse of statistics: concepts, tools, and a research agenda. Account Res 2002;9(2):65-74. [https://doi.org/10.1080/08989620212968]
• Hariton E, Locascio JJ. Randomised controlled trials - the gold standard for effectiveness research: Study design: randomised controlled trials. BJOG 2018;125(13):1716. [https://doi.org/10.1111/1471-0528.15199]
• Hróbjartsson A, Thomsen AS, Emanuelsson F, et al. Observer bias in randomised clinical trials with binary outcomes: systematic review of trials with both blinded and non-blinded outcome assessors. BMJ 2012;344:e1119. [https://doi.org/10.1136/bmj.e1119]
• Hróbjartsson A, Thomsen AS, Emanuelsson F, et al. Observer bias in randomized clinical trials with measurement scale outcomes: a systematic review of trials with both blinded and nonblinded assessors. CMAJ 2013;185(4):E201-E211. [https://doi.org/10.1503/cmaj.120744]
• Kahan BC, Rehal S, Cro S. Blinded Outcome Assessment Was Infrequently Used and Poorly Reported in Open Trials. PLoS One 2015;10(6):e0131926. [https://doi.org/10.1371/journal.pone.0131926]
• Macleod MR, Michie S, Roberts I, et al. Biomedical research: increasing value, reducing waste. Lancet 2014;383(9912):101-104. [https://doi.org/10.1016/S0140-6736(13)62329-6]
• Moseley AM, Rahman P, Wells GA, et al. Agreement between the Cochrane risk of bias tool and Physiotherapy Evidence Database (PEDro) scale: A meta-epidemiological study of randomized controlled trials of physical therapy interventions. PLoS One 2019;14(9):e0222770. [https://doi.org/10.1371/journal.pone.0222770]
• Scott A, Rucklidge JJ, Mulder RT. Is Mandatory Prospective Trial Registration Working to Prevent Publication of Unregistered Trials and Selective Outcome Reporting? An Observational Study of Five Psychiatry Journals That Mandate Prospective Clinical Trial Registration. PLos One 2015;10(8):e0133718. [https://doi.org/10.1371/journal.pone.0133718]
• Simundić AM. Bias in research. Biochem Med (Zagreb) 2013;23(1):12-15. [https://doi.org/10.11613/BM.2013.003]
• Sterne JAC, Savović J, Page MJ, et al. RoB 2: a revised tool for assessing risk of bias in randomised trials. BMJ 2019;366:l4898. [https://doi.org/10.1136/bmj.l4898]
• Vinkers CH, Lamberink HJ, Tijdink JK, et al. The methodological quality of 176,620 randomized controlled trials published between 1966 and 2018 reveals a positive trend but also an urgent need for improvement. PLoS Biol 2021;19(4):e3001162. [https://doi.org/10.1371/journal.pbio.3001162]