통증이 유의하게 줄었다는데, 환자에게 중요한 기준에는 못 미쳤다

2014년 JAMA에 만성 무릎통증 환자를 대상으로 한 임상시험이 발표됐다.

연구진은 침 치료가 통증과 신체기능을 개선하는지 알아보기 위해 참가자들을 여러 집단으로 나눠 비교했다.

결과표에는 익숙한 표현이 등장했다.

통계적으로 유의한 차이.

이 말을 보면 치료효과가 확실하고 상당히 컸다고 받아들이기 쉽다.

그런데 연구결과를 해설한 JAMA의 통계 자료에는 다른 숫자가 함께 나온다.

통증에서 관찰된 치료효과는 약 0.9~1.2점이었다.

연구에서 사용한 통증척도는 0점부터 10점까지였다.

그리고 연구가 사전에 참고한 최소 임상적으로 중요한 차이(MCID)는 1.8점이었다.

통계적으로는 차이를 발견했다.

그런데 그 차이가 환자에게 중요하다고 판단하기 위해 참고한 기준에는 미치지 못했다.

‘차이가 있다’와 ‘차이가 크다’는 같은 말이 아니었다.

282명의 만성 무릎통증 환자를 비교했다

연구는 호주 빅토리아에서 진행됐다.

50세 이상이면서 중등도 이상의 만성 무릎통증이 있는 282명이 참여했다.

연구진은 바늘침, 레이저침, 가짜 레이저 치료, 그리고 침 치료를 받지 않는 대조군을 비교했다.

주요 결과는 12주 뒤의 무릎 통증과 신체기능이었다.

통증은 0점에서 10점까지의 숫자척도로 측정했다.

0점은 통증이 없는 상태이고 10점은 가장 심한 통증이다.

연구진은 이 통증척도에서 1.8점을 최소 임상적으로 중요한 차이로 설정했다.

신체기능에서는 WOMAC이라는 별도의 척도를 사용했고 중요한 차이의 기준은 6점이었다.

여기서 이미 중요한 정보가 하나 나온다.

연구진은 단순히

차이가 있는가

만 보려 한 것이 아니었다.

어느 정도의 차이라야 의미가 있는가도 미리 생각하고 있었다.

일부 비교에서는 실제로 P값이 기준을 통과했다

12주 뒤 결과를 보면 침 치료를 받지 않은 대조군과 비교했을 때 일부 결과에서 통계적으로 유의한 차이가 나타났다.

바늘침과 대조군을 비교한 통증 차이는 약 -1.1점이었다.

95% 신뢰구간은 -1.8에서 -0.4였다.

레이저침과 대조군의 통증 차이는 약 -0.8점이었다.

95% 신뢰구간은 -1.5에서 -0.1이었다.

신체기능에서도 바늘침과 대조군 사이에 약 -3.9점의 차이가 나타났다.

통계검정만 보면 일부 비교에서 차이가 확인된 것이다.

하지만 여기서 숫자를 하나 더 봐야 했다.

통증에서 중요하다고 정한 기준은 1.8점이었다.

관찰된 평균적인 차이는 그보다 작았다.

JAMA 해설은 숫자를 따로 비교했다

같은 호에 실린 JAMA의 통계 해설은 이 부분을 명확하게 짚었다.

실제 치료효과는 통증에서 약 0.9~1.2점 개선 범위였다.

그런데 통증의 최소 임상적으로 중요한 차이는 1.8점이었다.

신체기능의 실제 효과는 약 4.4~5.1점 범위였지만 중요 차이의 기준은 6점이었다.

따라서 일부 결과가 통계적으로 유의했음에도 그 차이가 환자에게 얼마나 중요한지는 별개의 문제라고 설명했다.

여기서 처음 보는 두 개념이 갈라진다.

통계적 유의성(statistical significance)

그리고

임상적 중요성(clinical importance)

둘은 같은 질문에 답하지 않는다.

P값은 효과의 크기를 알려주는 숫자가 아니다

통계적으로 유의하다는 표현은 흔히 P값과 연결된다.

예를 들어 연구자가 미리 0.05라는 기준을 정했다고 하자.

분석 결과 P값이 그보다 작으면 흔히 통계적으로 유의하다고 표현한다.

그런데 여기서 오해하기 쉬운 부분이 있다.

P값이 작다고 효과가 크다는 뜻은 아니다.

P값은 효과의 크기를 직접 측정하는 숫자가 아니다.

P<0.05라는 결과만 보고

효과가 강하다

환자가 크게 좋아진다

라고 바꾸어 읽을 수 없는 이유다.

효과가 얼마나 큰지를 알고 싶다면 실제 효과크기와 그 불확실성을 함께 봐야 한다.

0.2점 차이도 조건에 따라 유의해질 수 있다

간단한 예를 생각해보자.

두 치료를 비교했더니 통증점수가 평균적으로 0.2점 차이 났다고 하자.

환자 20명만 조사했다면 개인별 차이가 커서 통계적으로 명확한 차이를 발견하지 못할 수 있다.

그런데 수만 명을 조사한다면 상황이 달라질 수 있다.

표본이 커지면서 추정의 불확실성이 줄어들기 때문이다.

그러면 평균 0.2점이라는 작은 차이도 통계적으로 구별될 가능성이 커진다.

실제 방법론 연구에서도 표본이 충분히 커지면 작은 차이가 통계적으로 유의해질 수 있다는 점을 반복해서 지적한다.

따라서 통계적 유의성만으로 효과의 실질적인 크기를 판단해서는 안 된다.

그렇다면 1.8점은 어디에서 나온 숫자일까

여기서 또 하나의 질문이 생긴다.

왜 1.8점부터 중요하다고 정했을까.

이를 이해하려면 **MCID(Minimal Clinically Important Difference)**라는 개념을 봐야 한다.

우리말로는 최소 임상적으로 중요한 차이 정도로 옮길 수 있다.

숫자척도에서 차이가 나타났다고 해서 그 차이를 사람이 실제로 중요하게 느끼는 것은 아니다.

예를 들어 0~100점짜리 척도에서 평균 0.5점 좋아졌다고 하자.

통계적으로는 차이를 발견할 수도 있다.

하지만 환자가 자신의 상태가 실제로 좋아졌다고 느낄 정도인지는 다른 질문이다.

MCID는 이런 간격을 해석하기 위해 사용한다.

JAMA 해설에서는 해당 무릎통증 연구의 통증 MCID 1.8점이 전문가 합의 방식으로 정해졌고, 신체기능의 기준은 환자가 경험한 개선과 연결하는 방식으로 도출됐다고 설명한다.

기준보다 작으면 효과가 ‘0’이라는 뜻도 아니다

여기서 반대 방향의 오해도 피해야 한다.

관찰된 효과가 MCID보다 작았다고 해서

아무 효과도 없었다

고 자동으로 말할 수는 없다.

MCID 자체도 절대적인 자연법칙 같은 숫자는 아니다.

어떤 환자를 대상으로 하는지,

질환의 심각도가 어떤지,

어떤 측정도구를 사용하는지,

중요한 변화를 어떤 방법으로 정의했는지에 따라 달라질 수 있다.

최근 방법론 연구에서도 임상적 중요성을 평가할 때 어떤 기준을 사용할 것인지 신중하게 결정해야 한다고 강조한다.

따라서

P<0.05면 효과 있음

과

MCID보다 작으면 효과 없음

이라는 두 가지 단순한 판단 모두 조심해야 한다.

핵심은 통계적 차이와 실제 효과의 크기를 따로 보는 것이다.

신뢰구간을 보면 정보가 하나 더 생긴다

연구결과를 볼 때 P값 옆에 자주 등장하는 숫자가 있다.

95% 신뢰구간이다.

예를 들어 바늘침과 대조군의 12주 통증 차이는 약 -1.1점이었고 95% 신뢰구간은 -1.8에서 -0.4였다.

점추정치는 -1.1점이다.

하지만 실제 효과에 대한 불확실성도 존재한다.

신뢰구간은 그 불확실성을 해석하는 데 필요한 정보를 제공한다.

그래서 연구결과를 볼 때는

P<0.05

한 줄보다

효과크기 + 신뢰구간

을 함께 보는 것이 훨씬 많은 정보를 준다.

‘유의미하다’라는 번역도 오해를 만들 수 있다

한국어 기사에서 특히 조심할 표현이 있다.

통계적으로 유의미한 차이가 나타났다.

일상적인 한국어에서 유의미하다는 말은 흔히

중요하다

가치가 있다

의미가 크다

라는 느낌을 준다.

하지만 통계에서 statistically significant라고 표현할 때의 의미와 일상어의 중요하다는 같은 개념이 아니다.

그래서 통계적으로 유의했다는 문장을 읽을 때 머릿속에서

중요한 효과가 확인됐다

로 자동 번역하면 안 된다.

먼저 실제 차이가 얼마인지 확인해야 한다.

효과크기를 보지 않으면 작은 차이가 크게 느껴진다

두 집단의 평균이 다르다는 사실만으로는 부족하다.

얼마나 다른지가 중요하다.

통증점수가 10점 만점에서 0.1점 달라진 것인지,

1점 달라진 것인지,

5점 달라진 것인지에 따라 실제 의미는 전혀 다르다.

같은 원리가 의학 밖에서도 적용된다.

교육 프로그램의 시험점수가 통계적으로 유의하게 올랐다고 하자.

평균 몇 점 올랐는지 확인해야 한다.

새로운 웹사이트 디자인이 구매율을 통계적으로 유의하게 높였다고 하자.

구매율이 10.0%에서 10.1%가 된 것인지 10%에서 15%가 된 것인지 확인해야 한다.

통계적 유의성은 이 차이를 대신 설명해주지 않는다.

표본이 크면 작은 차이도 잡아낼 수 있다

왜 이런 일이 생기는지 이해하려면 표본 크기를 함께 봐야 한다.

통계검정은 관찰된 차이뿐 아니라 자료의 변동성과 표본 크기의 영향을 받는다.

같은 크기의 효과라도 표본이 작으면 불확실성이 커질 수 있다.

표본이 커지면 더 작은 차이를 구별할 능력이 생긴다.

이 때문에 대규모 연구에서는 실제로 매우 작은 차이도 통계적으로 유의하게 나타날 수 있다.

반대로 표본이 너무 작은 연구에서는 실제로 중요한 크기의 차이가 있어도 통계적 유의성 기준을 넘지 못할 수 있다.

따라서

유의하지 않았다 = 차이가 전혀 없다

라고 단정하는 것도 조심해야 한다.

실제 연구 500편을 조사해도 둘은 항상 일치하지 않았다

이 문제가 단순한 통계 교과서 속 이야기는 아니다.

2025년 발표된 방법론 연구에서는 2018~2022년에 발표된 두 집단 3상 무작위 대조시험 500편을 조사했다.

임상적 중요성을 분류할 정보가 충분했던 연구는 308편이었다.

이 가운데 **63편, 약 20.5%**에서 통계적 유의성과 임상적 중요성이 서로 어긋나는 것으로 분류됐다.

일부는 통계적으로 유의했지만 사전에 설정한 임상적으로 중요한 효과 기준에는 미치지 못했다.

반대로 임상적으로 중요할 가능성이 있는 효과가 있었지만 통계적 유의성에 도달하지 못한 연구도 있었다.

연구진 역시 임상시험 결과를 해석할 때 통계적 유의성뿐 아니라 임상적 중요성을 함께 고려해야 한다고 결론 내렸다.

숫자를 볼 때 질문을 두 개로 나눈다

이제 논문에서 통계적으로 유의했다는 문장을 발견하면 질문을 두 개로 나눌 수 있다.

첫 번째 질문.

“우연만으로 설명하기 어려운 차이를 발견했는가?”

통계검정과 P값이 이 질문과 관련돼 있다.

그리고 두 번째 질문.

“그래서 실제 차이는 얼마나 큰가?”

효과크기, 실제 발생률 차이, 평균 차이, 신뢰구간 등이 이 질문에 필요하다.

의료연구라면 한 가지가 더 붙을 수 있다.

“그 정도 차이를 환자가 중요하게 느끼는가?”

이 질문에는 MCID 같은 기준이 사용될 수 있다.

세 질문은 서로 대신할 수 없다.

논문 초록에서도 숫자를 끝까지 읽는다

논문 초록에는 결과가 압축돼 있다.

그래서 statistically significant라는 표현만 눈에 들어오기 쉽다.

하지만 그 옆 숫자를 본다.

평균 차이는 얼마인가.

위험 차이는 얼마인가.

95% 신뢰구간은 어디에서 어디까지인가.

사전에 중요한 효과의 기준을 정했다면 얼마인가.

그다음 결론을 읽는다.

이렇게 보면 유의했다라는 한 단어가 결과 전체를 대신하지 못하게 된다.

이번 글에서 확인한 판별 기준

논문에서 통계적으로 유의하다는 표현을 발견하면 그것을 효과가 크다로 바꾸어 읽지 않는다.

P값을 확인한 다음 실제 효과크기를 찾는다.

평균이 몇 점 차이 나는지 확인한다.

비율이라면 실제로 몇 퍼센트포인트 차이인지 본다.

95% 신뢰구간도 함께 확인한다.

의료연구에서 MCID처럼 사전에 제시된 중요한 차이의 기준이 있다면 실제 효과와 비교한다.

그리고 표본 크기도 확인한다.

큰 연구에서는 작은 차이도 통계적으로 구별될 수 있기 때문이다.

2014년 만성 무릎통증 임상시험에서는 일부 비교에서 통계적으로 유의한 차이가 나타났다.

하지만 JAMA의 통계 해설이 주목한 것은 그다음 숫자였다.

통증 개선폭은 약 0.9~1.2점.

중요한 차이의 기준은 1.8점.

통계가 말한 것은 차이를 발견했다는 것이었다.

그 숫자가 얼마나 중요한지는 한 번 더 확인해야 했다.

참고한 자료

JAMA – Acupuncture for Chronic Knee Pain: A Randomized Clinical Trial
https://jamanetwork.com/journals/jama/fullarticle/1910110

PubMed – Acupuncture for chronic knee pain: a randomized clinical trial
https://pubmed.ncbi.nlm.nih.gov/25268438/

JAMA – Minimal Clinically Important Difference: Defining What Really Matters to Patients
https://jamanetwork.com/journals/jama/fullarticle/1910090

Journal of Clinical Epidemiology – The minimal clinically important difference raised the significance of outcome effects above the statistical level
https://pubmed.ncbi.nlm.nih.gov/27986610/

BMJ – Disparity between statistical significance and clinical importance in published randomised controlled trials
https://pmc.ncbi.nlm.nih.gov/articles/PMC12414192/