탄산음료를 많이 마시면 폭력적이 된다? 논문 원문을 열자 결론이 달랐다
2011년 10월, 청소년과 탄산음료를 다룬 연구 하나가 발표됐다.
내용은 상당히 눈길을 끌었다.
탄산음료를 많이 마시는 청소년일수록 무기를 소지하거나 다른 사람에게 폭력을 행사하는 비율이 높았다는 것이다.
연구 결과를 짧게 줄이면 이런 이야기가 된다.
탄산음료를 많이 마시면 청소년이 더 폭력적으로 변한다.
실제로 당시 일부 보도에서는 탄산음료와 폭력의 관계가 이런 식의 인과관계처럼 전달됐다.
그런데 연구 논문의 제목부터 다시 읽어보니 조금 달랐다.
논문 제목에는 cause, 즉 원인이라는 말이 없었다.
대신 relationship, 관계라는 표현이 사용돼 있었다.
그래서 논문 원문까지 내려가 봤다.
기사에서 느꼈던 것보다 연구자들의 결론은 훨씬 조심스러웠다.
연구가 실제로 한 일부터 확인해봤다
연구는 학술지 「Injury Prevention」에 실렸다.
제목은
「The ‘Twinkie Defense’: the relationship between carbonated non-diet soft drinks and violence perpetration among Boston high school students」
였다.
연구진은 보스턴 공립고등학교 학생들을 대상으로 설문조사를 실시했다.
학생들에게 일반 탄산음료를 얼마나 자주 마시는지 물었다.
그리고 무기를 소지한 경험이나 또래·가족·데이트 상대와의 폭력 행동 등에 대해서도 조사했다.
연구 결과 일주일에 탄산음료를 5캔 넘게 마시는 학생들은 그렇지 않은 학생들보다 무기를 소지하거나 폭력 행동을 했다고 답한 비율이 높았다.
연구진은 성별, 나이, 인종, 체질량지수, 수면, 흡연, 음주, 가족과의 식사 같은 여러 변수도 함께 고려했다.
그 뒤에도 탄산음료를 많이 마시는 것과 공격적인 행동 사이에는 통계적으로 강한 연관성이 남았다.
여기까지만 보면 처음 읽었던 이야기와 크게 다르지 않다.
하지만 중요한 부분은 그다음이었다.
PubMed 「The ‘Twinkie Defense’」
논문의 결론에는 두 가지 가능성이 함께 적혀 있었다
논문 초록의 결론을 확인해봤다.
연구진이 확인했다고 말한 것은 탄산음료와 폭력 사이의 강한 연관성이었다.
그리고 왜 이런 관계가 나타났는지에 대해서는 두 가지 가능성을 제시했다.
하나는 탄산음료의 설탕이나 카페인 등이 직접 영향을 미쳤을 가능성이다.
하지만 바로 다른 가능성도 언급한다.
연구에서 고려하지 못한 다른 요인이 탄산음료 섭취와 공격 행동을 동시에 증가시켰을 수도 있다는 것이다.
이 두 번째 가능성이 중요하다.
연구진도 자신들의 결과만으로
탄산음료 → 폭력
이라는 원인과 결과의 화살표를 확정하지 않았다는 뜻이기 때문이다.
논문이 실제로 확인한 것은
탄산음료를 많이 마시는 학생들에게서 폭력 행동도 더 많이 관찰됐다
는 관계였다.
두 문장은 비슷하게 들리지만 같은 말이 아니다.
‘함께 나타났다’와 ‘원인이었다’ 사이에는 한 단계가 더 있었다
예를 들어 잠을 적게 자는 학생들에게서 에너지음료 섭취가 많았다고 해보자.
이것만으로
에너지음료 때문에 잠을 적게 잔다
고 결론 내릴 수 있을까.
그럴 가능성은 있다.
하지만 반대 방향도 생각할 수 있다.
잠이 부족하기 때문에 에너지음료를 더 마셨을 수도 있다.
시험기간이라는 세 번째 요인이 잠을 줄이고 에너지음료 섭취를 동시에 늘렸을 수도 있다.
관찰된 두 현상 사이에 관계가 있다고 해서 어느 쪽이 원인인지는 그것만으로 결정되지 않는다.
탄산음료 연구도 비슷했다.
탄산음료를 많이 마시는 학생들에게 폭력 행동이 더 많이 나타났다는 결과는 확인됐다.
하지만 그것만으로 탄산음료가 그 행동을 발생시켰다고 확정할 수는 없었다.
연구 방법을 보면 그 이유가 더 분명해진다.
연구진이 학생들에게 탄산음료를 강제로 많이 마시게 한 뒤 폭력 행동이 증가하는지 실험한 것이 아니다.
학생들의 탄산음료 섭취와 행동을 설문으로 조사한 뒤 두 변수 사이의 관계를 분석했다.
따라서 관찰되지 않은 다른 차이가 결과에 영향을 미쳤을 가능성을 완전히 제거하기 어렵다.
그런데 기사에서는 화살표가 생겼다
당시 이 연구의 보도를 살펴본 Columbia Journalism Review는 바로 이 문제를 지적했다.
연구는 탄산음료와 폭력 행동 사이의 association, 즉 연관성을 발견했지만 일부 언론 보도에서는 탄산음료가 폭력 행동을 일으키는 것처럼 전달됐다는 것이다.
연구 결과가 기사로 옮겨지는 과정에서
A와 B가 함께 나타났다
가
A가 B를 일으킨다
로 바뀐 셈이다.
Columbia Journalism Review 「Soda Scare」
여기서 처음 제목을 읽었을 때와 논문을 읽은 뒤의 느낌이 달라졌다.
연구 결과 자체가 사라진 것은 아니다.
탄산음료 섭취량과 공격 행동 사이의 연관성은 연구에서 실제로 관찰됐다.
문제는 그 결과에서 어디까지 말할 수 있느냐였다.
숫자가 정확해도 결론이 달라질 수 있었다
이런 기사에서 숫자부터 검증하고 싶은 생각이 든다.
학생 수는 맞는가.
탄산음료 5캔이라는 기준은 맞는가.
폭력 행동의 차이는 실제로 통계적으로 유의했는가.
이번 연구에서는 이런 숫자들이 논문에 실제로 존재한다.
일주일에 탄산음료를 5캔 넘게 마신 학생들은 표본의 약 30%였고, 탄산음료를 자주 마시는 것은 공격 행동을 할 확률이 9~15%포인트 높은 것과 연관돼 있었다.
숫자를 정확하게 옮겨도 문제가 생길 수 있다는 뜻이다.
왜냐하면 숫자 뒤에 붙이는 동사가 달라질 수 있기 때문이다.
관련이 있었다.
높게 나타났다.
영향을 주었다.
증가시켰다.
원인이었다.
겉으로 보면 비슷한 문장이지만 연구 결과를 얼마나 강하게 해석하느냐는 크게 다르다.
그래서 연구기사를 확인할 때 숫자만 원문과 맞춰보는 것으로는 부족하다.
기사의 결론과 논문의 결론도 함께 비교해야 한다.
제목보다 먼저 논문의 ‘목적’을 봐도 단서가 나온다
논문 초록에는 보통 연구 목적이 나온다.
이번 논문의 목적은 탄산음료가 폭력을 일으키는지 증명한다가 아니었다.
탄산음료 섭취와 폭력 행동 사이의 연관성을 조사하는 것이었다.
연구 방법도 그 목적에 맞춰 설계됐다.
학생들의 탄산음료 섭취량과 폭력 행동을 조사해 두 현상의 관계를 분석했다.
이렇게 원문의 연구 목적과 방법을 먼저 확인하면 기사의 강한 표현을 판단하기가 조금 쉬워진다.
기사 제목에는
~가 위험을 높인다
~가 질병을 일으킨다
~하면 수명이 늘어난다
같은 표현이 등장할 수 있다.
그럴 때 논문에서 먼저 찾아볼 단어는 오히려
association
relationship
associated with
같은 표현일 수 있다.
이 단어들이 있다고 해서 인과관계가 절대로 없다는 뜻은 아니다.
다만 그 연구 하나가 실제로 어디까지 확인했는지를 구분하는 단서가 된다.
그렇다고 탄산음료와 폭력은 아무 관계도 없다고 말할 수도 없다
여기서 반대로 너무 멀리 가면 또 문제가 생긴다.
이 연구가 인과관계를 증명하지 못했다는 이유로
“탄산음료와 폭력은 아무 관계도 없다.”
라고 결론 내릴 수도 없다.
그것 역시 논문이 말한 내용이 아니다.
연구에서 두 현상 사이의 통계적 연관성은 실제로 관찰됐다.
다만 왜 그런 관계가 나타났는지를 이 연구만으로 확정할 수 없다는 것이다.
따라서 이번 연구에서 말할 수 있는 범위는 대략 여기까지다.
보스턴 공립고등학교 학생 표본에서 탄산음료 섭취량이 많은 학생들에게 폭력 행동이 더 많이 관찰됐다.
그리고 그 이유가 탄산음료 자체 때문인지, 다른 요인 때문인지, 또는 여러 요인이 함께 작용한 것인지는 추가 연구가 필요하다.
이렇게 적으면 처음의 강한 문장보다 훨씬 답답해 보인다.
하지만 연구 결과를 정확하게 전달하려면 그 답답함을 남겨두는 것이 맞다.
연구기사는 논문 제목보다 결론 부분을 먼저 확인한다
학술논문 전체를 처음부터 끝까지 읽는 것은 쉽지 않다.
전문 분야가 아니라면 방법론이나 통계 분석을 모두 이해하기도 어렵다.
그렇다고 연구기사를 검증할 때마다 논문 전체를 완벽하게 해석해야 하는 것은 아니다.
이번 사례를 따라가 보니 우선 확인할 곳은 비교적 분명했다.
먼저 기사에서 가장 강한 주장 한 문장을 찾는다.
예를 들면
탄산음료가 청소년을 폭력적으로 만든다
같은 문장이다.
그다음 원 논문을 찾는다.
논문의 제목만 보고 끝내지 않고 초록의 **목적(Objective), 연구방법(Methods), 결론(Conclusions)**을 확인한다.
그리고 기사 문장과 논문 결론을 나란히 놓는다.
이번에는 차이가 바로 보였다.
기사에서 읽힐 수 있는 메시지:
탄산음료 → 폭력 행동
논문이 확인한 결과:
탄산음료 섭취와 폭력 행동 사이에 강한 연관성이 관찰됨
논문이 남겨둔 가능성:
직접적인 인과관계일 수도 있지만, 측정하지 못한 다른 요인이 두 현상을 함께 설명할 수도 있음
마지막 문장이 사라지면 연구 결과가 훨씬 확정적인 사실처럼 변한다.
이런 문제는 한 기사에만 있었던 것이 아니다
과학·건강 연구가 보도로 옮겨지는 과정에서 인과관계가 강해지는 현상은 이후 연구에서도 조사됐다.
영국 대학들의 보도자료와 관련 뉴스기사를 분석한 연구에서는 상관관계 연구를 인과관계처럼 표현하는 과장이 관찰됐고, 보도자료에 과장된 인과 표현이 있을 경우 뉴스에도 비슷한 과장이 나타나는 경향이 확인됐다.
즉 항상 기자가 논문을 잘못 읽어서 생기는 문제라고 단순화하기도 어렵다.
연구기관의 보도자료 단계에서 이미 표현이 강해질 수도 있다.
반대로 모든 과학기사가 논문보다 과장된다는 것도 맞지 않는다.
후속 연구 중에는 과학기사가 논문보다 오히려 불확실성을 더 강하게 표현하는 경향을 발견한 연구도 있다.
중요한 것은 언론은 과장한다라는 새로운 고정관념을 만드는 것이 아니다.
내가 읽고 있는 그 기사와 그 논문을 직접 비교하는 것이다.
이제 ‘연구 결과’라는 말 다음에 한 번 더 내려가 본다
예전에는 기사에
“연구 결과 밝혀졌다”
라는 문장이 있으면 그 뒤의 내용을 논문의 결론이라고 생각하기 쉬웠다.
하지만 연구 결과가 기사에 실리는 동안 몇 단계가 존재한다.
논문이 있다.
연구기관이나 학술지가 보도자료를 낼 수 있다.
기자가 그 내용을 기사로 옮긴다.
제목을 붙인다.
SNS나 포털에서는 제목이 다시 짧아진다.
각 단계를 지날 때마다 연구가 가진 조건과 불확실성이 하나씩 떨어져 나갈 수 있다.
그래서 연구기사를 볼 때 출처에 유명 대학이나 학술지 이름이 적혀 있다는 것만으로 끝내지 않으려고 한다.
그 연구의 원문 제목을 찾고, 초록의 결론까지 한 번 내려가 본다.
그리고 기사에서 가장 강한 문장과 비교한다.
둘이 같은 강도로 말하고 있는지 확인한다.
탄산음료 연구에서 숫자는 실제로 존재했다.
연관성도 실제로 발견됐다.
하지만 원문에는 끝까지 남아 있던 질문이 있었다.
탄산음료가 폭력의 원인이었을까, 아니면 우리가 측정하지 못한 다른 요인이 둘을 함께 움직였을까.
기사에서 그 질문이 사라지는 순간 연구가 말한 것보다 결론은 훨씬 강해졌다.
그래서 앞으로 연구 결과 밝혀졌다는 기사를 만난다면 가장 먼저 궁금해할 것은 이것이다.
논문도 정말 같은 말을 하고 있을까?
이번 글에서 확인한 판별 기준
기사에 연구 결과라는 표현이 등장하면 가능하면 원 논문까지 찾아간다.
기사의 숫자만 확인하지 말고 논문 초록의 연구 목적·방법·결론을 기사와 대조한다.
특히 관찰연구에서 연관됐다, 관련이 있었다라는 결과가 기사에서 영향을 준다, 증가시킨다, 원인이다로 바뀌지 않았는지 확인한다.
논문이 제시한 다른 가능성이나 한계가 기사에서 빠졌는지도 살펴본다.
반대로 인과관계를 증명하지 못했다고 해서 아무 관계도 없다고 결론 내리지 않는다.
그리고 연구기사에서 가장 강한 문장을 발견하면 한 번만 더 묻는다.
“논문의 저자도 이 정도 강도로 결론을 내렸을까?”
참고한 자료
자산맥
댓글 0
첫 댓글을 남겨보세요.