제목에서는 알츠하이머 ‘돌파구’였다, 본문으로 내려가자 ‘연관성’이 나왔다
2018년 6월 한 과학뉴스의 제목을 봤다.
첫 단어부터 강했다.
“Alzheimer’s Breakthrough.”
알츠하이머 연구의 돌파구라는 뜻이다.
뒤에는 더 구체적인 설명이 붙었다.
타우 단백질의 축적이 특정 DNA 요소를 활성화하고 세포 사멸로 이어진다는 내용이었다.
제목만 읽으면 알츠하이머병에서 뇌세포가 죽는 중요한 원인이 밝혀진 것처럼 느껴진다.
실제로 연구 규모도 작아 보이지 않았다.
600개가 넘는 인간의 뇌를 조사했고 알츠하이머병 초파리 모델을 이용한 실험도 진행했다.
그런데 기사를 아래로 내려가자 표현이 조금씩 달라졌다.
돌파구였던 이야기에
가능성
연관성
~일 수 있다
라는 표현이 나타나기 시작했다.
그리고 연구자의 설명에는 결정적인 문장이 있었다.
인간의 뇌에서 확인된 것은 인과관계가 아니라 연관성이었다.
제목을 읽었을 때와 본문을 읽었을 때 연구의 강도가 달라 보이기 시작했다.
제목에서는 ‘활성화한다’고 했다
문제가 된 기사는 2018년 6월 Technology Networks에 실렸다.
제목은 다음과 같은 의미였다.
알츠하이머 연구의 돌파구: 타우 축적이 전이인자를 활성화하고 세포 사멸을 일으킨다.
breakthrough
activates
cell death
강한 단어들이 연이어 나온다.
제목만 보면 인과관계가 상당히 분명해진 연구처럼 받아들이기 쉽다.
하지만 첫 문단부터 표현이 달라진다.
새로운 증거가 타우 단백질의 축적이 알츠하이머병으로 이어질 수 있는 메커니즘을 시사한다고 설명한다.
600개가 넘는 인간 뇌와 초파리 모델을 연구한 결과 타우 단백질과 transposable elements, 즉 전이인자의 활동 사이에서 강한 연관성을 발견했다는 것이다.
전이인자는 유전체 안에서 위치를 옮기거나 복제될 수 있는 DNA 서열을 말한다.
중요한 발견인 것은 맞았다.
하지만 제목에서 받은 느낌과 첫 문단의 표현 강도에는 차이가 있었다.
조금 더 내려가자 연구자가 직접 선을 그었다
기사 중간에는 연구책임자인 베일러의대 조슈아 슐먼 교수의 설명이 나온다.
연구진은 600개가 넘는 인간의 사후 뇌 자료를 이용했다.
뇌에서 타우 단백질이 얼마나 축적돼 있는지 확인하고 전이인자가 활성화된 흔적과 비교했다.
그 결과 타우 축적량과 전이인자 활동 사이에서 강한 관계가 발견됐다.
여기까지 읽으면 다시 인과관계처럼 느껴질 수 있다.
하지만 슐먼 교수는 인간 뇌 연구 결과에 대해 중요한 제한을 직접 설명한다.
인간 뇌를 이용한 연구에서는 타우 축적과 전이인자 활성 사이의 연관성만 확인했다는 것이다.
그래서 연구진은 다음 단계로 초파리 모델을 이용했다.
인간의 관찰자료만으로는 타우 축적이 실제로 전이인자 활성화를 일으킨다고 말하기 어려웠기 때문이다.
제목에서 시작했던 이야기가 여기까지 내려오면서 훨씬 정교해졌다.
인간 뇌와 초파리 실험은 같은 증거가 아니었다
이 부분이 중요했다.
연구에는 인간 뇌 분석과 초파리 실험이 함께 들어 있었다.
인간 뇌에서는 타우 축적과 전이인자 활동 사이의 관계를 관찰했다.
하지만 이것만으로 어느 것이 어느 것을 일으켰다고 확정할 수는 없었다.
그래서 연구진은 알츠하이머병을 모사한 초파리 모델에서 타우와 관련된 변화를 유도했다.
그 결과 전이인자의 활성화가 나타났다.
연구자는 이 결과가 타우 응집이 유전체 구조를 방해하고 전이인자를 활성화할 수 있다는 가능성을 강하게 뒷받침한다고 설명했다.
하지만 초파리에서 인과 가능성을 보여준 것과 사람에게서 같은 인과관계가 확정됐다는 것은 같은 이야기가 아니다.
기사 마지막에서도 연구진은 아직 해야 할 연구가 많이 남아 있다고 밝혔다.
제목의 돌파구에서 출발해 여기까지 읽으니 연구의 실제 모습이 훨씬 구체적으로 보였다.
제목이 거짓이라고 말할 수도 없었다
그렇다고 이 기사의 제목을 단순히 거짓 제목이라고 부르는 것도 정확하지 않다.
연구에서는 실제로 타우와 전이인자 사이의 새로운 연결을 발견했다.
초파리 모델에서는 타우 변화가 전이인자 활성화와 연결되는 실험 결과도 나왔다.
연구자들은 이것이 알츠하이머병의 신경퇴행 메커니즘을 이해하는 데 중요한 단서가 될 가능성을 제시했다.
따라서 연구 자체를 별것 아닌 결과라고 축소할 이유도 없다.
문제는 증거가 적용되는 범위다.
사람에게서 관찰된 연관성.
초파리 모델에서 확인한 실험 결과.
알츠하이머병의 가능한 메커니즘.
앞으로 필요한 추가 연구.
이 네 가지가 제목 한 줄에서는 모두 보이지 않는다.
제목에서는 조건이 사라지기 쉽다
기사 제목에는 공간이 제한돼 있다.
모든 연구 조건을 넣을 수는 없다.
그래서 본문에 있던 단어가 제목에서는 사라질 수 있다.
may
might
could
associated with
suggests
이런 단어들이다.
한국어로 옮기면
~일 수 있다
가능성이 있다
관련이 있다
시사한다
정도가 된다.
겉으로 보면 작은 단어다.
하지만 과학정보에서는 이 단어 하나가 주장의 수준을 결정할 수 있다.
A와 B가 관련됐다
와
A가 B를 일으킨다
는 전혀 다른 주장이다.
실제 연구에서도 이런 변화가 조사됐다
이 문제가 특정 기사 하나에서만 나타나는지도 확인해봤다.
2014년 BMJ에는 영국 주요 대학 20곳의 생의학·건강 관련 보도자료와 논문, 이를 보도한 뉴스기사를 비교한 연구가 발표됐다.
연구진은 462개의 보도자료와 이에 연결된 668개의 뉴스기사를 조사했다.
특히 세 가지를 살펴봤다.
논문보다 강해진 건강 행동 조언.
상관관계 연구를 인과관계처럼 표현한 주장.
동물연구 결과를 사람에게 확대해 표현한 주장.
연구 결과, 조사 대상 보도자료 가운데 33%에서 논문보다 강한 인과관계 표현이 확인됐다.
그리고 보도자료에 그런 과장이 있을 때 연결된 뉴스에서도 비슷한 과장이 나타나는 경우가 많았다.
여기서도 주의할 점이 있다.
이 결과를 보고
과학기사의 33%가 거짓이다
라고 말하면 안 된다.
33%라는 수치는 연구진이 조사한 특정 보도자료 표본에서 인과관계 표현이 원 논문보다 강해진 비율이다.
모든 과학뉴스에 그대로 적용할 수 있는 숫자가 아니다.
제목만 보고 판단하면 가장 강한 문장만 남는다
기사 구조를 생각해보면 이유를 이해하기 쉽다.
제목은 가장 먼저 보인다.
검색결과에도 제목이 나온다.
SNS에 공유될 때도 제목이 가장 크게 노출된다.
반면 연구의 제한조건은 본문 중간이나 끝부분에 나오는 경우가 있다.
그래서 제목만 읽은 사람에게는
타우가 세포 사멸을 일으킨다
가 남을 수 있다.
본문을 읽은 사람에게는
인간 뇌에서는 연관성이 관찰됐고 초파리 실험에서는 인과 가능성을 뒷받침하는 결과가 나왔으며 추가 연구가 필요하다
라는 훨씬 긴 문장이 남는다.
둘의 정보량은 다를 수밖에 없다.
제목에서 강한 동사를 발견하면 본문에서 같은 동사를 찾는다
이번 사례에서 바로 써먹을 수 있는 방법이 하나 생겼다.
제목에서 가장 강한 동사를 찾는 것이다.
밝혔다
입증했다
일으킨다
막는다
치료한다
예방한다
같은 표현이다.
그다음 본문으로 내려가 같은 주장을 찾는다.
본문에서는
관련이 있었다
가능성을 제시했다
도움이 될 수 있다
추가 연구가 필요하다
로 바뀌어 있지는 않은지 본다.
표현의 강도가 내려간다면 그 지점부터 확인하면 된다.
왜 제목과 본문이 달라졌을까.
연구 방법은 무엇이었을까.
사람을 대상으로 했을까.
관찰연구였을까.
동물실험이었을까.
기사 첫 문장에서도 멈추지 않는다
제목만 피한다고 문제가 해결되는 것은 아니다.
첫 문장 역시 연구를 짧게 요약하면서 조건을 생략할 수 있다.
그래서 중요한 과학·건강 정보를 확인할 때는 최소한 연구 방법이 설명된 부분까지 내려가 보는 편이 좋다.
몇 명을 조사했는가.
무엇과 무엇을 비교했는가.
연구 대상은 누구인가.
관찰한 것인가 직접 개입한 것인가.
연구자가 어떤 한계를 밝혔는가.
이 정보가 있어야 제목에서 받은 인상을 조정할 수 있다.
반대로 제목보다 본문이 더 확실한 경우도 있을 수 있다
항상 제목이 과장되고 본문이 약한 것도 아니다.
매체에 따라 제목을 조심스럽게 쓰기도 한다.
연구 결과가 매우 강한데도 법적·의학적 이유로 제목에서는 신중한 표현을 사용할 수도 있다.
따라서
제목은 믿지 마라
가 이번 편의 결론은 아니다.
제목과 본문을 비교하라는 것이다.
두 곳의 주장 강도가 같다면 그대로 받아들이면 된다.
다르다면 왜 달라졌는지를 확인한다.
제목에서 원문까지 내려가면 표현은 여러 번 바뀔 수 있다
정보가 이동하는 경로를 생각해보자.
논문이 나온다.
대학이나 연구기관이 보도자료를 만든다.
언론사가 기사를 작성한다.
포털과 SNS에서는 다시 제목만 노출된다.
이 과정에서 한 문장이 계속 짧아진다.
조건이 빠질 수 있다.
연구 대상이 생략될 수 있다.
관련성이 효과로 바뀔 수도 있다.
그래서 중요한 정보라면 반대 방향으로 이동해보는 것이 좋다.
제목 → 기사 본문 → 보도자료 → 논문
뒤로 갈수록 처음에는 보이지 않았던 조건을 찾을 가능성이 커진다.
‘돌파구’라는 단어를 보고 한 줄 더 내려갔다
처음 본 것은 강한 제목이었다.
Alzheimer’s Breakthrough.
하지만 본문에는 suggests, may, strong link 같은 표현이 있었다.
그리고 인간 뇌 연구에 대해서는 연구자가 직접 association이라는 경계를 제시했다.
초파리 모델에서는 한 단계 더 나아간 실험 결과가 있었다.
마지막에는 아직 많은 연구가 필요하다는 설명도 남아 있었다.
연구가 중요하지 않았던 것이 아니다.
오히려 중요한 연구였기 때문에 어디까지 밝혀졌는지를 정확히 구분할 필요가 있었다.
제목 한 줄에서 멈췄다면 이 차이는 보이지 않았을 것이다.
이번 글에서 확인한 판별 기준
강한 제목을 만나면 먼저 가장 강한 단어 하나를 찾는다.
원인
치료
예방
입증
돌파구
같은 표현이다.
그다음 본문에서 같은 수준의 주장이 유지되는지 확인한다.
관련
가능성
시사
~일 수 있다
추가 연구 필요
처럼 표현이 약해진다면 연구방법과 원자료를 확인한다.
사람 대상 관찰결과와 동물실험 결과를 구분한다.
제목이 강하다는 이유만으로 기사가 거짓이라고 판단하지 않는다.
반대로 본문에 제한조건이 있다는 사실을 무시하고 제목만 연구의 결론처럼 인용하지도 않는다.
그리고 중요한 기사라면 제목에서 멈추지 않고 최소한 연구자가 자신의 결과에 어떤 선을 그었는지까지 읽어본다.
2018년 알츠하이머 연구기사에서 처음 보인 단어는
**‘돌파구’**였다.
조금 더 내려가자 다른 단어가 나왔다.
‘연관성’.
두 단어 사이에 있던 거리가 바로 제목만 읽어서는 알 수 없었던 정보였다.
참고한 자료
Zhou & Yu – Information Quality of Reddit Link Posts on Health News
자산맥
댓글 0
첫 댓글을 남겨보세요.