검색하니 같은 결론의 기사가 쏟아졌다, 원출처를 묶자 숫자가 줄었다

어떤 건강정보가 사실인지 확인하려고 검색창에 핵심 문장을 넣었다.

첫 화면부터 비슷한 제목이 이어졌다.

A 언론사도 같은 이야기를 했다.

B 언론사에도 같은 내용이 있었다.

C 사이트에도 비슷한 기사가 나왔다.

검색결과를 더 내려가자 숫자는 계속 늘어났다.

처음에는 꽤 강한 근거처럼 보인다.

한 곳에서만 주장했다면 의심했겠지만 여러 매체가 같은 내용을 보도했다.

그런데 여기서 한 가지를 확인하지 않았다.

이 기사들은 정말 서로 다른 근거를 확인한 것일까.

검색결과에 나타난 페이지 수와 독립된 근거의 수는 같은 것이 아니었다.

462개의 보도자료 뒤에서 668개의 뉴스기사가 나왔다

2014년 의학학술지 BMJ에는 과학연구가 언론보도로 전달되는 과정을 조사한 연구가 발표됐다.

연구진은 영국 주요 대학들이 2011년에 발표한 생의학·건강 관련 보도자료를 수집했다.

분석 대상은 462개였다.

그다음 각각의 보도자료와 연결된 실제 학술논문을 찾았다.

여기서 끝나지 않았다.

해당 연구를 다룬 뉴스기사도 추적했다.

확인된 뉴스기사는 668개였다.

연구진은 하나의 연구를 세 단계로 연결했다.

학술논문.

대학 보도자료.

뉴스기사.

이렇게 연결하고 나자 검색결과에서 각각 별개의 기사처럼 보이던 정보가 어디에서 시작됐는지 추적할 수 있었다.

하나의 보도자료에서 최대 10개의 뉴스기사가 연결됐다

연구방법을 자세히 보면 더 흥미로운 숫자가 나온다.

연구진은 Nexis 데이터베이스와 BBC, Reuters, Google 등을 이용해 각각의 보도자료와 연결된 뉴스기사를 찾았다.

하나의 보도자료와 연결된 뉴스기사 수는 0개에서 최대 10개였다.

여기서 중요한 것은 10이라는 숫자 자체가 아니다.

하나의 연구와 하나의 대학 보도자료가 여러 개의 뉴스기사로 확산될 수 있다는 사실이다.

검색하는 사람에게는 서로 다른 언론사의 기사 10개가 보일 수 있다.

하지만 근거의 계보를 거슬러 올라가면 상당수가 같은 논문과 같은 보도자료로 모일 수 있다.

기사 10개가 검색됐다고 독립적인 연구가 10개 있다는 뜻은 아니다.

더 중요한 것은 내용까지 함께 움직였다는 점이었다

연구진은 단순히 기사 개수만 세지 않았다.

학술논문의 표현과 대학 보도자료의 표현, 뉴스기사의 표현을 비교했다.

특히 세 가지를 살펴봤다.

연구결과보다 강한 행동 권고가 들어갔는지,

상관관계 연구를 인과관계처럼 표현했는지,

동물이나 세포 연구의 결과를 사람에게 확대해서 표현했는지 확인했다.

그 결과 보도자료 자체에서 원 논문보다 강해진 표현이 발견됐다.

행동 권고에서는 40%,

인과관계 표현에서는 33%,

사람에게 확대해석한 표현에서는 **36%**의 보도자료가 원 논문보다 강한 표현을 담은 것으로 분류됐다.

그런데 더 중요한 결과는 그다음이었다.

보도자료의 표현이 강하면 뉴스에서도 반복될 가능성이 높았다

원 논문보다 강한 인과관계 표현이 보도자료에 들어간 경우를 보자.

그 보도자료에서 나온 뉴스기사 가운데 **81%**에서도 비슷한 과장이 확인됐다.

반대로 보도자료에서 인과관계를 과장하지 않았을 때 뉴스기사에서 같은 종류의 과장이 나타난 비율은 **18%**였다.

동물·세포 연구를 사람에게 확대하는 경우도 비슷했다.

보도자료가 과장한 경우 관련 뉴스기사의 **86%**에서 비슷한 확대가 나타났다.

보도자료가 과장하지 않은 경우에는 약 **10%**였다.

연구진은 뉴스기사의 과장이 대학 보도자료의 과장과 강하게 연관돼 있다고 결론 내렸다.

이 결과는 검색결과를 읽을 때 중요한 문제를 보여준다.

서로 다른 사이트에서 같은 문장을 반복한다고 해서 각각 독립적으로 사실을 확인했다는 뜻은 아니다.

같은 상위 출처에서 내려온 표현을 반복하고 있을 수도 있다.

검색결과 5개를 읽었다고 근거 5개를 확인한 것은 아니다

이제 검색 화면으로 돌아가보자.

어떤 연구결과를 다룬 기사 다섯 개가 있다.

언론사 이름도 다르다.

제목도 조금씩 다르다.

사진도 다르다.

그러면 자연스럽게 다섯 개의 정보처럼 느껴진다.

하지만 기사 안의 출처를 따라가 보니 모두 같은 대학 연구를 소개하고 있을 수 있다.

조금 더 따라가면 같은 대학 보도자료를 바탕으로 작성됐을 수도 있다.

이 경우 우리가 확인한 것은

독립된 근거 5개

가 아니라

하나의 근거가 다섯 번 보인 것

에 가까울 수 있다.

검색결과의 개수를 증거의 개수로 세면 안 되는 이유다.

문장이 비슷하면 원출처부터 찾아본다

이를 확인하는 간단한 단서가 있다.

여러 기사에서 특이하게 같은 표현이 반복되는 경우다.

같은 숫자가 등장한다.

같은 전문가의 발언이 나온다.

같은 연구기관이 등장한다.

기사의 설명 순서까지 비슷하다.

이런 경우 기사마다 독립적으로 읽기보다 원출처를 먼저 찾는다.

논문을 다룬 기사라면 논문 제목을 찾는다.

대학 연구라면 해당 대학의 보도자료를 찾는다.

정부통계라면 정부기관의 원자료를 찾는다.

기업 발표라면 기업의 공시나 공식 발표를 찾는다.

그러면 검색결과가 계보처럼 정리되기 시작한다.

언론사 이름이 다르다는 것만으로는 충분하지 않다

출처의 독립성을 판단할 때 가장 쉬운 실수가 있다.

사이트 주소가 다르면 서로 다른 출처라고 생각하는 것이다.

A뉴스.

B일보.

C닷컴.

세 사이트가 있으니 세 개의 출처처럼 보인다.

하지만 세 곳 모두 같은 보도자료를 바탕으로 기사를 작성했다면 근거 수준에서는 독립적이라고 보기 어렵다.

반대로 기사 수는 두 개뿐이어도 서로 다른 연구진이 별도의 자료와 방법으로 같은 결과를 얻었다면 독립성은 훨씬 높아진다.

중요한 것은 웹페이지의 개수가 아니다.

근거가 어디에서 갈라졌는가다.

검색 상위에 반복된다고 사실일 가능성이 자동으로 높아지는 것도 아니다

검색결과에서 같은 주장이 반복되면 심리적으로 확신이 커진다.

한 번 봤던 내용을 두 번째 사이트에서 다시 발견한다.

세 번째 사이트에도 있다.

그러면

역시 맞는 이야기였구나

라고 생각하기 쉽다.

하지만 반복 횟수만으로는 독립적인 확인 여부를 알 수 없다.

하나의 원자료가 수십 개 사이트로 복제될 수도 있기 때문이다.

검색엔진은 독립된 증거의 개수를 계산해 보여주는 시스템이 아니다.

검색어와 관련된 웹페이지를 찾아 정렬해서 보여준다.

따라서 검색결과 1페이지를 모두 읽었다고 해서 서로 독립적인 검증을 여러 번 수행한 것은 아니다.

같은 연구를 다뤘다고 기사들이 가치 없는 것은 아니다

여기서 반대 방향으로도 과장하면 안 된다.

여러 기사가 같은 논문이나 보도자료를 바탕으로 작성됐다고 해서 기사들이 모두 무가치하다는 뜻은 아니다.

한 언론사는 연구자를 직접 인터뷰했을 수 있다.

다른 언론사는 외부 전문가에게 연구의 한계를 물었을 수 있다.

또 다른 곳은 원자료를 다시 분석했을 수도 있다.

같은 연구에서 출발했더라도 독립적인 취재와 검증이 추가될 수 있다.

그래서 확인할 것은

같은 연구를 다뤘는가

에서 끝나지 않는다.

무엇을 추가로 확인했는가까지 봐야 한다.

기사 아래의 링크 하나가 계보를 보여준다

과학기사를 읽을 때는 본문에 있는 연구기관 이름이나 논문 링크를 찾는다.

논문 링크가 있다면 직접 연다.

논문 제목과 저자를 확인한다.

다른 기사에서도 같은 논문을 링크하는지 본다.

대학 보도자료가 있다면 그것도 찾아본다.

그러면 이런 구조가 보일 수 있다.

원 논문 1개
↓
대학 보도자료 1개
↓
뉴스기사 여러 개

검색화면에서는 여러 결과가 나란히 놓여 있었다.

원출처를 따라가자 하나의 나무에서 갈라진 가지였다는 사실이 보인다.

668개의 뉴스기사가 668개의 연구를 의미하지 않았다

BMJ 연구의 숫자를 다시 보자.

분석된 대학 보도자료는 462개였다.

관련 뉴스기사는 668개였다.

하지만 668개의 뉴스기사가 각각 668개의 독립적인 연구를 의미하지 않는다.

연구진은 뉴스기사들을 그 배경이 되는 보도자료와 학술논문에 연결해서 분석했다.

이 연결관계를 확인했기 때문에 보도자료의 표현과 뉴스기사의 표현이 어떻게 함께 움직이는지도 조사할 수 있었다.

단순히 기사 668개를 각각 독립적인 정보로 취급했다면 보이지 않았을 구조다.

독립된 근거를 찾으려면 한 단계 옆으로 움직여야 한다

원출처를 찾은 뒤에는 같은 출처를 반복해서 읽을 필요가 없다.

대신 다른 근거를 찾는다.

첫 번째 논문과 연구진이 다른 연구가 있는지 검색한다.

다른 기관이 같은 현상을 조사했는지 찾아본다.

연구방법이 다른 자료도 확인한다.

한 연구가 관찰연구라면 무작위 임상시험이 있는지 볼 수 있다.

한 국가의 통계라면 다른 국가나 다른 기간에서도 같은 현상이 나타나는지 확인할 수 있다.

이렇게 해야 검색결과의 개수가 아니라 근거의 독립성이 늘어난다.

검색어를 바꾸면 같은 출처의 반복에서 빠져나올 수 있다

검색결과가 비슷한 기사로 가득하다면 검색어도 바꿔볼 수 있다.

기사 제목의 핵심 문장을 그대로 검색하면 해당 기사를 재인용한 페이지가 계속 나올 수 있다.

대신 원 연구의 제목을 검색한다.

연구자 이름을 검색한다.

핵심 주장과 함께 study, systematic review, meta-analysis 같은 단어를 붙여볼 수도 있다.

반대 결과를 찾기 위해 핵심 주장에 no association, conflicting evidence, limitations 같은 표현을 조합할 수도 있다.

목적은 내가 처음 본 결론을 더 많이 찾아내는 것이 아니다.

같은 결론이 독립적인 경로에서도 나오는지 확인하는 것이다.

검색결과에서 ‘몇 개나 나오나’보다 ‘몇 갈래인가’를 센다

정보를 확인할 때 새로운 습관을 하나 만들 수 있다.

검색결과가 열 개 나왔다고 하자.

열 개를 그대로 세지 않는다.

원출처를 기준으로 묶는다.

같은 논문을 다룬 기사끼리 묶는다.

같은 보도자료를 인용한 기사끼리 묶는다.

같은 통계를 재인용한 페이지끼리 묶는다.

그다음 남은 묶음의 수를 본다.

검색결과는 열 개였지만 실제 근거는 두 갈래일 수도 있다.

반대로 검색결과는 세 개뿐인데 각각 독립적인 연구일 수도 있다.

정보의 양과 근거의 다양성은 다른 개념이다.

반복은 확신을 만들지만 독립성은 검증을 만든다

같은 말을 여러 번 보면 익숙해진다.

익숙해지면 사실처럼 느껴질 수 있다.

하지만 정보판별에서 필요한 것은 반복 횟수가 아니다.

서로 독립적인 자료들이 같은 방향을 가리키는지를 확인하는 것이다.

논문 하나를 기사 열 곳이 소개했다면 열 번의 연구결과가 아니다.

기관 보도자료 하나를 여러 사이트가 옮겼다면 여러 기관의 확인을 받은 것도 아니다.

검색결과의 숫자를 세는 대신 정보가 시작된 지점을 찾는다.

이번 글에서 확인한 판별 기준

검색 첫 화면에 같은 결론이 반복돼도 바로 신뢰도를 높이지 않는다.

먼저 각 결과가 무엇을 출처로 삼았는지 확인한다.

같은 논문인지 본다.

같은 보도자료인지 확인한다.

같은 통계자료를 다시 인용한 것인지 살펴본다.

원출처가 같다면 하나의 근거 묶음으로 생각한다.

그다음 다른 연구진, 다른 기관, 다른 데이터에서 같은 결과가 나오는지 찾는다.

BMJ 연구에서는 462개의 대학 보도자료와 연결된 뉴스기사 668개가 확인됐다.

하나의 보도자료에서 연결된 뉴스기사는 최대 10개였다.

검색 화면에서는 여러 기사가 서로 떨어져 있었다.

출처를 따라가자 연결관계가 나타났다.

그래서 검색결과를 볼 때 이제 페이지 숫자를 먼저 세지 않는다.

한 가지를 먼저 확인한다.

“이 결과들은 몇 개가 아니라, 몇 갈래에서 시작됐을까?”

참고한 자료

BMJ – The association between exaggeration in health related science news and academic press releases
https://www.bmj.com/content/349/bmj.g7015

PubMed Central – 논문 전문
https://pmc.ncbi.nlm.nih.gov/articles/PMC4262123/

PubMed – The association between exaggeration in health related science news and academic press releases
https://pubmed.ncbi.nlm.nih.gov/25498121/