젊은 운전자 4명 중 1명이 사고를 낸다? 분모를 찾으니 7%였다

2012년 7월 영국에서 꽤 눈에 띄는 교통 관련 기사가 나왔다.

젊은 운전자 4명 중 1명이 운전면허를 딴 뒤 불과 6개월 안에 사고를 낸다는 내용이었다.

약 25%.

면허를 갓 취득한 젊은 운전자 네 명을 떠올리면 그중 한 명꼴이다.

숫자만 보면 초보운전의 위험성을 상당히 강하게 보여주는 통계처럼 보인다.

그런데 이 숫자를 검증한 영국의 팩트체크 기관 Full Fact가 원래 설문자료를 확인하면서 이야기가 달라졌다.

23%라는 숫자는 실제로 존재했다.

문제는 숫자가 아니었다.

23%를 계산할 때 누구를 분모에 넣었는지가 달랐다.

19,284명을 조사했다는 것부터 확인해봤다

이 숫자의 출발점은 영국 자동차협회 AA와 여론조사업체 Populus가 실시한 조사였다.

AA가 공개한 자료에 따르면 조사는 2012년 5월 22일부터 30일까지 진행됐고 모두 19,284명의 운전자가 참여했다.

표본 숫자만 보면 상당히 크다.

그리고 AA 자료에는 이런 내용이 나온다.

18~24세의 23%가 면허 취득 후 6개월 안에 사고를 경험했다는 것이다.

여기까지만 읽으면 기사 제목과 크게 다르지 않아 보인다.

그런데 같은 자료에서 중요한 문장이 하나 먼저 등장한다.

이 부분의 응답은 사고를 경험한 AA/Populus 패널에게 첫 사고 당시 상황을 물은 결과라는 설명이다.

즉 23%를 이해하려면 먼저 조사 참가자들이 어떻게 나뉘었는지를 봐야 했다.

AA 「Young drivers at risk」

19,284명이 갑자기 14,229명이 됐다

Full Fact가 조사자료를 확인한 결과 전체 설문 응답자는 19,284명이었다.

그런데 그 가운데 약 26%는 운전 중 충돌 사고를 경험한 적이 없었다.

사고 경험이 있는 운전자는 14,229명이었다.

여기서 첫 번째 분모가 바뀐다.

19,284명 전체가 아니라 사고 경험이 있는 14,229명을 대상으로 첫 사고가 언제 발생했는지를 살펴본 것이다.

하지만 우리가 확인하려는 것은 18~24세 젊은 운전자다.

그래서 한 번 더 좁혀야 한다.

전체 조사에서 18~24세는 365명이었다.

그런데 이들 가운데 67%는 사고 경험이 없었다.

사고를 경험한 적이 있는 18~24세는 119명이었다.

이제 23%의 정체가 보이기 시작한다.

23%의 분모는 365명이 아니었다

사고 경험이 있는 18~24세 119명 가운데 27명이 면허 취득 후 첫 6개월 안에 사고를 경험했다.

계산해보면,

27 ÷ 119 ≈ 22.7%

반올림하면 약 **23%**다.

그러니까 23%라는 숫자 자체는 계산이 잘못된 것이 아니었다.

문제는 이 숫자를

“젊은 운전자 가운데 23%가 6개월 안에 사고를 낸다”

라고 읽었을 때 생긴다.

원래 분모에는 모든 젊은 운전자가 들어가 있지 않았다.

이미 사고를 경험한 젊은 운전자만 들어가 있었다.

질문을 정확하게 바꾸면 의미도 달라진다.

“사고 경험이 있는 18~24세 운전자 가운데 첫 사고가 면허 취득 후 6개월 이내였던 비율은 얼마인가?”

그 답이 약 23%였던 것이다.

Full Fact 「Do a quarter of young drivers crash in their first six months?」

그렇다면 365명을 분모로 넣으면 어떻게 될까

여기서 같은 숫자를 다른 방식으로 계산해봤다.

전체 조사에 참여한 18~24세는 365명.

그중 면허 취득 후 6개월 안에 사고를 경험한 사람은 27명이었다.

27 ÷ 365를 계산하면 약 **7.4%**다.

반올림하면 약 7%.

같은 조사에서 나온 사람들인데 하나는 23%, 다른 하나는 7%가 된다.

둘 중 어느 계산이 무조건 틀렸기 때문이 아니다.

서로 다른 질문에 답하고 있기 때문이다.

23%는

6개월 이내 첫 사고를 경험한 젊은 운전자 ÷ 사고 경험이 있는 젊은 운전자

이고,

약 7%는

6개월 이내 사고를 경험한 젊은 운전자 ÷ 조사에 참여한 젊은 운전자 전체

다.

분자는 27명으로 같다.

분모만 119명에서 365명으로 달라졌다.

그 결과 23%가 약 7%가 됐다.

‘14,000명을 조사했다’는 말도 착각을 만들었다

이 사례에서 또 하나 흥미로운 부분이 있었다.

당시 자료에는 약 14,000명의 사고 경험 운전자가 조사됐다는 숫자가 등장했다.

14,000명이라면 상당히 큰 조사처럼 보인다.

그런데 우리가 궁금한 것은 18~24세의 첫 6개월 사고였다.

Full Fact가 원자료를 확인했을 때 이 조건에 실제로 들어간 사람은 119명이었다.

14,229명 조사

라는 숫자와

119명

사이에는 상당한 차이가 있다.

둘 다 같은 조사에 관한 숫자다.

하지만 무엇을 주장하느냐에 따라 실제로 사용되는 표본은 달라진다.

그래서 설문 기사에서

“1만 명을 조사한 결과”

라는 표현만 보고 결과의 규모를 판단하면 안 된다는 것도 보였다.

전체 조사 참가자가 1만 명이라고 해서 기사에서 강조하는 모든 세부 결과가 1만 명을 대상으로 계산된 것은 아니다.

연령, 성별, 지역, 경험 여부 같은 조건으로 나누기 시작하면 특정 결과의 실제 분모는 훨씬 작아질 수 있다.

결국 보도는 정정됐다

Full Fact는 해당 보도가 조사 결과를 정확하게 전달하지 않았다고 문제를 제기했다.

사안은 당시 영국 언론 자율규제기구였던 Press Complaints Commission까지 갔다.

이후 해당 온라인 기사는 삭제됐고 정정문이 게재됐다.

영국 의회가 이후 정치 여론조사와 언론 보도를 검토하면서 작성한 보고서에도 이 사례가 다시 등장한다.

보고서는 당시 보도가 젊은 운전자 4명 중 1명이 면허 취득 후 6개월 안에 사고를 낸다고 전달했지만, 실제 조사는 사고 경험이 있는 운전자들을 대상으로 한 결과였다는 점을 명확히 했어야 했다고 정리한다.

영국 의회 「The politics of polling」 관련 사례

Full Fact가 이후 공개한 정정 관련 글에서도 같은 문제가 확인된다.

23%는 모든 젊은 운전자의 비율이 아니라 사고를 경험한 젊은 운전자 중 첫 사고가 면허 취득 후 6개월 안에 발생한 비율이었다.

Full Fact 「Daily Mirror corrects error on young drivers」

그런데 여기서 7%도 그대로 믿으면 안 된다

여기서 한 가지 조심해야 한다.

그렇다면 실제 젊은 운전자의 7%만 첫 6개월 안에 사고를 낸다고 결론 내리면 될까.

그렇게까지 말하기는 어렵다.

Full Fact도 이 부분을 지적했다.

365명의 설문 참가자를 이용해 계산하면 약 7%가 나오지만, 이 조사 자체가 영국의 모든 젊은 운전자를 정확하게 대표하는지와는 별개의 문제이기 때문이다.

실제로 Full Fact는 당시 다른 전문 연구 결과도 함께 살펴봤다.

그 결과 초보 운전자의 사고 위험에 관한 다른 연구에서는 서로 다른 수치가 나타났다.

따라서 여기서 7%는

“이 설문의 전체 18~24세 응답자를 분모로 다시 계산하면 약 7%가 된다”

는 의미로 사용하는 것이 정확하다.

영국 젊은 운전자의 실제 사고율은 7%다

라고 일반화하는 것은 또 다른 단계의 판단이다.

이 구분이 중요했다.

23%라는 과장된 해석을 발견했다고 해서 반대쪽 숫자 7%를 곧바로 새로운 정답으로 만들 필요는 없다.

이번에 확인하려는 것은 실제 영국 젊은 운전자의 사고율 자체가 아니라 23%라는 숫자가 어떤 분모에서 만들어졌는가이기 때문이다.

숫자를 보면 이제 ‘몇 명 중 몇 명?’으로 바꿔본다

퍼센트는 편리하다.

23%라고 쓰면 한눈에 규모를 이해할 수 있다.

하지만 동시에 분모를 숨기기도 쉽다.

그래서 앞으로 설문 결과에서

70%가 찬성했다

3명 중 2명이 경험했다

4명 중 1명이 그렇다고 답했다

같은 표현을 만나면 퍼센트만 기억하지 않으려고 한다.

먼저 원래 숫자로 되돌려본다.

몇 명 중 몇 명인가?

그리고 한 번 더 묻는다.

그 ‘몇 명’은 누구인가?

이번 사례라면 바로 차이가 드러난다.

27명 ÷ 119명 = 약 23%

119명이 누구인지 확인하면 사고 경험이 있는 18~24세 운전자라는 조건이 나타난다.

반면 전체 18~24세 응답자를 보면

27명 ÷ 365명 = 약 7%

가 된다.

계산은 어렵지 않았다.

오히려 어려웠던 것은 분모가 무엇인지 찾는 과정이었다.

조사대상과 실제 분모는 또 다를 수 있다

이 사례를 따라가면서 하나 더 구분할 필요가 있다는 것도 알게 됐다.

조사대상과 특정 결과의 분모가 항상 같은 것은 아니다.

이번 조사의 전체 응답자는 19,284명이다.

사고 경험자는 14,229명이다.

18~24세 응답자는 365명이다.

그 가운데 사고 경험이 있는 사람은 119명이다.

그리고 첫 6개월 안에 사고를 경험한 사람은 27명이다.

어느 숫자를 분모로 선택하느냐에 따라 우리가 말할 수 있는 문장이 달라진다.

그래서 설문조사를 읽을 때는 단순히

“몇 명을 조사했는가?”

에서 끝내지 않는 편이 좋다.

기사에서 내가 보고 있는 그 결과가 실제로 몇 명을 대상으로 계산됐는지까지 내려가야 한다.

전체 표본이 아무리 커도 특정 하위집단 결과의 분모는 예상보다 작을 수 있기 때문이다.

23%는 틀린 숫자가 아니었다

이번 사례에서 가장 기억에 남는 부분은 이것이다.

처음부터 23%라는 계산이 틀렸다면 문제는 간단했을 것이다.

계산 오류를 찾아내면 끝난다.

하지만 23%는 실제 자료에서 계산할 수 있는 숫자였다.

문제가 된 것은 그 숫자의 범위가 사라진 채 더 큰 집단을 설명하는 것처럼 전달된 것이었다.

그래서 숫자 검증은 계산기만으로 해결되지 않는다.

23이라는 숫자를 다시 계산하는 것보다

23%의 분모에 누가 들어갔는지 확인하는 것이 먼저였다.

이제 설문 결과를 볼 때 퍼센트 바로 앞의 문장만 읽지 않으려고 한다.

조사방법을 찾고, 전체 응답자 수를 확인하고, 해당 질문의 실제 응답자가 누구인지 본다.

그리고 가능하다면 퍼센트를 다시

분자 ÷ 분모

형태로 풀어본다.

숫자가 갑자기 훨씬 구체적으로 보이기 시작한다.

이번에는 23%였다.

그 숫자를 따라가자 119명이라는 분모가 나왔다.

그리고 그 119명이 누구인지 확인한 순간, 처음 읽었던 젊은 운전자 4명 중 1명이라는 문장은 더 이상 같은 의미로 보이지 않았다.

퍼센트를 읽을 때 가장 먼저 찾아야 할 숫자는 퍼센트 자체가 아니라 그 뒤에 숨어 있는 분모일지도 모른다.

이번 글에서 확인한 판별 기준

설문 결과에서 퍼센트를 발견하면 먼저 몇 명 중 몇 명인지 확인한다.

전체 조사 인원이 크더라도 기사에서 강조하는 특정 결과는 연령·성별·경험 여부 등의 조건을 거친 훨씬 작은 하위집단을 대상으로 계산됐을 수 있다.

조사대상 전체와 해당 결과의 실제 분모를 구분한다.

특정 집단에서 나온 비율을 더 넓은 집단 전체의 비율처럼 일반화하지 않는다.

분모를 바꿔 다른 비율을 계산했더라도 그 숫자를 곧바로 전체 인구의 실제 비율이라고 단정하지 않는다.

그리고 퍼센트가 이상하게 크거나 작아 보인다면 계산부터 의심하기 전에 한 문장을 먼저 확인한다.

“이 숫자의 분모에는 정확히 누가 들어가 있는가?”

참고한 자료

AA 「Young drivers at risk」

Full Fact 「Do a quarter of young drivers crash in their first six months?」

Full Fact 「Daily Mirror corrects error on young drivers」

UK Parliament 「The politics of polling」