1,507명이 답한 조사였다, 그런데 응답률을 찾아보니 9%였다
설문조사 결과를 볼 때 가장 먼저 눈에 들어오는 숫자가 있다.
전국 성인 1,507명 조사.
1,500명이 넘는다.
한 사람이나 열 사람에게 물어본 것도 아니다.
이 정도면 꽤 많은 사람에게 물어본 조사처럼 느껴진다.
실제로 2012년 Pew Research Center가 실시한 미국 전국 전화조사에는 성인 1,507명이 참여했다.
그런데 조사방법을 더 내려가자 또 다른 숫자가 나왔다.
응답률 9%.
1,507명이 답했는데 9%라니.
그렇다면 나머지 사람들은 어디에 있었던 걸까.
처음에는 서로 다른 두 숫자처럼 보였지만, 조사방법을 확인해보니 전혀 다른 것을 측정하고 있었다.
1,507명은 조사를 끝낸 사람의 수였고, 9%는 조사 대상으로 접촉을 시도한 표본 가운데 실제 인터뷰까지 완료된 비율을 나타내는 지표였다.
Pew는 일부러 응답률이 다른 두 조사를 만들었다
2012년 Pew Research Center는 흥미로운 실험을 했다.
전화 여론조사의 응답률이 계속 낮아지고 있었기 때문이다.
Pew의 일반적인 전화조사 응답률은 1997년 36%였지만 2012년 무렵에는 9%까지 내려와 있었다.
연구진은 궁금했다.
응답률이 이렇게 낮아졌다면 조사 결과도 크게 왜곡되는 것 아닐까.
이를 확인하기 위해 같은 시기에 두 종류의 전국 전화조사를 진행했다.
첫 번째는 Pew가 평소 사용하던 일반적인 조사 방식이었다.
2012년 1월 4일부터 8일까지 진행됐고 미국 성인 1,507명의 인터뷰를 완료했다.
응답률은 **9%**였다.
두 번째 조사는 달랐다.
조사기간을 1월 5일부터 3월 15일까지 크게 늘렸다.
인터뷰를 완료한 사람은 2,226명이었다.
그리고 응답률은 **22%**까지 올라갔다.
Pew Research Center – Assessing the Representativeness of Public Opinion Surveys
같은 기관이 비슷한 시기에 실시한 조사인데 응답률이 9%와 22%로 크게 달랐다.
왜 그랬을까.
한 번 전화하고 끝낸 것이 아니었다
9%라는 숫자를 보면 이런 장면을 상상하기 쉽다.
100명에게 전화를 걸었는데 9명만 받았고 나머지는 전화를 받지 않았다.
하지만 실제 전화조사는 그렇게 단순하지 않았다.
Pew의 일반 조사에서는 표본으로 뽑힌 유선전화와 휴대전화 번호마다 인터뷰를 완료하기 위해 최소 7번의 접촉 시도를 했다.
시간대와 요일도 달리했다.
한 번 연락이 되지 않았다고 바로 포기하지 않은 것이다.
그런데 응답률을 높이기 위해 만든 두 번째 조사에서는 훨씬 더 많은 노력을 했다.
유선전화 번호에는 최소 25번, 휴대전화에는 최소 15번 접촉을 시도했다.
조사기간도 훨씬 길었다.
그것만이 아니었다.
돈과 편지까지 사용하자 22%가 됐다
응답률을 높이기 위한 조사에서는 참여자에게 처음부터 10달러의 인센티브를 제시했다.
조사가 진행된 뒤에는 이를 20달러로 높였다.
주소를 확인할 수 있는 일부 비응답자와 거절자에게는 편지와 2달러를 보내 다시 참여를 요청했다.
가능하면 음성메시지도 남겼다.
후반에는 조사 참여를 설득하는 경험이 많은 인터뷰어도 투입했다.
그렇게까지 하고 나서야 응답률이
9% → 22%
로 올라갔다.
Pew Research Center – About the Study
여기서 처음 생각했던 질문이 바뀌었다.
몇 명에게 물어봤나?
만 볼 것이 아니었다.
표본으로 접근한 사람 가운데 얼마나 실제 조사에 참여했나?
도 봐야 했다.
응답자 수와 응답률은 전혀 다른 숫자였다
가상의 조사로 단순하게 생각해보자.
A 조사는 2,000명에게 조사 참여를 요청했고 1,000명이 답했다.
단순화하면 응답률은 50%다.
B 조사는 20,000명에게 참여를 요청했고 1,000명이 답했다.
완료된 응답자 수는 똑같이 1,000명이다.
하지만 단순 계산한 참여 비율은 5%다.
기사에
전국 성인 1,000명 조사
라고만 쓰면 두 조사의 차이는 보이지 않는다.
그래서 응답자 수와 응답률을 구분해야 한다.
다만 실제 전문 조사에서 응답률 계산은 이렇게 단순한 나눗셈만으로 끝나지 않는다.
연락되지 않은 번호 가운데 실제 조사대상에 해당했을 가능성 등을 어떻게 처리하는지에 따라 여러 계산법이 사용된다.
미국여론조사학회 AAPOR는 이를 표준화해 여러 종류의 응답률 계산법을 제시하고 있다.
Pew가 이 연구에서 사용한 것은 AAPOR의 Response Rate 3(RR3) 방식이었다.
응답률은 왜 확인해야 할까
문제는 단순히 많은 사람이 조사 참여를 거절했다는 데 있지 않다.
더 중요한 질문은 이것이다.
답하지 않은 사람과 답한 사람이 서로 다른가.
예를 들어 특정 주제에 관심이 많은 사람이 조사에 더 적극적으로 참여한다고 해보자.
그러면 조사 결과에서 그 집단의 행동이나 의견이 실제보다 많이 나타날 가능성이 생긴다.
Pew의 2012년 연구에서도 이런 흔적이 일부 발견됐다.
조사 참여자들은 비참여자보다 자원봉사나 지역사회 활동 등에 적극적인 경향이 있었다.
실제로 일반 전화조사에서는 지난 1년 동안 자원봉사를 했다는 응답이 55%였지만 비교 대상으로 사용한 미국 정부의 Current Population Survey에서는 27%였다.
공직자에게 의견을 전달한 경험 역시 전화조사에서는 31%, 정부 조사에서는 10%였다.
Pew는 조사에 참여하려는 성향과 시민활동에 참여하려는 성향 사이에 관계가 있을 가능성을 지적했다.
즉 누가 답하지 않았는가가 특정 질문에서는 결과에 영향을 줄 수 있었다.
그렇다면 응답률 9%인 조사는 믿을 수 없는 걸까
여기서 결론을 너무 빨리 내리면 안 된다.
9%라는 숫자만 보고
91%가 답하지 않았으니 조사도 믿을 수 없다
고 판단하는 것도 정확하지 않다.
Pew가 이 연구를 한 이유 자체가 바로 그것을 확인하기 위해서였다.
연구진은 9% 응답률의 일반 조사와 22% 응답률의 고강도 조사에서 동일한 질문의 결과를 비교했다.
40개 항목 가운데 28개는 두 조사 결과의 차이가 2%포인트 이하였다.
7개 항목은 3%포인트 차이.
나머지 5개는 4%포인트 차이였다.
응답률을 9%에서 22%로 높였지만 대부분의 조사 결과는 크게 달라지지 않았다.
Pew는 정부의 대규모 조사자료와도 비교했다.
대부분의 정치·사회·경제 관련 지표에서는 비교적 대표성 있는 결과가 나왔지만, 시민참여와 같은 일부 항목에서는 차이가 확인됐다.
낮은 응답률이 자동으로 잘못된 조사라는 공식은 성립하지 않았다.
AAPOR도 응답률 하나만으로 품질을 판단하지 말라고 한다
미국여론조사학회 AAPOR 역시 이 부분을 분명히 설명한다.
응답률은 조사 품질을 이해하는 데 중요한 지표이지만 응답률만으로 비응답 편향이 얼마나 발생했는지, 심지어 실제로 발생했는지를 판단하기에는 충분하지 않다.
응답하지 않은 사람들의 특성이 응답한 사람들과 체계적으로 다르고, 그 차이가 조사하려는 질문과 관련될 때 문제가 커질 수 있기 때문이다.
따라서 응답률은
높으면 무조건 좋은 조사
낮으면 무조건 나쁜 조사
를 가르는 점수가 아니다.
추가로 확인해야 할 신호에 가깝다.
표본 1,000명이라는 숫자가 알려주지 않는 것
기사에서 흔히 보는 문구를 다시 보자.
전국 성인 1,000명을 대상으로 조사했다.
이 문장에서 알 수 있는 것은 제한적이다.
최종적으로 몇 명의 응답을 분석했는지는 알 수 있다.
하지만 얼마나 많은 사람에게 처음 접근했는지는 알 수 없다.
누가 응답을 거절했는지도 모른다.
어떤 방식으로 사람을 뽑았는지도 이 문장만으로는 알 수 없다.
전화조사인지 온라인 패널인지도 중요하다.
가중치를 어떻게 적용했는지도 봐야 한다.
응답률도 그중 하나다.
결국 1,000명 조사라는 숫자는 조사 품질 전체를 설명하는 숫자가 아니었다.
표본오차와 응답률도 같은 것이 아니었다
또 하나 혼동하기 쉬운 숫자가 있다.
표본오차.
Pew의 1,507명 일반 조사는 95% 신뢰수준에서 표본오차가 ±2.9%포인트였다.
이 숫자를 보면 조사의 모든 오차가 ±2.9%포인트 안에 들어간다고 생각하기 쉽다.
하지만 표본오차는 모집단 전체가 아니라 표본을 조사하면서 발생하는 통계적 불확실성과 관련된 지표다.
응답하지 않은 사람들 때문에 발생하는 비응답 편향, 질문 문구 때문에 생기는 측정오차 등 모든 오류를 포함하는 숫자는 아니다.
그래서 조사 결과를 볼 때는 서로 다른 숫자를 구분해야 한다.
응답자 수
표본오차
응답률
세 숫자는 모두 조사방법을 설명하지만 같은 것을 측정하지 않는다.
9%라는 숫자는 기사 본문보다 방법론에 숨어 있었다
일반 독자가 설문조사 기사를 읽으면서 응답률까지 보는 경우는 많지 않다.
대개 제목에는 조사 결과가 나온다.
본문에는 몇 퍼센트가 찬성하거나 반대했는지가 나온다.
끝부분에는
성인 1,000명을 대상으로 조사했으며 표본오차는 ±○○%포인트
정도의 설명이 붙는다.
응답률은 아예 기사에 없을 수도 있다.
그럴 때는 조사기관의 원자료나 방법론 페이지를 찾아야 한다.
methodology
survey methods
response rate
같은 항목이다.
이번 Pew 자료에서도 가장 흥미로운 숫자는 결과표가 아니라 방법론 페이지에 있었다.
1,507명과 9%.
응답률이 낮으면 다음 질문을 하나 더 한다
낮은 응답률을 발견했다고 조사를 버릴 필요는 없다.
대신 질문을 추가한다.
응답자와 비응답자의 특성이 다를 가능성이 있는가.
조사기관은 이를 보정하기 위해 어떤 가중치를 적용했는가.
유선전화와 휴대전화 등을 적절히 포함했는가.
조사 결과를 다른 신뢰할 만한 자료와 비교했는가.
특정 질문에서 비응답 편향이 특히 커질 가능성이 있는가.
Pew의 2012년 조사에서는 성별, 연령, 교육수준, 인종·민족, 지역, 인구밀도, 전화 이용 형태 등에 맞춰 표본을 가중했다.
그리고 정부 통계와 별도로 비교해 어디에서 차이가 나타나는지도 확인했다.
응답률 하나에서 검증을 끝내지 않았던 것이다.
1,507명 뒤에 보이지 않던 사람들이 있었다
처음 봤던 숫자로 돌아가보자.
1,507명.
이 숫자는 틀리지 않았다.
실제로 1,507명의 성인이 인터뷰를 완료했다.
하지만 그 숫자만 봤을 때는 조사과정의 다른 부분이 보이지 않았다.
접촉되지 않은 사람.
전화를 받았지만 참여하지 않은 사람.
중간에 인터뷰를 끝내지 않은 사람.
이런 사람들이 최종 결과표에서는 사라진다.
응답률은 바로 그 보이지 않는 부분을 확인하기 위한 숫자였다.
그렇다고 응답하지 않은 사람이 많다는 이유만으로 결과가 자동으로 틀리는 것도 아니었다.
중요한 것은 누가 빠졌고, 그 빠짐이 조사 결과와 관계가 있는가였다.
이번 글에서 확인한 판별 기준
설문조사에서 1,000명, 1,500명, 2,000명 같은 응답자 수만 보고 조사 품질을 판단하지 않는다.
가능하면 조사방법에서 응답률을 찾아본다.
응답자 수와 응답률을 같은 개념으로 생각하지 않는다.
표본오차 역시 응답률과 다른 지표라는 점을 구분한다.
응답률이 낮다고 바로 조사가 틀렸다고 판단하지 않는다.
반대로 최종 응답자가 많다는 이유만으로 비응답 문제를 무시하지도 않는다.
조사기관이 표본을 어떻게 뽑았는지, 어떤 방식으로 접촉했는지, 가중치를 적용했는지, 비응답자가 응답자와 체계적으로 다를 가능성이 있는지를 함께 살펴본다.
그리고 조사 결과 아래에 응답자 1,507명이라고 적혀 있다면 한 가지 숫자를 더 찾아본다.
“처음 조사 대상으로 접근한 사람 가운데 실제로 답한 비율은 얼마였을까?”
Pew의 2012년 조사에서는 그 숫자가
9%였다.
1,507명이라는 큰 숫자 뒤에 숨어 있던 또 하나의 숫자였다.
참고한 자료
Pew Research Center – Assessing the Representativeness of Public Opinion Surveys
자산맥
댓글 0
첫 댓글을 남겨보세요.