같은 질문인데 ‘금지’로 바꾸자 응답이 21%에서 39%로 달라졌다

1940년 미국에서 한 설문 실험이 진행됐다.

사람들에게 반민주적인 공개 연설을 허용해야 하는지 물었다.

한 집단에는 이런 취지로 질문했다.

“미국은 민주주의에 반대하는 공개 연설을 허용해야 한다고 생각하십니까?”

이 질문에 허용해야 한다고 답한 사람은 **21%**였다.

다른 집단에는 같은 문제를 조금 다르게 물었다.

이번에는 ‘허용’ 대신 ‘금지’라는 단어를 사용했다.

“미국은 민주주의에 반대하는 공개 연설을 금지해야 한다고 생각하십니까?”

논리적으로 생각하면 첫 질문에서 ‘허용하지 않는다’는 답과 두 번째 질문에서 ‘금지한다’는 답은 비슷한 방향이어야 한다.

그런데 결과는 그렇게 나오지 않았다.

‘허용’ 질문에서는 21%만 허용에 찬성했지만, ‘금지’ 질문에서는 39%가 금지해서는 안 된다는 쪽에 섰다.

같은 사안을 물었는데 표현을 바꾸자 허용하는 방향의 응답이 21%에서 39%로 움직인 것이다.

무엇이 달라진 걸까.

두 집단이 받은 질문에서 달라진 것은 단어였다

이 실험은 Donald Rugg가 1941년 「Public Opinion Quarterly」에 발표한 연구다.

중요한 점은 서로 다른 시기에 실시한 두 여론조사의 숫자를 억지로 비교한 것이 아니라는 것이다.

연구에서는 비교 가능한 표본 집단에 서로 다른 질문 문구를 나누어 제시하는 방식을 사용했다.

한쪽에는 allow, 다른 쪽에는 forbid라는 표현이 들어갔다.

원 연구는 Princeton Public Opinion Research Project가 감독한 질문 문구 실험의 일부였고, 질문은 「Public Opinion Quarterly」와 여론조사 기관의 Elmo Roper가 함께 준비했다.

조사는 1940년 9월 진행됐다.

즉 사람들의 성향이 다른 두 조사 결과를 단순히 비교한 것이 아니라 질문 표현을 달리했을 때 응답이 어떻게 움직이는지를 확인하려 했던 것이다.

그리고 차이가 나타났다.

허용해야 하느냐고 물었을 때는 21%가 허용한다고 답했다.

금지해야 하느냐고 물었을 때는 39%가 금지해서는 안 된다는 방향으로 답했다.

논리적으로는 상당히 비슷해 보이는 두 선택지가 실제 설문에서는 같은 결과를 만들지 않았다.

‘허용하지 않는다’와 ‘금지한다’는 정말 같은 말일까

처음 숫자를 보면 이상하다.

허용하지 않는다면 금지하는 것 아닌가.

금지하지 않는다면 허용하는 것 아닌가.

논리식처럼 생각하면 서로 반대편에 정확하게 놓일 것 같다.

하지만 사람이 설문에 답할 때는 단어를 수학 기호처럼 처리하지 않는다.

‘금지’라는 표현에는 강제적인 조치나 자유의 제한 같은 뉘앙스가 들어갈 수 있다.

반면 ‘허용하지 않는다’는 표현은 같은 방향을 가리키더라도 받아들이는 느낌이 다를 수 있다.

후속 연구에서는 이런 현상을 forbid/allow asymmetry, 즉 ‘금지-허용 비대칭’으로 다뤘다.

1999년 「Sociological Methods & Research」에 발표된 연구에서도 forbid와 allow가 논리적으로 대응하는 표현임에도 실제 설문 응답은 단순한 반대 관계가 되지 않는다는 기존 연구 결과를 다뤘다.

2003년 독일에서 진행된 연구에서도 비슷한 질문 문구 효과가 다시 조사됐다.

여기서 중요한 점이 하나 더 발견됐다.

단순히 allow와 forbid라는 단어 하나만의 문제가 아닐 수 있다는 것이다.

답할 선택지를 어떻게 보여주느냐도 영향을 줄 수 있었다

2003년 연구는 기존의 허용-금지 실험을 다시 진행하면서 질문 형태를 조금 더 세분화했다.

한쪽에서는 기존처럼 한 방향으로 질문했고, 다른 조건에서는 응답자가 선택할 수 있는 반대 선택지까지 명시적으로 제시했다.

그 결과 기존에 알려진 큰 차이의 상당 부분은 단순히 allow와 forbid라는 단어 차이만이 아니라 질문이 한쪽 방향으로 제시되는 방식과 관련될 가능성이 제기됐다.

이건 꽤 중요한 차이다.

1941년 결과만 보고

“설문에서 ‘금지’라는 단어를 쓰면 언제나 응답이 18%포인트 움직인다.”

라고 결론 내리면 안 된다는 뜻이다.

실제로 이후 연구에서 효과의 크기는 질문 주제와 조사 방식에 따라 달랐다.

어떤 조사에서는 큰 차이가 반복됐지만, 다른 조사에서는 거의 차이가 나타나지 않기도 했다.

따라서 21%와 39%라는 숫자는 모든 설문에 적용되는 공식이 아니다.

이 사례가 보여주는 것은 훨씬 단순하다.

질문의 뜻이 비슷하다고 해서 질문 문구까지 중요하지 않은 것은 아니라는 것.

같은 실험도 나중에는 차이가 거의 없었던 경우가 있었다

이 부분을 확인하다가 흥미로운 자료를 하나 더 발견했다.

CBS News가 2007년 설문 질문 문구를 설명하면서 과거의 허용-금지 연구를 소개했다.

1940년대 실험에서는 큰 차이가 나타났고, 1970년대 연구에서도 이 효과가 반복됐다.

그런데 1989년 General Social Survey에서 공산주의자의 연설을 대상으로 비슷한 실험을 했을 때는 결과가 달랐다.

‘금지해야 한다’고 답한 사람은 34%, ‘허용하지 않아야 한다’고 답한 사람은 35%였다.

차이가 거의 없었다.

이 결과가 오히려 중요하다.

질문 문구 효과가 존재한다는 사실을

“단어 하나만 바꾸면 언제나 원하는 여론조사 결과를 만들 수 있다.”

로 확대하면 안 되기 때문이다.

주제도 영향을 준다.

시대도 달라진다.

응답자들이 그 문제에 얼마나 확실한 의견을 가지고 있는지도 영향을 줄 수 있다.

질문과 선택지를 어떻게 구성했는지도 중요하다.

설문 방식도 살펴봐야 한다.

따라서 특정 설문 결과가 마음에 들지 않는다고 질문 문구 탓이라고 단정해서도 안 된다.

실제로 문구가 결과에 영향을 미쳤는지는 별도의 비교 실험이 없다면 정확히 알기 어려운 경우가 많다.

그래서 설문 결과보다 질문지를 먼저 찾아봤다

뉴스에서는 보통 결과가 먼저 나온다.

“응답자의 60%가 찬성했다.”

“10명 중 7명이 반대했다.”

“과반수가 필요하다고 답했다.”

숫자가 명확하기 때문에 결론도 명확해 보인다.

하지만 이 숫자가 만들어지기 전에 반드시 있었던 것이 있다.

질문이다.

응답자가 어떤 문장을 보고 그 답을 선택했는지를 모르면 숫자의 의미도 완전히 알기 어렵다.

예를 들어 이런 두 질문을 생각해볼 수 있다.

“정부가 A 정책을 확대해야 한다고 생각하십니까?”

그리고

“A 정책 확대를 위해 추가 비용을 부담하더라도 정부가 정책을 확대해야 한다고 생각하십니까?”

둘 다 A 정책에 대한 찬반을 묻는 것처럼 보인다.

하지만 두 번째 질문에는 응답자가 판단해야 할 정보가 하나 더 들어갔다.

반대로

“A 정책으로 혜택을 받는 사람이 늘어나도록 정부가 정책을 확대해야 한다고 생각하십니까?”

라고 물어도 상황은 달라진다.

이 세 질문에서 나온 찬성률을 같은 종류의 숫자로 비교해도 되는지부터 확인해야 한다.

질문 문구는 단순한 포장지가 아니다.

응답자가 무엇에 답했는지를 결정하는 부분이다.

숫자가 같아도 질문이 다르면 같은 여론이라고 보기 어렵다

이번에는 반대로 생각해봤다.

A 조사에서 찬성률이 60% 나왔다.

B 조사에서도 60%가 나왔다.

숫자는 정확히 같다.

그러면 두 조사는 같은 여론을 확인한 것일까.

질문을 보기 전에는 알 수 없다.

A는

“이 정책에 찬성하십니까?”

라고 물었을 수 있다.

B는 정책의 비용이나 효과에 대한 설명을 먼저 제시한 뒤 찬반을 물었을 수 있다.

조사 대상도 다를 수 있다.

응답 선택지도 다를 수 있다.

질문 순서가 다를 수도 있다.

따라서 설문 결과를 비교할 때는 최종 퍼센트만 나란히 놓아서는 부족하다.

같은 것을 같은 방식으로 물었는지가 먼저다.

제목에 나온 60%보다 원 질문 한 문장이 더 중요할 때가 있다

설문조사를 인용한 기사를 볼 때 가장 먼저 확인하기 쉬운 것은 표본 수다.

1,000명에게 물었는지 500명에게 물었는지 본다.

조사기관도 확인한다.

조사 날짜도 본다.

모두 중요한 정보다.

그런데 정작 질문 문구는 빠져 있는 경우가 있다.

이때는 기사 제목에 나온 퍼센트보다 조사기관의 원자료를 찾아보는 편이 낫다.

원 보고서나 설문지를 열어 실제 질문을 확인한다.

가능하면 다음 네 가지를 같이 본다.

첫째, 질문 전체 문장이다.

둘째, 응답자에게 제시된 선택지다.

셋째, 질문 전에 어떤 설명이 제공됐는지 본다.

넷째, 앞에서 어떤 질문을 먼저 받았는지도 확인한다.

같은 문장이라도 바로 앞 질문이 무엇이었는지에 따라 응답 맥락이 달라질 수 있기 때문이다.

여기까지 보면 기사에 적힌 찬성 60%가 정확히 무엇에 대한 60%인지 훨씬 선명해진다.

‘유도 질문’이라는 말도 함부로 붙이면 안 된다

질문 문구가 중요하다는 사실을 알게 되면 또 하나의 함정이 생긴다.

마음에 들지 않는 설문을 모두 ‘유도 질문’이라고 부르는 것이다.

하지만 질문에 특정 단어가 들어갔다고 해서 곧바로 조작이라고 판단할 수는 없다.

정책 내용을 정확하게 설명하기 위해 필요한 표현일 수도 있다.

응답자가 내용을 이해하려면 어느 정도 설명이 필요할 수도 있다.

그리고 어떤 문구가 실제로 얼마나 영향을 줬는지는 비교 조건 없이 알기 어려울 때가 많다.

1941년 실험이 의미 있는 이유도 여기에 있다.

연구진은 단순히

“이 단어는 편향적일 것 같다.”

고 추측한 것이 아니다.

질문 문구를 달리한 집단의 응답을 실제로 비교했다.

따라서 우리가 할 수 있는 판단에도 선이 있다.

질문 문구를 확인한 뒤

“이 표현은 응답에 영향을 줄 가능성을 검토할 필요가 있다.”

고 말할 수는 있다.

하지만 비교 실험도 없이

“이 설문은 이 문구 때문에 정확히 10%포인트 높게 나왔다.”

고 계산할 수는 없다.

오래된 연구 하나만으로 현재 모든 설문을 설명할 수도 없다

이번 사례는 1940년에 실시되고 1941년에 발표된 연구다.

상당히 오래됐다.

그래서 이 연구의 숫자를 현재 한국의 모든 설문에 그대로 적용할 수는 없다.

당시 미국 사회의 정치적 환경도 다르다.

조사 방법도 지금과 다르다.

사람들이 ‘금지’와 ‘허용’이라는 표현을 받아들이는 방식 역시 시대와 언어에 따라 달라질 수 있다.

하지만 이 사례가 지금까지 계속 인용되는 이유가 있다.

질문을 아주 조금 바꿨을 때도 응답이 달라질 수 있다는 문제를 실제 비교 실험으로 보여줬고, 이후 여러 연구가 이 현상을 다시 검토했기 때문이다.

최근 연구에서도 설문 문항의 긍정·부정 표현이 응답에 어떤 영향을 주는지 계속 연구되고 있다.

따라서 가져와야 할 것은 1941년의 숫자 자체가 아니다.

설문 결과를 읽는 방법이다.

이제 ‘70%가 찬성했다’를 보면 한 줄을 더 찾는다

예전에는 설문 기사에서

찬성 70%

라는 숫자를 보면 그 숫자부터 기억했다.

이제는 바로 아래를 찾는다.

실제 질문은 무엇이었을까.

기사에 없다면 원조사 자료를 찾아본다.

질문 전체를 읽는다.

어떤 선택지가 있었는지 본다.

‘모르겠다’나 ‘의견 없음’을 선택할 수 있었는지도 확인한다.

그다음에야 70%라는 숫자로 돌아온다.

숫자가 바뀌는 것은 아니다.

70%는 여전히 70%다.

하지만 그 숫자를 설명하는 문장은 달라질 수 있다.

사람들의 70%가 A를 원한다

가 아니라

이 질문과 이 선택지를 받은 응답자의 70%가 A를 선택했다

가 더 정확할 수도 있다.

이 차이는 작아 보이지만 설문을 읽을 때는 상당히 크다.

21%와 39% 사이에서 확인해야 했던 것

1941년 실험에서 처음 눈에 들어온 것은 숫자였다.

21%.

39%.

같은 문제인데 왜 이렇게 달랐을까.

원 연구와 후속 연구를 따라가 보니 답은 단순히

“설문은 믿으면 안 된다.”

가 아니었다.

오히려 반대에 가까웠다.

설문 결과를 제대로 이해하려면 결과표만 보지 말고 조사가 실제로 무엇을 물었는지까지 읽어야 한다는 것이다.

질문의 한 단어가 항상 결과를 바꾸는 것도 아니다.

특정 단어가 언제나 일정한 방향으로 응답을 움직이는 것도 아니다.

하지만 질문이 달라졌는데 결과 숫자만 비교하는 것 역시 위험하다.

결국 설문조사의 퍼센트는 질문과 떨어져 존재하지 않는다.

응답자는 숫자에 답한 것이 아니다.

문장에 답했다.

그래서 설문 결과를 만났을 때 가장 먼저 읽어야 할 것은 어쩌면 결과표가 아닐지도 모른다.

그 숫자를 만들어낸 질문 한 문장일 수 있다.

이번 글에서 확인한 판별 기준

설문 결과에서 찬성률이나 반대율을 보기 전에 실제 질문 문구를 먼저 확인한다.

비슷한 설문 두 개를 비교할 때는 숫자뿐 아니라 질문 문장과 응답 선택지가 같은지도 본다.

특정 단어나 설명이 들어갔다고 곧바로 ‘조작된 설문’이라고 단정하지 않는다. 실제 영향의 크기를 판단하려면 비교 실험이나 추가 근거가 필요하다.

질문 순서와 사전 설명도 가능하면 함께 확인한다.

그리고 기사에서 원 질문을 확인할 수 없다면 조사기관의 보고서나 설문지를 찾아본다.

결국 설문에서 70%라는 숫자를 이해하기 위해 가장 먼저 필요한 질문은 이것이다.

“70%는 정확히 어떤 질문에 답한 사람들일까?”

참고한 자료

Donald Rugg, 「Experiments in Wording Questions: II」, Public Opinion Quarterly, 1941
https://academic.oup.com/poq/article/5/1/91/1866582

Bregje Holleman, 「The Nature of the Forbid/Allow Asymmetry: Two Correlational Studies」, Sociological Methods & Research, 1999
https://journals.sagepub.com/doi/10.1177/0049124199028002004

Karl-Heinz Reuband, 「The Allow-Forbid Asymmetry in Question Wording – a New Look at an Old Problem」, 2003
https://journals.sagepub.com/doi/10.1177/075910630308000104

PLOS ONE, 「Positive vs. Negative: The Impact of Question Polarity in Voting Advice Applications」
https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0164184