“10명 중 8명이 추천”했다는데, 정작 확인해야 할 사람들은 따로 있다

“사용자 10명 중 8명이 추천했습니다.”

제품 광고나 서비스 소개에서 이런 문장을 발견하면 80%라는 숫자가 먼저 눈에 들어옵니다.

상당히 높은 비율입니다.

100명에게 물었다면 80명, 1,000명에게 물었다면 800명이 추천했다는 뜻이니 많은 사람이 긍정적으로 평가했다고 생각하기 쉽습니다.

그런데 이 숫자를 판단하기 전에 먼저 확인해야 할 것이 있습니다.

몇 명에게 물었느냐가 아닙니다.

누구에게 물었느냐입니다.

같은 질문을 해도 조사 대상이 달라지면 결과는 크게 달라질 수 있습니다.

기존 고객에게 물었는지 처음 사용한 사람에게 물었는지

어떤 회사가 자사 서비스에 대한 추천 의향을 조사한다고 가정해보겠습니다.

첫 번째 조사는 최근 1년 동안 서비스를 계속 이용하고 있는 고객을 대상으로 했습니다.

두 번째 조사는 서비스를 한번이라도 사용해본 경험이 있는 모든 사람을 대상으로 했습니다.

두 조사 모두 “이 서비스를 다른 사람에게 추천하시겠습니까?”라는 똑같은 질문을 사용했습니다.

결과가 같을까요?

반드시 그렇지는 않습니다.

현재까지 서비스를 계속 이용하고 있는 사람 중에는 이미 서비스가 마음에 들어 남아 있는 사람이 많을 가능성이 있습니다.

반대로 서비스를 이용했다가 불편해서 떠난 사람은 현재 고객 명단에서는 빠져 있을 수 있습니다.

현재 이용자만 조사해서 추천 비율이 80% 나왔다면 그것은 현재 남아 있는 이용자의 평가를 보여주는 데는 의미가 있습니다.

하지만 그 결과를 곧바로 ‘이 서비스를 경험한 전체 사람의 80%가 추천한다’고 확대하면 조사 범위를 넘어섭니다.

숫자는 그대로인데 조사 대상에 따라 답할 수 있는 질문이 달라진 것입니다.

건강조사에서는 이 문제가 더 분명하게 드러난다

표본을 누구로 구성하느냐가 왜 중요한지는 건강 연구를 생각하면 이해하기 쉽습니다.

예를 들어 어떤 운동 프로그램의 효과를 알아보기 위해 참가자를 모집한다고 해보겠습니다.

평소 운동에 관심이 많고 건강관리를 꾸준히 하는 사람들만 자발적으로 참여했다면 결과가 좋게 나올 가능성이 있습니다.

운동을 꾸준히 하기 어려운 사람, 건강 상태 때문에 중간에 포기할 가능성이 높은 사람, 애초에 운동에 관심이 없는 사람은 모집 단계에서 적게 포함될 수 있기 때문입니다.

연구 결과가 틀렸다는 뜻은 아닙니다.

실제로 참여한 사람에게 어떤 변화가 있었는지는 정확하게 측정할 수 있습니다.

문제는 그 결과를 누구에게까지 적용할 수 있느냐입니다.

특정 조건을 가진 사람을 대상으로 얻은 결과를 모든 사람에게 똑같이 적용하려면 추가적인 근거가 필요합니다.

그래서 연구논문에는 참가자의 연령, 성별, 건강 상태뿐 아니라 어떤 조건의 사람을 연구에 포함했고 어떤 사람을 제외했는지를 설명하는 부분이 있습니다.

복잡해 보이지만 이유는 단순합니다.

결과를 이해하려면 먼저 누구를 대상으로 얻은 결과인지 알아야 하기 때문입니다.

1만 명을 조사했다고 해결되는 문제는 아니다

조사 결과를 볼 때 우리는 표본 수가 크면 더 믿을 만하다고 생각하는 경향이 있습니다.

실제로 충분한 표본 수는 중요합니다.

하지만 사람 수가 많다고 조사 대상의 구성 문제까지 자동으로 해결되는 것은 아닙니다.

예를 들어 전국 소비자의 의견을 알고 싶은데 특정 온라인 커뮤니티 회원 1만 명에게만 설문했다고 해보겠습니다.

응답자는 1만 명이나 됩니다.

숫자만 보면 상당히 큰 조사입니다.

하지만 그 커뮤니티를 이용하는 사람들에게 특정 연령대나 관심사가 집중돼 있다면 그 결과를 전체 소비자의 의견이라고 부르기 어려울 수 있습니다.

반대로 훨씬 적은 사람을 조사했더라도 조사하려는 전체 집단의 특성을 고려해 연령, 지역, 성별 등을 적절하게 구성했다면 목적에 따라 더 의미 있는 결과를 얻을 수 있습니다.

따라서 조사 인원을 확인하는 것과 표본이 적절한지를 확인하는 것은 별개의 문제입니다.

‘몇 명인가’는 표본의 크기에 대한 질문이고, ‘누구인가’는 표본의 구성에 대한 질문입니다.

큰 숫자가 두 번째 문제까지 해결해주지는 않습니다.

자발적으로 참여한 사람만 모이면 결과가 달라질 수 있다

조사 대상이 만들어지는 과정도 중요합니다.

인터넷에서 “여러분은 어떻게 생각하십니까?”라는 설문을 본 사람이 원하는 경우에만 참여하는 방식이 대표적입니다.

이런 조사에는 해당 문제에 관심이 많은 사람이 적극적으로 참여할 가능성이 있습니다.

특히 매우 만족하거나 매우 불만인 사람이 자신의 의견을 표현하려는 동기가 더 클 수도 있습니다.

반면 특별한 의견이 없는 사람은 설문을 그냥 지나칠 수 있습니다.

이렇게 응답자가 스스로 참여 여부를 결정하면서 특정 성향을 가진 사람이 더 많이 들어오는 현상을 자발적 참여에 따른 편향으로 설명할 수 있습니다.

그렇다고 온라인 자율 설문이 아무 가치가 없다는 뜻은 아닙니다.

그 설문에 참여한 사람들의 반응을 파악하는 데는 사용할 수 있습니다.

다만 그 결과를 전체 국민이나 전체 소비자의 의견처럼 확대해서 표현하면 문제가 생깁니다.

그래서 “찬성 70%”라는 숫자를 발견했을 때 숫자만 확인해서는 부족합니다.

누가 참여할 수 있었고, 사람들은 어떤 방식으로 모집됐는지를 함께 살펴봐야 합니다.

조사에서 빠진 사람을 찾아보면 결과가 보인다

조사 대상 설명을 읽을 때 제가 특히 확인하고 싶은 것은 포함된 사람보다 빠진 사람입니다.

예를 들어 모바일 앱 만족도 조사를 앱 안에서만 실시했다고 해보겠습니다.

현재 앱을 사용하고 있는 사람에게는 설문이 노출됩니다.

그런데 앱 사용이 너무 불편해 이미 삭제한 사람에게는 설문이 나타나지 않습니다.

그렇다면 이 조사가 측정하는 것은 현재 이용자의 만족도에 가깝습니다.

과거 이용 경험이 있는 모든 사람의 만족도를 측정한 것은 아닙니다.

온라인 쇼핑몰도 비슷합니다.

최근 구매 고객에게 만족도를 물었다면 구매를 포기한 사람의 경험은 조사에 들어가지 않습니다.

배송까지 완료된 고객만 조사했다면 주문 과정에서 취소한 사람도 빠질 수 있습니다.

이때 높은 만족도가 나왔다고 해서 결과가 잘못된 것은 아닙니다.

다만 정확한 표현은 ‘조사에 포함된 고객의 만족도’입니다.

누가 빠졌는지를 찾으면 그 조사 결과를 어디까지 적용할 수 있는지도 자연스럽게 보입니다.

조사 결과를 보면 세 줄만 찾아본다

긴 조사보고서를 처음부터 끝까지 읽지 않아도 기본적인 확인은 가능합니다.

결과를 보기 전에 조사 개요에서 세 가지를 찾아보면 됩니다.

조사 대상은 누구인가.

예를 들어 전국 성인인지, 기존 고객인지, 특정 서비스를 이용한 사람인지 확인합니다.

어떻게 대상자를 선정했는가.

무작위로 선정했는지, 특정 회원에게 조사했는지, 누구나 참여할 수 있는 온라인 설문이었는지 살펴봅니다.

누가 조사에서 제외됐는가.

연령이나 지역 등의 조건으로 제외됐는지, 서비스를 중단한 사람이나 비이용자가 처음부터 조사 대상이 아니었는지도 확인합니다.

이 세 가지를 알고 나면 80%라는 숫자의 범위를 정할 수 있습니다.

‘전체 사람의 80%’인지, ‘현재 이용 고객의 80%’인지, ‘설문에 자발적으로 참여한 사람의 80%’인지가 구분되기 때문입니다.

80%보다 먼저 그 100%가 누구인지 확인한다

조사 결과에서 80%, 90% 같은 숫자는 눈에 잘 들어옵니다.

하지만 그 비율을 계산하려면 먼저 100%에 해당하는 집단이 정해져 있어야 합니다.

그 집단이 누구인지 모르면 80%라는 숫자도 정확하게 해석할 수 없습니다.

현재 고객 1,000명 가운데 800명이 추천했다면 ‘현재 고객 조사에서 추천 비율 80%’라는 의미가 있습니다.

특정 커뮤니티 회원 1,000명 가운데 800명이 찬성했다면 ‘그 커뮤니티 조사에서 찬성 80%’입니다.

두 숫자가 똑같다고 해서 전체 사회의 80%가 같은 의견이라고 말할 수는 없습니다.

그래서 앞으로 ‘10명 중 8명’, ‘만족도 90%’, ‘응답자의 70%가 찬성’ 같은 조사 결과를 발견했다면 퍼센트 계산부터 볼 필요는 없습니다.

먼저 조사 개요에서 한 줄을 찾으면 됩니다.

조사 대상: ○○○.

그 한 줄이 숫자의 범위를 결정합니다.

결국 조사에서 가장 먼저 확인해야 할 질문은 “몇 명이 답했을까?”만이 아닙니다.

“도대체 누구에게 물었을까?”

그 질문에 답할 수 있어야 80%가 누구의 80%인지 알 수 있습니다.