만족도 4.8점이면 모두 만족했을까? 평균점수 뒤에서 사라진 사람들

“이용자 만족도 5점 만점에 4.8점.”

이 정도 점수를 보면 결과는 거의 정해진 것처럼 느껴집니다.

대부분의 이용자가 상당히 만족했고, 불만을 가진 사람은 거의 없었을 것 같습니다.

그런데 4.8이라는 평균점수만으로는 실제 응답자들이 어떻게 평가했는지 알 수 없습니다.

100명이 모두 비슷하게 높은 점수를 줬을 수도 있고, 일부는 매우 낮은 점수를 줬는데 나머지의 높은 점수에 가려졌을 수도 있습니다.

평균은 전체 응답을 하나의 숫자로 압축합니다.

편리한 대신 그 과정에서 사라지는 정보가 있습니다.

바로 점수가 어떻게 흩어져 있는지입니다.

같은 평균 4점인데 평가는 전혀 다를 수 있다

먼저 단순한 두 집단을 만들어보겠습니다.

A 서비스 이용자 10명이 모두 4점을 줬습니다.

4, 4, 4, 4, 4, 4, 4, 4, 4, 4.

평균은 정확히 4점입니다.

이번에는 B 서비스입니다.

5명이 5점을 주고 나머지 5명은 3점을 줬다고 해보겠습니다.

5, 5, 5, 5, 5, 3, 3, 3, 3, 3.

평균은 역시 4점입니다.

결과표에 ‘평균 만족도 4.0’만 표시하면 두 서비스는 똑같아 보입니다.

하지만 이용자의 반응은 다릅니다.

A는 평가가 한곳에 모여 있습니다. 이용자 사이의 의견 차이가 거의 없습니다.

B는 두 집단으로 나뉩니다. 한쪽은 매우 만족했고 다른 쪽은 그보다 낮게 평가했습니다.

평균은 같지만 우리가 알아야 할 내용은 달라졌습니다.

이번에는 차이를 조금 더 크게 만들어보겠습니다.

10명 가운데 8명이 5점을 주고 2명이 1점을 줬다면 평균은 4.2점입니다.

4점을 넘는 높은 평가입니다.

그런데 응답자의 20%는 최저점인 1점을 줬습니다.

평균 4.2라는 숫자만 봤다면 이 두 사람의 강한 불만은 쉽게 보이지 않습니다.

이것이 평균점수가 틀렸다는 뜻은 아닙니다.

평균은 정확하게 계산됐습니다.

다만 평균이 모든 사람의 경험을 보여주는 숫자는 아니라는 것입니다.

만족도 조사에서는 낮은 점수를 준 사람이 더 중요할 때도 있다

제품이나 서비스를 평가할 때 평균점수가 필요한 이유는 분명합니다.

수백 명, 수천 명의 응답을 하나씩 읽을 수 없으니 전체적인 평가 수준을 숫자 하나로 요약할 필요가 있습니다.

문제는 평균만으로 원인을 찾으려고 할 때입니다.

예를 들어 어떤 공공서비스의 만족도가 5점 만점에 4.5점이라고 해보겠습니다.

전체적으로는 상당히 높은 점수입니다.

하지만 연령별로 나눠보니 젊은 이용자는 대부분 5점을 줬고 고령 이용자 가운데 낮은 점수가 집중돼 있을 수도 있습니다.

또는 서비스 속도에는 높은 점수를 줬지만 접근성에는 낮은 점수가 몰려 있을 수도 있습니다.

전체 평균에서는 이런 차이가 하나로 합쳐집니다.

서비스가 전반적으로 좋은 평가를 받았는지를 알고 싶다면 평균 4.5점만으로도 유용합니다.

하지만 무엇을 고쳐야 하는지 알고 싶다면 평균만으로는 부족합니다.

누가 낮은 점수를 줬는지, 어떤 항목에서 낮은 평가가 나왔는지까지 봐야 합니다.

평균점수가 높은데도 불만이 계속 발생하는 상황이 이상하지 않은 이유입니다.

4.8점과 4.6점의 차이보다 먼저 볼 것이 있다

평균점수는 숫자로 표시되기 때문에 작은 차이도 크게 느껴질 수 있습니다.

A 서비스 4.8점.

B 서비스 4.6점.

숫자만 놓고 보면 A가 더 좋은 서비스라고 판단하기 쉽습니다.

하지만 이 두 숫자를 비교하기 전에 확인해야 할 것이 있습니다.

우선 몇 명이 평가했는지 봐야 합니다.

10명이 평가한 4.8점과 1만 명이 평가한 4.6점은 같은 조건의 숫자가 아닙니다.

그다음에는 평가 분포를 볼 필요가 있습니다.

4.8점 서비스에서 대부분이 5점을 줬는지, 일부의 낮은 평가가 섞여 있는지 확인합니다.

4.6점 서비스 역시 대부분이 4~5점 사이에 모여 있는지, 5점과 1점으로 극단적으로 갈려 있는지에 따라 의미가 달라집니다.

가능하다면 평가가 언제 작성됐는지도 확인할 수 있습니다.

서비스가 개선된 뒤 최근 평가는 좋아졌는데 오래된 낮은 점수가 평균에 남아 있을 수도 있고, 반대로 최근 문제가 발생했는데 과거의 높은 평가 때문에 전체 평균이 아직 높게 유지될 수도 있습니다.

결국 소수점 한 자리의 차이를 정밀하게 비교하기 전에 그 점수가 어떻게 만들어졌는지를 확인해야 합니다.

별점 막대그래프가 평균보다 많은 것을 보여줄 때가 있다

온라인 쇼핑몰이나 앱스토어에서 상품과 서비스를 살펴보면 평균 별점 옆에 5점부터 1점까지의 비율을 막대로 보여주는 경우가 있습니다.

이 부분을 그냥 지나치기 쉽습니다.

하지만 평균만 볼 때보다 실제 평가의 모습을 훨씬 빠르게 파악할 수 있습니다.

예를 들어 평균 별점이 높은데 1점 평가도 유난히 많다면 이유를 찾아볼 필요가 있습니다.

특정 기기에서만 문제가 발생했거나 배송, 내구성, 고객지원처럼 일부 이용자가 반복적으로 겪는 문제가 있을 수 있습니다.

반대로 4점과 5점에 평가가 대부분 모여 있고 1~2점이 거의 없다면 평균점수와 실제 이용자 반응이 비교적 같은 방향을 가리키고 있다고 볼 수 있습니다.

여기서 중요한 것은 낮은 별점 몇 개가 있다고 무조건 문제가 있는 상품이라고 판단하는 것도 아니라는 점입니다.

어떤 제품이든 불만을 가진 이용자는 존재할 수 있습니다.

봐야 할 것은 낮은 점수가 존재하느냐가 아니라 어떻게 분포하고 있으며 특정 불만이 반복되고 있느냐입니다.

숫자에서 분포를 확인하고, 필요하다면 실제 낮은 평가의 내용을 읽어보는 순서가 더 유용합니다.

평균을 버리는 것이 아니라 평균 다음 숫자를 보는 것이다

평균의 한계를 이야기하다 보면 평균점수 자체를 믿지 말아야 한다는 결론으로 흐르기 쉽습니다.

그럴 필요는 없습니다.

평균은 많은 평가를 빠르게 요약하는 데 매우 유용합니다.

두 시기의 만족도가 어떻게 변했는지 확인하거나 여러 서비스의 전반적인 평가 수준을 비교할 때도 사용할 수 있습니다.

다만 평균 하나가 모든 질문에 답하지 못할 뿐입니다.

평균은 전체적인 수준을 보여줍니다.

분포는 사람들이 그 평균 주변에 어떻게 모여 있는지를 보여줍니다.

응답자 수는 그 평균이 몇 사람의 평가로 만들어졌는지를 알려줍니다.

세 가지가 서로 다른 정보를 가지고 있습니다.

따라서 평균 4.8점을 봤을 때 해야 할 일은 “평균은 믿을 수 없어”라고 생각하는 것이 아닙니다.

4.8이 어떻게 만들어졌는지를 한 번 더 확인하는 것입니다.

4.8이라는 숫자 옆을 한번 더 본다

앞으로 만족도 조사나 상품 별점에서 높은 평균점수를 발견했다면 세 가지를 확인해볼 수 있습니다.

첫째, 몇 명이 평가했는가.

둘째, 5점부터 1점까지 점수가 어떻게 분포돼 있는가.

셋째, 유난히 낮은 평가가 있다면 같은 이유가 반복되고 있는가.

평균이 높고 평가 인원도 충분하며 높은 점수에 응답이 고르게 모여 있다면 4.8점이라는 숫자를 이해할 근거가 더 많아집니다.

반대로 평균은 높지만 평가 인원이 매우 적거나 특정 집단의 낮은 점수가 평균 뒤에 숨어 있다면 숫자 하나만으로 판단하기 어렵습니다.

평균은 많은 정보를 짧게 보여주기 위해 만들어진 숫자입니다.

그 과정에서 세부적인 차이가 사라지는 것은 자연스럽습니다.

그래서 평균 4.8점을 봤다면 숫자를 의심하기 전에 그 옆을 한 번 더 보면 됩니다.

몇 명이, 어떤 점수를 줘서 4.8이 됐는가.

그 질문 하나가 평균점수 뒤에 가려졌던 실제 평가의 모습을 보여줍니다.