작은 숫자가 크게 보이는 순간
설문이나 문의 기록을 정리하다 보면 몇 건 안 되는 자료에서 뚜렷한 차이가 보일 때가 있습니다. 그러면 그 차이를 전체 이용자의 특성처럼 설명하고 싶어집니다. 하지만 자료가 적을수록 한두 건만 달라져도 비율이 크게 움직입니다. 지난달과 이번 달의 차이가 실제 변화인지 우연인지 구분하기 어렵다는 뜻입니다.
따라서 보고서에 비율을 적을 때는 분모가 되는 응답 수와 수집한 방법을 함께 제시해야 합니다. 자료가 어떤 질문에 답할 수 있는지 판단하는 일은 비율보다 앞서 조건을 밝히는 데서 시작됩니다.
실무에서는 보고서를 받는 사람이 숫자만 보고 방향을 정하는 일이 흔합니다. 그래서 작성하는 쪽에서 이 숫자는 몇 건에서 나온 것이며 어디까지 말할 수 있는지를 먼저 밝혀 두면, 같은 자료를 두고 서로 다른 결론을 내리는 일을 줄일 수 있습니다. 적은 자료일수록 설명하는 문장이 길어지는 것은 자연스러운 일입니다.
비율 옆에 실제 건수를 함께 적습니다
다섯 명 중 네 명이 같은 답을 했다면 80퍼센트라는 표기는 정확하지만 규모는 전혀 전해지지 않습니다. 읽는 사람은 수백 명 중 80퍼센트와 같은 무게로 받아들일 수 있습니다. 그래서 건수와 조사 기간을 괄호 안에라도 함께 적는 습관이 필요합니다.
응답자가 누구인지도 확인합니다. 자발적으로 답한 사람만 포함됐는지, 특정 채널이나 시간대에서만 모았는지에 따라 의미가 달라집니다. 답하지 않은 사람의 생각을 이미 조사한 것처럼 추정하는 문장은 피합니다. 관심이 많은 사람이 설문에 더 잘 응하는 경향이 있다는 점만 고려해도 결과를 읽는 태도가 한결 신중해집니다.
비교하는 두 집단의 조건 살피기
두 집단을 비교할 때는 두 집단이 같은 조건이었는지 먼저 봅니다. 한쪽은 최근에 이용을 시작한 사람이고 다른 쪽은 오래 이용한 사람이라면 차이는 안내 방식이 아니라 이용 경험의 길이에서 비롯됐을 수 있습니다. 조사 시점이 다르거나 응답을 받은 경로가 다른 경우에도 마찬가지입니다.
질문 문구가 바뀌었거나 설문이 놓인 위치가 달라졌다면, 같은 항목의 비율을 시간 순서대로 이어 붙여 읽기 어렵습니다. 이런 경우에는 확정적인 순위를 매기기보다 관찰된 경향과 아직 확인하지 못한 질문을 나누어 적는 편이 정확합니다. 비교표를 만들 때 비교 가능한 항목에만 표시를 하는 방법도 도움이 됩니다.
그래프와 표에서 생기는 착시
작은 자료를 시각화할 때는 축의 범위와 단위를 먼저 확인합니다. 두 건과 세 건의 차이를 지나치게 늘린 막대로 그리면 실제보다 큰 차이처럼 보입니다. 분모가 서로 다른 비율을 나란히 놓을 때는 각 집단의 건수를 같이 표시해야 합니다.
표 아래에는 누락된 응답을 제외했는지, 중복 선택이 가능했는지 같은 설명을 짧게 덧붙입니다. 이런 주석은 번거로워 보여도 나중에 다른 사람이 같은 표를 읽을 때 불필요한 해석 논쟁을 줄여 줍니다. 가능하다면 막대 위에 퍼센트와 건수를 함께 적어 시각적 인상과 실제 크기가 어긋나지 않게 합니다.
결론 문장의 범위를 자료에 맞추기
결론에는 자료의 범위를 다시 한 번 적습니다. 이번에 확인한 사례에서는 이런 경향이 보였다는 문장은 쓸 수 있어도, 모든 고객이 그렇다는 문장은 근거가 부족할 수 있습니다. 표현의 강도를 자료의 크기에 맞추면 보고서의 신뢰도는 오히려 높아집니다.
추가 조사를 계획한다면 어떤 집단과 기간을 보완할지 구체적으로 적어 둡니다. 적은 자료도 현장에서 어떤 질문이 나오는지 발견하는 데에는 충분히 쓸모가 있습니다. 다만 그 자료가 말하지 않은 부분까지 사실로 바꿔 적지 않는 것이 핵심입니다. 의사결정에 쓰는 보고서라면 이 결론이 틀렸을 때 어떤 일이 생기는지도 한 줄 덧붙여 둡니다.
다시 수집할 수 있게 기준을 남기기
마지막으로 질문지와 포함 기준을 보관합니다. 다음 조사에서 같은 조건을 적용하면 변화가 자료 자체의 차이인지 방법의 차이인지 나누어 볼 수 있습니다. 표본이 작다는 이유로 자료를 버리기보다 한계를 기록하고 후속 확인에 쓰는 것이 실무에서는 더 유용합니다. 보고서를 확정하기 전에 이 숫자가 몇 건에서 나왔는지 한 번 더 확인해 보시기 바랍니다.
기록해 둘 항목은 많지 않아도 됩니다. 질문 문구, 응답을 받은 기간과 경로, 제외한 응답이 있다면 그 기준 정도만 남겨도 다음 담당자가 같은 방식으로 이어서 조사할 수 있습니다. 이런 기록이 쌓이면 자료가 적던 초기 단계의 관찰을 나중에 더 큰 자료로 검증하는 흐름도 만들 수 있습니다.