숫자가 선명할수록 조심해야 합니다
설문이나 상담 기록을 모아 보면 몇 건 안 되는 자료에서도 뚜렷한 차이가 보일 때가 있습니다. 그럴 때는 이 차이를 전체의 특징으로 설명하고 싶어집니다. 그러나 표본이 작을수록 한두 건의 변화가 비율을 크게 흔듭니다. 열 건 중 한 건이 달라지면 비율은 곧바로 10퍼센트포인트가 움직이지만, 천 건 중 한 건은 거의 표시되지 않습니다. 그래서 보고서에 숫자를 옮기기 전에, 이 자료가 어떤 질문에 답할 수 있는 크기인지부터 판단해야 합니다.
판단의 출발점은 비율 앞에 응답 수와 선정 방식을 함께 적는 것입니다. 이 두 가지가 빠진 비율은 읽는 사람이 규모를 짐작할 수 없게 만듭니다.
비율과 건수를 한 문장에 담습니다
다섯 명 중 네 명이 같은 답을 했다면 80퍼센트라고만 적을 때와 '다섯 명 중 네 명'이라고 적을 때 전해지는 인상은 크게 다릅니다. 앞의 표기는 큰 조사처럼 읽히고 뒤의 표기는 소규모 관찰로 읽힙니다. 후자가 실제 자료의 크기를 정확히 전합니다.
여기에 조사한 기간과 응답을 모은 경로를 덧붙입니다. 자발적으로 답한 사람만 포함되었는지, 특정 채널에서만 모았는지에 따라 결과의 의미가 달라지기 때문입니다. 답하지 않은 사람의 생각까지 이미 확인한 것처럼 추정하는 표현은 쓰지 않습니다.
표기에 익숙해지려면 보고서 서식 자체에 건수 칸을 고정해 두는 방법이 있습니다. 표의 첫 열에 응답 수를 두고 비율은 그 옆에 놓으면, 작성자도 읽는 사람도 규모를 잊지 않습니다. 건수가 아주 적은 항목은 비율을 아예 생략하고 건수만 적는 선택도 가능합니다.
비교하는 두 집단의 조건을 맞춰 봅니다
두 집단의 차이를 보고하려면 두 집단이 비교할 만한 조건인지 먼저 확인해야 합니다. 한쪽은 최근에 이용을 시작한 사람이고 다른 쪽은 오래 이용한 사람이라면, 차이는 방식의 효과가 아니라 이용 기간에서 비롯되었을 수 있습니다.
시간에 따른 변화를 볼 때도 주의가 필요합니다. 질문 문구가 바뀌었거나 설문이 놓인 위치가 달라졌다면 같은 비율이라도 이어서 비교하기 어렵습니다. 이런 경우에는 확정적인 순위를 매기기보다, 관찰된 패턴과 아직 확인하지 못한 질문을 나란히 적는 편이 정확합니다.
분기나 월 단위로 같은 문항을 반복해서 묻는다면 한 번의 결과보다 여러 번에 걸쳐 같은 방향이 이어지는지를 살피는 편이 안전합니다. 한 번 눈에 띈 변화가 다음 조사에서 사라지는 일은 작은 자료에서 흔하게 나타납니다.
그래프는 차이를 키우지 않도록 그립니다
작은 자료를 그래프로 그리면 눈에 보이는 인상이 말보다 강하게 남습니다. 축의 시작점을 잘라 두 건과 세 건의 차이를 아주 긴 막대로 표현하면, 실제로는 한 건 차이인데도 큰 격차처럼 읽힙니다. 축의 범위와 단위를 확인하고, 막대 위나 아래에 실제 건수를 함께 적는 것이 좋습니다.
분모가 다른 비율을 나란히 놓을 때에는 각 집단의 건수를 밝힙니다. 중복해서 답할 수 있는 문항이었는지, 응답이 빠진 건은 어떻게 처리했는지도 표 아래에 짧게 설명해 두면 읽는 사람이 해석을 스스로 점검할 수 있습니다.
결론을 읽는 사람이 의사결정에 쓸 수 있도록, 확인된 내용과 아직 모르는 내용을 문단으로 나누어 쓰면 좋습니다. 모르는 부분을 숨기지 않고 밝히면 보고서의 신뢰가 오히려 높아집니다.
결론은 자료가 말한 범위 안에서 씁니다
결론 문단에는 자료의 범위를 한 번 더 적습니다. '이번에 확인한 사례에서는'이라고 쓸 수는 있어도 '모든 고객은'이라고 단정할 근거는 대체로 부족합니다. 추가 조사를 계획한다면 어떤 집단과 어떤 기간을 보완할지를 구체적으로 적습니다.
적은 자료가 쓸모없다는 뜻은 아닙니다. 현장에서 어떤 질문이 오가는지 발견하는 데에는 작은 자료도 충분히 도움이 됩니다. 다만 자료가 말하지 않은 부분까지 확정된 사실로 바꾸지 않아야 다음 결정에 쓸 수 있는 보고서가 됩니다.
같은 조건으로 반복할 수 있게 남겨 둡니다
마지막으로 질문지와 응답자를 포함한 기준을 보관합니다. 다음 조사에서 같은 조건을 적용하면, 달라진 결과가 자료 자체의 변화인지 조사 방법의 차이인지 나누어 볼 수 있습니다. 표본이 작다는 이유로 자료를 버리기보다 한계를 기록하고 후속 확인에 활용하는 편이 실무에서 더 유용합니다. 구체적인 분석 방식은 조사의 목적과 대상에 따라 달라지므로, 보고서를 쓰는 환경에 맞게 확인 항목을 조정하시기 바랍니다.