Как статистика вводит в заблуждение

Число верно, вывод неверен

Статистическая ошибка не всегда находится в арифметике. Можно точно посчитать среднее добровольных ответов и без оснований распространить его на всех людей. Можно честно показать два столбца, но скрыть, что вертикальная ось начинается почти на уровне меньшего значения. Проверка вывода начинается с вопроса, что именно измерено и с чем сравнивается.

Смещение отбора означает систематическое отличие доступных объектов от целевой совокупности. Увеличение числа таких наблюдений не устраняет смещение автоматически. Пропуски и отказ отвечать также могут быть связаны с изучаемым признаком.

Проценты и визуальный масштаб

Всегда указывайте знаменатель и период. Рост доли с 10% до 15% равен 5 процентным пунктам и 50% относительно исходной доли. Для столбиков длина обычно кодирует величину, поэтому обрезанная нулевая линия требует особенно ясного предупреждения. В линейном графике ненулевая нижняя граница может быть полезна для деталей, если шкала заметна.

Три примера

1. Число заявок выросло с 20 до 30: абсолютный рост 10, относительный $10/20=0.5$, то есть 50%. Обратное падение с 30 до 20 составляет $10/30$, а не 50%.
2. В маленькой группе средний балл 90 у 10 человек, в большой — 60 у 90. Общее среднее $(900+5400)/100=63$, а не среднее групповых средних 75.
3. В жаркие дни одновременно чаще покупают холодные напитки и чаще используют вентиляторы. Связь объясняется общей причиной — температурой; покупка напитка сама по себе не доказана как причина включения вентилятора.

Вопросы к любому выводу

Кто попал в данные? Кто отсутствует? Какие единицы и границы осей? Показан ли разброс кроме среднего? Есть ли контроль смешивающих факторов? Указаны ли неопределённость и размер выборки? Даже корректная связь в имеющихся данных не гарантирует такую же связь в другой стране, периоде или группе.