Проверка статистических гипотез

Решение относительно модели

Статистическая гипотеза ограничивает неизвестный закон. Нулевая гипотеза H0 задаёт модель для оценки редкости данных, альтернативная H1 — вид отклонения, который нас интересует. До анализа выбирают статистику, направление альтернативы и уровень значимости.

Ошибки первого и второго рода

Ошибка первого рода — отклонить истинную H0; тест уровня α контролирует её вероятность сверху в указанной модели. Ошибка второго рода — не отклонить H0 при конкретной альтернативе. Мощность равна единице минус вероятность второй ошибки и зависит от величины эффекта, объёма выборки и теста.

Что значит p-value

p-value — вероятность при нулевой модели получить значение выбранной статистики не менее экстремальное, чем наблюдаемое. Это не вероятность истинности H0, не размер эффекта и не вероятность повторения вывода. Если p≤α, процедура отклоняет H0; если p>α, данных недостаточно для отклонения, но H0 не доказана.

Набросок t-теста и дискретный случай

В независимой нормальной выборке при верной гипотезе о среднем статистика с исправленным S имеет закон Стьюдента. Два симметричных хвоста дают двухстороннее p-value. При S=0 указанная статистика не определена; автоматически объявлять убедительный результат нельзя.

Для точного двухстороннего биномиального теста здесь используется соглашение: суммируются нулевые вероятности всех k с массой не больше массы наблюдаемого k. В дискретном случае существуют другие соглашения, поэтому способ удвоить один хвост не всегда эквивалентен.

Многократный перебор гипотез и остановка в момент «значимости» меняют риск ошибок. Учебный калькулятор не заменяет план исследования и поправки на множественные сравнения.

Три примера

1. При p=0,03 и заранее выбранном α=0,05 H0 отклоняют; при α=0,01 — не отклоняют.
2. Если среднее совпадает с μ0 и S>0, t=0 и двухстороннее p-value равно 1.
3. Пять орлов из пяти при честной монете дают двухстороннее p-value 2/32=1/16: так же экстремальны пять решек.