Закон больших чисел

Длинная серия устойчивее короткой

В десяти бросках честной монеты семь орлов не выглядят удивительно. В ста тысячах независимых бросков частота обычно гораздо ближе к $0{,}5$. Закон больших чисел объясняет эту стабилизацию. Он не обещает точного равенства частоты и вероятности в конечной серии.

Для независимых испытаний с одинаковой вероятностью успеха $p$ обозначим число успехов в первых $n$ испытаниях через $X_n$. Частота — $X_n/n$. Для любого заранее выбранного допуска $\varepsilon>0$ вероятность отклонения частоты от $p$ более чем на $\varepsilon$ стремится к нулю при росте $n$. Это сходимость по вероятности.

Первое знакомство с законом относится к школьному маршруту 9 класса. Формальная запись сходимости и оценка разброса в этой статье — углубление; краткий фильтр по классу не означает, что всё доказательство обязательно в 9 классе.

Что показывает график

Каждая точка траектории использует все наблюдения до этого момента. Поэтому соседние точки зависимы: это не разные независимые серии. Частота может то приближаться к $p$, то удаляться. Теорема не утверждает монотонного сближения или существования универсального числа бросков, после которого ошибка исчезнет.

Абсолютная разность между числом орлов и половиной числа бросков может расти, пока относительная разность уменьшается. Например, $60$ орлов из $100$ отличаются от половины на $10$, а $5200$ из $10000$ — на $200$. Но ошибка доли уменьшилась с $0{,}1$ до $0{,}02$.

Монета ничего не должна

Если в десяти независимых бросках честной монеты выпали десять орлов, вероятность орла в одиннадцатом остаётся $1/2$. Прошлое не заставляет решку «компенсировать» перевес. Новые наблюдения постепенно уменьшают вес старой короткой серии в общей доле.

Такая компенсация не нужна и для средней частоты. Условное ожидаемое число орлов после ещё $90$ бросков — $10+45=55$, а ожидаемая общая частота — $0{,}55$. Это ожидание, а не предсказание точного результата.

Углубление: насколько уменьшается разброс

В схеме Бернулли дисперсия частоты равна $p(1-p)/n$, а стандартное отклонение — $\sqrt{p(1-p)/n}$. Чтобы уменьшить это стандартное отклонение вдвое, нужно увеличить число испытаний вчетверо. Уменьшение разброса не является жёсткой границей ошибки каждой серии.

Для независимых одинаково распределённых числовых величин с конечным математическим ожиданием существует и общая версия закона: выборочное среднее приближается к ожиданию. Это более широкое утверждение; формула $p(1-p)/n$ относится именно к частоте индикаторов успеха.

Три примера

1. При $p=0{,}5$ и $n=100$ стандартное отклонение частоты $\sqrt{0{,}25/100}=0{,}05$. Это $5$ процентных пунктов, не $5\%$ относительной ошибки.
2. При тех же условиях, но $n=400$, стандартное отклонение $0{,}025$. Число испытаний выросло в четыре раза, разброс уменьшился в два.
3. После $20$ бросков было $10$ орлов: ошибка частоты нулевая. Следующий орёл даёт $11/21\approx0{,}524$, и ошибка возрастает. Один такой шаг полностью совместим с законом больших чисел.