Статистическое оценивание

Параметр и процедура

Параметр θ описывает неизвестный закон, а оценка — функция случайных данных. До сбора выборки оценка случайна; после подстановки наблюдений мы получаем её реализацию — конкретное число. Качество процедуры оценивают не по одному удачному набору, а по её поведению при повторных выборках из модели.

Три разных свойства

Несмещённость означает, что среднее оценки равно параметру при каждом допустимом θ. Состоятельность — сходимость оценки к параметру по вероятности при увеличении объёма данных. Эффективность требует указать класс сравнения и критерий: например, наименьшую дисперсию среди несмещённых оценок. Несмещённая оценка не обязательно состоятельна и не обязательно минимизирует среднеквадратичную ошибку.

Набросок разложения ошибки

Прибавьте и вычтите среднее оценки внутри квадрата ошибки. После раскрытия скобок перекрёстное слагаемое исчезает, потому что центрированная оценка имеет нулевое ожидание. Остаётся дисперсия плюс квадрат смещения. Поэтому небольшое смещение иногда компенсируется заметным уменьшением разброса.

Пример со средним

У независимых одинаково распределённых наблюдений с конечным средним выборочное среднее несмещённо и состоятельно. При конечной дисперсии σ² его дисперсия равна σ²/n. Но использование только первого наблюдения для любого n тоже может быть несмещённым и при этом не давать состоятельной процедуры.

Все свойства зависят от статистической модели. Смещённая выборка населения, зависимость измерений или смена режима могут нарушить условия ещё до вычисления формулы.

Три примера

1. Для 40 независимых Бернулли с p=0,2 доля успехов имеет ожидание 0,2 и дисперсию 0,2·0,8/40=0,004.
2. Оценка с дисперсией 0,01 и смещением 0,1 имеет MSE=0,01+0,01=0,02.
3. Оценка θ̂=X1 для среднего нормальной модели несмещённа, но её дисперсия не уменьшается с ростом числа доступных наблюдений, если остальные данные игнорируются.