Метод моментов и максимальное правдоподобие

Метод моментов

Если модель связывает параметры с математическими ожиданиями, замените теоретические моменты соответствующими выборочными средними и решите уравнения. Для одного параметра часто достаточно одного момента; для нескольких нужны достаточно информативные уравнения. Решение может отсутствовать, быть неединственным или выйти за область параметров.

Максимальное правдоподобие

Правдоподобие рассматривает фиксированные наблюдения как функцию параметра. В независимой выборке это произведение масс или плотностей наблюдений. Ищут допустимый параметр, при котором функция максимальна. Логарифм удобен, поскольку превращает произведение в сумму и не меняет расположение максимума.

Правдоподобие не является автоматически вероятностной плотностью параметра. Для байесовского апостериорного закона нужны априорное распределение и нормировка. Нельзя интерпретировать отношение значений плотности данных как уже готовую вероятность гипотезы.

Набросок вывода для Бернулли

При k успехах в n испытаниях логарифм правдоподобия равен k·log p+(n−k)·log(1−p). Внутренняя критическая точка p=k/n максимальна; при k=0 или k=n максимум находится на границе [0,1]. Метод моментов даёт то же решение, потому что E X=p.

Условия и границы

Обещания состоятельности и асимптотической нормальности MLE требуют идентифицируемости и других условий регулярности. Граница параметра или зависящий от параметра носитель может менять выводы. Например, у равномерного [0,θ] нельзя искать максимум только по производной внутри области: ограничение θ≥max xi существенно.

Три примера

1. В 20 опытах Бернулли 7 успехов: и метод моментов, и MLE дают p̂=7/20=0,35.
2. Для экспоненциальных ожиданий со средним выборки 4 оба метода дают интенсивность λ̂=1/4, а не 4.
3. Для равномерного [0,θ] и данных 1,2,4 метод моментов даёт 2·7/3=14/3, а MLE — максимум выборки 4. Методы могут различаться.