Формула Байеса

От наблюдения обратно к источнику

Формула Байеса отвечает на обратный вопрос: если событие $A$ уже наблюдалось, насколько вероятна гипотеза $H_j$? До наблюдения её вес $P(H_j)$ называют априорным, после — апостериорным $P(H_j\mid A)$.

Величина $P(A\mid H_j)$ описывает правдоподобие наблюдения при гипотезе. Она не равна обратной условной вероятности. Частый результат у редкого источника может всё равно чаще происходить у распространённого источника.

Формула следует из равенства двух способов записать пересечение: $P(H_j\cap A)=P(H_j)P(A\mid H_j)=P(A)P(H_j\mid A)$. Деление допустимо при $P(A)>0$. В знаменателе применяют полную вероятность по разбиению гипотез.

Нормировка и смысл

Сначала считают вклад каждой гипотезы в наблюдение, затем делят её вклад на сумму всех вкладов. Полученные апостериорные веса неотрицательны и в сумме равны единице.

Нельзя игнорировать исходную распространённость гипотез. Также необходимо включить все способы получения наблюдения. Если модель пропустила возможный источник, вычисление может быть арифметически правильным, но отвечать на неполный вопрос.

При нулевой вероятности наблюдения формула не определена. Это повод проверить модель, а не подставлять условную вероятность ноль произвольно.

Школьный уровень

Байес относится здесь к углублённому маршруту 10 класса. Его не объявляют отдельной обязательной темой базового уровня. Смысл обновления можно понять через конечные урны, без дополнительных методов статистического оценивания.

Три примера

1. Две урны выбирают поровну. Вероятности красного в них $0{,}8$ и $0{,}2$. После красного вероятность первой урны $0{,}4/(0{,}4+0{,}1)=0{,}8$.
2. Источник A даёт $60\%$ деталей, его доля дефектов $2\%$; у оставшегося источника доля $5\%$. Среди дефектных вероятность A равна $0{,}012/(0{,}012+0{,}020)=0{,}375$.
3. Если наблюдение одинаково вероятно при всех гипотезах и его вероятность положительна, общий множитель сокращается. Апостериорные веса совпадают с априорными: наблюдение ничего не различает.