Конечные цепи Маркова
Переходы между состояниями, распределение по шагам и условия стационарного режима.
Перед чтением
Что вы разберёте в этой статье
Переходы между состояниями, распределение по шагам и условия стационарного режима.
Случайный процесс — это случайная величина, меняющаяся со временем или номером шага. Нас интересуют не только отдельные значения, но и зависимость между разными моментами.
- Конечные цепи Маркова
- stochastic-processes
- conditional-probability
Под каждой формулой дана расшифровка величин и условий. Сначала определите, что известно, затем проверьте ограничения и только после этого подставляйте числа.
После теории решите три задачи: простую, среднюю и сложную. Подсказка, шаги решения и ответ открываются отдельно.
Раздел: Случайные процессы · университетский уровень
Память через состояние
Марковское свойство означает: условное распределение следующего состояния при известном прошлом зависит только от текущего состояния. Это не независимость последовательных значений. Состояние должно содержать всю информацию, нужную для прогноза; если его выбрали слишком грубо, свойство может не выполняться.
Однородная конечная цепь
Матрица P не зависит от номера шага. Элемент pij задаёт вероятность перехода из i в j; элементы неотрицательны, строки суммируются в 1. Вместе с начальным распределением матрица определяет закон всей цепи. Вероятность конкретного пути равна начальному весу, умноженному на вероятности его переходов.
Стационарное распределение
Вероятностный вектор π, удовлетворяющий πP=π, не меняется после шага. У конечной цепи такое распределение существует. Для конечной неприводимой цепи оно единственно; если цепь вдобавок апериодична, распределения из любого начального закона сходятся к π. Нельзя обещать сходимость только по существованию решения стационарного уравнения.
Контрпример и набросок расчёта
Цепь из двух состояний, которая каждый раз обязательно переключается, имеет стационарный закон (1/2,1/2). Но при старте в одном состоянии распределение бесконечно чередуется и не сходится. Это период 2.
В двухсостоянийной модели с вероятностью перехода 0→1, равной a, и 1→0, равной b, при a+b>0 стационарный вес состояния 1 равен a/(a+b). Уравнение баланса потоков π0a=π1b вместе с нормировкой выводит формулу. Для более крупных цепей решают линейную систему и отдельно проверяют структуру классов и периодов.
Три примера
- При a=0,2 и b=0,3 стационарная вероятность состояния 1 равна 0,2/0,5=0,4.
- Если обе строки P равны (0,7,0,3), после одного шага распределение равно этой строке независимо от старта.
- У тождественной матрицы каждое состояние поглощающее, поэтому любое начальное распределение стационарно; единственности нет.
Формула, смысл и ограничения
Главные формулы с расшифровкой
Формула словами: Векторы вероятностей — строки; Pij=P(Xn+1=j|Xn=i), каждая строка матрицы переходов имеет сумму 1.
Как применять: Укажите состояние, время, правило перехода и начальное условие; затем отделите один шаг от поведения длинной траектории.
От формулы к наблюдению
Попробуйте самостоятельно
Измените параметры и сопоставьте расчёт с результатами случайного эксперимента.
От простого к сложному
Проверьте себя
Сначала запишите решение самостоятельно. Затем можно открыть намёк, сравнить каждый переход с пошаговым разбором и только после этого посмотреть ответ. Прогресс сохраняется в этом браузере.
P=[[0,8;0,2],[0,3;0,7]], старт в состоянии 0. Найдите вероятность состояния 1 после одного шага.
Принимаются равные дроби и десятичная запись. Бесконечные дроби округляйте минимум до 6 знаков. Для процентов следуйте условию.
Для той же цепи найдите вероятность состояния 1 после двух шагов.
Принимаются равные дроби и десятичная запись. Бесконечные дроби округляйте минимум до 6 знаков. Для процентов следуйте условию.
Для той же цепи найдите стационарную вероятность состояния 1.
Принимаются равные дроби и десятичная запись. Бесконечные дроби округляйте минимум до 6 знаков. Для процентов следуйте условию.
Источники и соглашения
Объяснения и задачи — авторские. Источники помогают проверить определения, условия и школьную привязку. Обозначения и параметризация указаны в статье.