Классификация марковских цепей по асимптотическим свойствам
10.1. Пусть - марковская цепь. Обозначим - марковский момент первого попадания в состояние после момента времени , т. е. . Обозначим
Очевидно, что при это переходная вероятность за один шаг из состояния в .
Обозначим .
Предложение 44.
Доказательство. Пусть - момент первого попадания в состояние . Из этого определения следует, что . Очевидно, что , так как
Заметим, что , поэтому в силу строго марковского свойства, имеем
Доказательство закончено.
10.2. Обозначим - вероятность того, что за бесконечное число шагов однородная марковская последовательность попадет из состояния в .
Определение. Состояние называется возвратным, если . Если , то состояние называется невозвратным.
Определение. называется средним временем до возвращения в состояние . Говорят, что состояние положительно, если . Состояние называется нулевым, если .
Теорема 45 (критерий возвратности). 1) Пусть имеется однородная марковская цепь (ОМЦ). Состояние возвратно тогда и только тогда, когда .
2) Если - возвратное состояние и сообщается с , то - возвратное состояние.
Доказательство. 1) Так как , то
Значит
.
Отсюда следует, что тогда и только тогда, когда
Утверждение ii) очевидным образом следует из i).
Следствие 46. Если ряд сходится, то состояние - невозвратное.
Дата добавления: 2015-01-18 | Просмотры: 553 | Нарушение авторских прав
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 |
|