Акушерство Анатомия Анестезиология Вакцинопрофилактика Валеология Ветеринария Гигиена Заболевания Иммунология Кардиология Неврология Нефрология Онкология Оториноларингология Офтальмология Паразитология Педиатрия Первая помощь Психиатрия Пульмонология Реанимация Ревматология Стоматология Терапия Токсикология Травматология Урология Фармакология Фармацевтика Физиотерапия Фтизиатрия Хирургия Эндокринология Эпидемиология

Марковские цепи

Прочитайте:

9.1. Пусть на стохастическом базисе задана марковская случайная последовательность со значениями в и переходной вероятностью .

Определение. Пусть Е - не более чем счетное множество (т. е. либо конечное, либо счетное), тогда марковская последовательность называется марковской цепью.

Обозначим через - одноточечное множество. Пусть B любое подмножество множества Е. Очевидно, что . Пусть - переходная вероятность. Очевидно, что .

Обозначим - вероятность перехода последовательностью из состояния в момент времени s в одноточечное множество в момент времени .

Определение. Марковская цепь называется однородной, если , т. е. переходная вероятность зависит только от разности . Если , то - переходная вероятность за один шаг, которую мы будем обозначать через для однородных марковский цепей.

Везде ниже будем рассматривать только однородные марковские цепи.

Займемся теперь классификацией состояний.

9.2. Определение. Состояние достижимо из состояния за n шагов (обозначаем ), если .

Теорема 38. Если состояние достижимо из , a достижимо из , то достижимо из .

Доказательство. Так как , то и , то , то в силу соотношения Чепмена - Колмогорова, имеем . Доказательство закончено.

9.2.1 Определение. Состояния и называются сообщающимися, если и (обозначается ).

Очевидно, что: 1) ; 2) если , то ; 3) если и , то .

Определение. Говорят, что состояния и принадлежат классу , если существуют моменты времени и такие, что .

Замечание. Класс - это множество состояний марковской цепи, являющихся сообщающимися. Через обозначим класс состояний, которые сообщаются с состоянием .

Теорема 39. Пусть два класса и , причем и . Тогда .

Доказательство теоремы 39. Пусть , следовательно существуют , такие, что . Из соотношения Чепмена - Колмогорова следует . Аналогично , следовательно . Поэтому . Аналогично устанавливается . Следовательно . Доказательство закончено.

Замечания. 1) Теорема 39 полезна тем, что позволяет разбивать множество состояний на классы , причем .

2) Если - счетно, то классов не более, чем счетно.

9.2.2. Определение. Состояние называется существенным, если для .

Определение. Однородная марковская цепь называется неприводимой, если она состоит из одного класса сообщающихся состояний.

Определение. Состояние называется несущественным, если "выйдя" из него нельзя "вернутся" в него с положительной вероятностью за конечное число шагов.

Из этих определений очевидным образом следуют утверждения.

Теорема 40. Пусть - существенное состояние, тогда из него достижимы все существенные состояния.

Теорема 41. Класс сообщающихся состояний состоит либо из существенных, либо из несущественных состояний.

9.3. В данном пункте мы определяем строго марковское свойство однородных марковских цепей, а также покажем, что однородная марковская цепь обладает строго марковскими свойством.

Положим и - однородная марковская цепь. Пусть . Определим на операторы сдвига Для каждой -измеримой случайной величины равенством определим случайную величину

Используя эти обозначения для однородных марковских цепей
- п. н. имеем

где (24)

9.3.1. Определение. Будем говорить, что марковская цепь обладает строго марковским свойством, если для любого марковского момента - п. н. справедливо равенство