Klasyfikacja stanów Mówi się, że: stan jest osiągalny ze stanu jeśli dla pewnego stany i są skomunikowane, jeśli są wzajemnie osiągalne. Oznaczenie:
Można wykazać, że relacja skomunikowania jest relacją równoważności. Zatem zbiór możliwych stanów można podzielić na klasy abstrakcji względem tej relacji. Każda z klas tworzy zbiór stanów wzajemnie skomunikowanych.
Stany chwilowe i rekurencyjne Niech oznacza prawdopodobieństwo tego, że startując ze stanu łańcuch kiedykolwiek do niego powróci. Jeśli to stan nazywany jest rekurencyjnym. Jeśli to stan nazywany jest chwilowym.
Każdy stan jest albo chwilowy albo rekurencyjny. Stan jest rekurencyjny wtedy i tylko wtedy, gdy:
Rozkład stacjonarny Rozkład prawdopodobieństw na przestrzeni stanów nazywany jest stacjonarnym wtedy i tylko wtedy, gdy spełniony jest warunek:
tj.
gdzie jest takim wektorem wierszowym, że:
Jeśli rozkład początkowy jest stacjonarny, to każdy kolejny rozkład również jest stacjonarny.
Może nie istnieć żaden, istnieć jeden lub więcej niż jeden rozkład stacjonarny dla danego procesu.
Zobacz też własność Markowa
Przypisy