Pi,j(m) a une limite (quand
)?
Non: exemple de 3 états dont 2 périodiques
deux états sans transition sortante;
deux autres états avec des probabilités différentes
de transition dans les deux premiers.
Si la configuration initiale est déjà la distribution limite, elle ne va jamais changer
C'est-à-dire que si pj est la limite de Pi,j(m),
.
n équations linéaires en n variables.
(une pour chaque colonne de P)
Non! Le vecteur
est aussi une solution!
(en effet la dernière équation est une combinaison linéaire des autres parce que la matrice est stochastique)
Il faut ajouter une nouvelle équation (indépendante) afin de réduire le nombre de solutions à 1:
.
Il suffit de calculer la probabilité de tomber dans chaque classe finale
La probabilité asymptotique d'être dans l'état i est 0 si i est
un état transitoire et, sinon, la probabilité de tomber dans la classe
finale contenant i multipliée par la probabilité d'être dans l'état i
dans la distribution limite de la chaîne irréductible de cette classe.
Pour chaque état i, définir pi la probabilité de tomber enfin dans la classe finale C.
Si i est dans C, pi=1; si i est dans une autre
classe finale pi=0;
sinon
Il n'y a plus de distribution limite.
Pour tout
il y a une distribution limite valable pour les temps
.
On peut diviser les états persistants en
sous-classes et
calculer une distribution limite sur chaque sous-classe en utilisant
la matrice de transitions en
étapes,
.
Pour savoir la probabilité que, à temps t (t grand) on est dans
un état donné, il faut d'abord calculer la probabilité d'être
tombé dans chaque sous-classe, probabilité qui dépend de
.
(Trivial dans le cas où tous les états sont persistants)
La probabilité limite d'être dans un état i de la sous-classe
S après un nombre d'étapes divisible par
est PS
multiplié par la probabilité de l'état i dans la distribution
limite de S
(probabilité limite dans la chaîne dont les probabilités
de transition sont données par .)