La probabilité d'une transition de l'état à l'état
dans
transitions est la somme pour tout
de la
probabilité d'une transition de
à
dans la première
transition suivie d'une transition de
à
dans la deuxième:
La probabilité d'une transition de l'état à l'état
dans
transitions est la somme pour tout
de la
probabilité d'une transition de
à
dans les premières
transitions suivie d'une transition de
à
dans la dernière:
Calcul qui peut être fait de façon efficace par calcul des carrés
Pour n'importe quelle configuration initiale (un seul état ou une distribution aléatoire entre plusieurs), les probabilités du système doivent converger sur la même distribution limite
Si la configuration initiale est déjà la distribution limite, elle ne va jamais changer
C'est-à-dire que si est la limite de
,
.
équations linéaires en
variables.
(une pour chaque colonne de )
Non! Le vecteur
est aussi une solution!
(en effet la dernière équation est une combinaison linéaire des autres parce que la matrice est stochastique)
Il faut ajouter une nouvelle équation (indépendante) afin
de réduire le nombre de solutions à :
.
Il suffit de calculer la probabilité de tomber dans chaque classe finale
La probabilité asymptotique d'être dans l'état est
si
est
un état transitoire et, sinon, la probabilité de tomber dans la classe
finale contenant
multipliée par la probabilité d'être dans l'état
dans la distribution limite de la chaîne irréductible de cette classe.
Choisir une classe finale et pour chaque
état
, définir
la probabilité de tomber enfin
dans
.
Si est dans
,
; si
est dans une autre
classe finale
;
sinon
Il n'y a plus de distribution limite.
Pour tout il y a une distribution limite valable pour les temps
.
On divise les états persistants en les sous-classes et on
calcule une distribution limite sur chaque sous-classe en utilisant
la matrice de transitions en
étapes,
.
Pour savoir la probabilité que, à temps (
grand) on est dans
un état donné, il faut d'abord calculer la probabilité d'être
tombé dans chaque sous-classe, probabilité qui dépend de
.
Trivial dans le cas où tous les états sont persistants;
sinon pareil au calcul des probabilités de tomber dans chacune
des classes finales