next up previous
Next: About this document ...

Calcul du comportement asymptotique
(chaînes de Markov finies)
Existence d'une limite?

Pi,j(m) a une limite (quand $m\rightarrow \infty$)?

Non: exemple de 3 états dont 2 périodiques

Si aucun état persistant n'est périodique
En ce cas la limite existe toujours.

La limite peut dépendre de l'état initial
Un exemple simple suffit pour démontrer ça:

deux états sans transition sortante;
deux autres états avec des probabilités différentes de transition dans les deux premiers.

Mais pas s'il y a une seule classe finale

Propriété de stationnarité de la distribution limite
Pour n'importe quelle configuration initiale (un seul état ou une distribution aléatoire entre plusieurs), les probabilités du système doivent converger sur la distribution limite

Si la configuration initiale est déjà la distribution limite, elle ne va jamais changer

C'est-à-dire que si pj est la limite de Pi,j(m), $\sum_i p_i P_{i,j} = p_j$.

n équations linéaires en n variables.
(une pour chaque colonne de P)

Un seul vecteur possède cette propriété?
Ces n équations linéaires suffisent-elles pour déterminer les n variables (valeurs de la distribution limite)?

Non! Le vecteur $(0,0,0,\cdots,0)$ est aussi une solution!

(en effet la dernière équation est une combinaison linéaire des autres parce que la matrice est stochastique)

Il faut ajouter une nouvelle équation (indépendante) afin de réduire le nombre de solutions à 1:

$p_1+p_2+\cdots p_n = 1$.

Le cas de plusieurs classes finales
(non périodiques)

Il suffit de calculer la probabilité de tomber dans chaque classe finale
La probabilité asymptotique d'être dans l'état i est 0 si i est un état transitoire et, sinon, la probabilité de tomber dans la classe finale contenant i multipliée par la probabilité d'être dans l'état i dans la distribution limite de la chaîne irréductible de cette classe.

Pour chaque état i, définir pi la probabilité de tomber enfin dans la classe finale C.

Si i est dans C, pi=1; si i est dans une autre classe finale pi=0; sinon

\begin{displaymath}p_i = \sum_{j=1}^n P_{i,j}p_j\end{displaymath}

(Une équation pour chaque ligne de P)

Le cas périodique

Il n'y a plus de distribution limite.
Pour tout $i<\lambda$ il y a une distribution limite valable pour les temps $\equiv i \pmod{\lambda}$.

On peut diviser les états persistants en $\lambda$ sous-classes et calculer une distribution limite sur chaque sous-classe en utilisant la matrice de transitions en $\lambda$ étapes, ${\bf P}^\lambda$.

Pour savoir la probabilité que, à temps t (t grand) on est dans un état donné, il faut d'abord calculer la probabilité d'être tombé dans chaque sous-classe, probabilité qui dépend de $t \bmod \lambda$.

(Trivial dans le cas où tous les états sont persistants)

Classe finale périodique
et une (ou des) classe(s) de passage
Pour un état initial on calcule les probabilités de tomber dans chaque sous-classe après un nombre d'étapes divisible par la période $\lambda$. (en utilisant la matrice $P^\lambda$);
notons PS cette probabilité pour la sous-classe S

La probabilité limite d'être dans un état i de la sous-classe S après un nombre d'étapes divisible par $\lambda$ est PS multiplié par la probabilité de l'état i dans la distribution limite de S
(probabilité limite dans la chaîne dont les probabilités de transition sont données par $P^\lambda$.)




next up previous
Next: About this document ...
Mike ROBSON
2000-11-13