- Dans la chaîne de Markov dont la matrice de transitions
est donnée, il y a une classe de passage, une classe finale
apériodique et une classe finale périodique.
Donnez la liste des états de chacune de ces trois classes
et la période et la division en sous-classes de la classe
périodique.
Etats: 1,8; de passage
Etats: 3,4,12; finale apériodique
Etats: (2,7), (6,9,10), (5,11); finale périodique de période 3.
- Quelle est la distribution stationnaire de la classe finale
apériodique?
3/9, 4/9, 2/9 pour les états 3,4, 12.
- Si l'état initial est 1, quelle est la probabilité
d'entrer dans la classe finale apériodique?
p1=.3+0.5p8, p8=.4+0.2p1; donc p1=.55555...
- Choisissez un état de la classe finale périodique
et calculez la probabilité asymptotique d'être dans
cet état quand le nombre de transitions est un multiple
de la période.
Je choisis l'état 2 (et je suppose toujours que l'état 1
est initial):
Dans la puissance 3 de la matrice les seuls éléments
intéressants sont:
Les équations pour les probabilités d'être
dans la sous-classe {2,7} après 3t transitions
(dans la limite) sont: p1=0.02+0.05p8, p8=0.04+0.02p1
avec solution p1=0.22×(1000/999)
La distribution limite à l'intérieur de la sous-classe est
70/128,58/128
Donc la probabilité demandée est de 0.22×(1000/999)×(70/128).