Coût moyen d'une transition: de l'état i:
|
Tendance vers la moyenne:
Le coût moyen par transition tend vers g où g est le coût moyen d'une transition dans la distribution limite P
On peut facilement calculer g:
|
on peut calculer l'espérance du coût d'une transition:
|
Le nombre de politiques possibles peut être trop grand pour permettre
de calculer le g de chacune
et peut-être ce n'est pas la politique possédant le plus petit
g qu'il convient de choisir...
Actualisation: Un euro aujourd'hui est plus utile qu'un euro l'année
prochaine;
Un coût d'un euro aujourd'hui est plus grave qu'un pareil coût
l'année prochaine;
On veut calculer les coûts sur la supposition qu'un euro au temps t vaut r euros au temps t+1; 0 < r < 1.
Rapport avec le taux d'intérêt: si le taux réel d'intérêt
(payé ou reçu) est t, on a
r = 1/(1+t).
|
Système non singulier: on peut calculer les vi de ces équations parce que r < 1.
Le coût dans la distribution limite: Si le coût moyen d'une transition dans la distribution limite (sans actualisation) est g, le coût (total) si on commence dans cette distribution est g(1+r+r2 +r3 ¼) = g/(1-r). Donc g rt /(1-r) est une approximation au coût à partir de temps t (t grand et la chaîne régulière).
Existence d'algorithmes assez efficaces qui convergent sur une politique
optimale.