Coût d'une transition: pour la transition de
à
(ne dépend pas du temps ni de l'histoire)
Coût moyen d'une transition: de l'état :
Tendance vers la moyenne:
Le coût moyen par transition tend vers
où
est le coût moyen d'une transition dans la distribution limite
On peut facilement calculer :
La possibilité de choix: supposons que dans l'état on peut choisir
entre plusieurs décisions et que pour la décision
, la probabilité
d'aller en état
est
avec un coût
on peut calculer l'espérance du coût d'une transition:
Le nombre de politiques possibles peut être trop grand pour
permettre de calculer le de chacune
et peut-être ce n'est pas la politique possédant le plus petit
qu'il convient de choisir...
Un compromis entre la politique gloutonne et minimiser
Actualisation: Un euro aujourd'hui est plus utile qu'un euro l'année prochaine;
Un coût d'un euro aujourd'hui est plus grave qu'un pareil coût l'année prochaine;
On veut calculer les coûts sur la supposition qu'un euro au temps vaut
euros au temps
;
.
Rapport avec le taux d'intérêt: si le taux réel d'intérêt (payé ou reçu) est ,
on a
.
Système non singulier: on peut calculer les de ces équations
parce que
.
Le coût dans la distribution limite: Si le coût moyen d'une transition dans
la distribution limite (sans actualisation) est , le coût (total) si on commence dans cette
distribution est
.
Donc
est une approximation au coût à partir de temps
(
grand et la chaîne régulière).
On peut utiliser l'algorithme d'amélioration d'une
politique initiale: calculer le coût total (avec actualisation) à partir de
chaque état
; choisir à chaque état
la décision
qui minimise
;
répéter tant qu'il y a une réduction;
(Ca équivaut à
minimiser le coût qu'on aurait si on choisissait une nouvelle
politique pour la première étape et gardait l'ancienne politique
après, ce qui explique pourquoi il y a amélioration)
D'abord avec les décisions on a:
On choisit tel que
Les vrais nouveaux coûts sont donnés par:
Donc:
Considérons le qui donne le minimum de
: on a
Finalement on ne peut pas avoir pour tout
; et donc on a une amélioration pour
tout
...
On peut définir le coût moyen d'une
suite de
transitions à partir de l'état
.
On trouve que
On a
mais ces équations ne suffisent pas (ajout de la même
constante à chaque
donne une nouvelle solution)
Il faut ajouter
On essaie d'optimiser la politique en utilisant la même idée que dans le cas avec actualisation:
Donc, une troisième politique:
et
la solution optimale!
Le modèle n'est pas très réaliste (tous les
accidents mineurs n'ont pas le même coût)
mais ce calcul peut aider à prendre de bonnes décisions,
par exemple en l'état
déclarer un sinistre si le coût
est supérieur à
.