Coût d'une transition:
pour la transition de
à
(ne dépend pas du temps ni de l'histoire)
Coût moyen d'une transition: de l'état
:
Tendance vers la moyenne:
Le coût moyen par transition tend vers
où
est le coût moyen d'une transition dans la distribution limite
On peut facilement calculer
:
La possibilité de choix: supposons que dans l'état
on peut choisir
entre plusieurs décisions et que pour la décision
, la probabilité
d'aller en état
est
avec un coût
on peut calculer l'espérance du coût d'une transition:
Le nombre de politiques possibles peut être trop grand pour
permettre de calculer le
de chacune
et peut-être ce n'est pas la politique possédant le plus petit
qu'il convient de choisir...
Un compromis entre la politique gloutonne et minimiser
Actualisation: Un euro aujourd'hui est plus utile qu'un euro l'année prochaine;
Un coût d'un euro aujourd'hui est plus grave qu'un pareil coût l'année prochaine;
On veut calculer les coûts sur la supposition qu'un euro au temps
vaut
euros au temps
;
.
Rapport avec le taux d'intérêt: si le taux réel d'intérêt (payé ou reçu) est
,
on a
.
de transition de l'état
Système non singulier: on peut calculer les
de ces équations
parce que
.
Le coût dans la distribution limite: Si le coût moyen d'une transition dans
la distribution limite (sans actualisation) est
, le coût (total) si on commence dans cette
distribution est
.
Donc
est une approximation au coût à partir de temps
(
grand et la chaîne régulière).
On peut utiliser l'algorithme d'amélioration d'une
politique initiale: calculer le coût total (avec actualisation)
à partir de
chaque état
; choisir à chaque état
la décision
qui minimise
;
répéter tant qu'il y a une réduction;
(Ca équivaut à
minimiser le coût qu'on aurait si on choisissait une nouvelle
politique pour la première étape et gardait l'ancienne politique
après, ce qui explique pourquoi il y a amélioration)
D'abord avec les décisions
on a:
On choisit
tel que
Les vrais nouveaux coûts sont donnés par:
Donc:
Considérons le
qui donne le minimum de
: on a
pour tout
Finalement on ne peut pas avoir
pour tout
; et donc on a une amélioration pour
tout
...
; (soit aucune solution,
soit plusieurs)
On peut définir
le coût moyen d'une
suite de
transitions à partir de l'état
.
On trouve que
On a
mais ces équations ne suffisent pas (ajout de la même
constante
à chaque
donne une nouvelle solution)
Il faut ajouter
On essaie d'optimiser la politique en utilisant la même idée que dans le cas avec actualisation:
et supposons les coûts actualisés au
début
de l'année)
):
Maintenant on voit qu'une meilleur politique à
)
Donc, une troisième politique:
et
la solution optimale!
Le modèle n'est pas très réaliste (tous les
accidents mineurs n'ont pas le même coût)
mais ce calcul peut aider à prendre de bonnes décisions,
par exemple en l'état
déclarer un sinistre si le coût
est supérieur à
.