Utility, probabilistic constraints, mean and variance of discounted rewards in Markov decision processes

Summary

This paper deals with discounted Markov decision processes, Markov with respect to a finite statespaceI, where for eachi∈I, and each decision epocht, there is a finite action space K(i, t). The paper is concerned with problems which are formulated in terms of the discounted rewards in several ways. In order to ensure that optimal, or near optimal, policies are obtained, the state spaceI is extended to augmented state-spaces A(n), or A(^∞), including the accumulated discounted rewards. Specimen problems are formulated and some computational aspects examined.

Zusammenfassung

Es werden diskontierte Markovsche Entscheidungsprozesse behandelt mit endlichem Zustandsraum I, wobei die Mengen der zulässigen Entscheidungen K(i, t) vom Zustandi∈ I und vom Zeitpunktt abhängen können. Es werden verschiedene Zielfunktionen betrachtet, die jeweils als Funktion des diskontierten Gesamtgewinns (nicht dessen Erwartungswerts) formuliert werden. Um optimale oder fast-optimale Politiken zu erhalten ohne die gesamte Vorgeschichte zu registrieren, wird der Zustandsraum um die akkumulierten diskontierten Auszahlungen erweitert. Eine Auswahl solcher Probleme wird exemplarisch diskutiert einschließlich einiger Aspekte der numerischen Behandlung.