Abstract
In this article we present a generalization of Markov Decision Processes with discreet time where the immediate rewards in every period are not deterministic but random, with the two first moments of the distribution given.
Formulas are developed to calculate the expected value and the variance of the reward of the process, which formulas generalize and partially correct other results. We make some observations about the distribution of rewards for processes with limited or unlimited horizon and with or without discounting.
Applications with risk sensitive policies are possible; this is illustrated in a numerical example where the results are revalidated by simulation.
Resumen
En este artículo se presenta una generalización de los procesos de decisión markovianos en tiempo discreto: las ganancias en el tránsito de un estado a otro no son deterministas sino aleatorias; de las funciones de distribución se suponen conocidos únicamente los dos primeros momentos.
Se deducen fórmulas para calcular la esperanza matemática y la varianza de la ganancia total del proceso en horizonte finito o infinito y con o sin descuento. Se hacen algunas observaciones sobre la función de distribución de la ganancia total.
Los resultados tienen interés para introducir la noción de riesgo en la búsqueda de políticas óptimas.
Este trabajo amplía y corrige resultados de otros autores, ilustrándolo con un ejemplo numérico.
Similar content being viewed by others
References
D.B. Brown, H.F. Martz Jr., A.G. Walvekar: “Dynamic programming for the conservative decision maker”, Opsearch, Vol. 6, No. 4 (December 1969), p. 283–294.
E.V. Denardo: “Contraction mappings in the theory underlying dynamic programming”, SIAM Rev., Vol. 9, No. 2 (April 1967), p. 165–177.
J. Goldwerger: “Dynamic programming for a stochastic markovian process with an application to the mean variance models”, Management Sci., Vol. 23, No. 6 (February 1977), p. 612–620.
R.A. Howard: “Dynamic programming and Markov processes”, Wiley, New York, 1960.
Author information
Authors and Affiliations
Rights and permissions
About this article
Cite this article
Benito, F. Calculating the variance in Markov-processes with random reward. Trabajos de Estadistica y de Investigacion Operativa 33, 73–85 (1982). https://doi.org/10.1007/BF02888435
Issue Date:
DOI: https://doi.org/10.1007/BF02888435