Computation of optimal policies in discounted semi-Markov decision chains

Summary

The control of a finite-state semi-Markov process is investigated. In each state, a finite number of actions is available. Each action determines reward rates and transition rates to the other states. These rates depend on the holding time in the state and the actions can be changed at any point in time — not just at transition times. The goal is to find a policy that maximizes the expected discounted reward. A method of successive approximations is shown to converge to the optimal present value of the process and determines an ε-optimal policy. When the reward and transition rates are piecewise-constant in the holding time, it is shown that an ε-optimal policy can be computed exactly in finite time. The above method is shown to be much faster than a more standard algorithm operating by discretization of the holding times.

Zusammenfassung

Die vorliegende Arbeit befaßt sich mit Semi-Markov-Entscheidungsprozessen mit endlichem Zustandsraum. In jedem Zustand steht eine endliche Anzahl Aktionen zur Verfügung. Jede Aktion legt Gewinn- und Übergangsraten zu anderen Zuständen fest. Die Aktionen dürfen aber im vorliegenden Falle zu beliebigen Zeitpunkten und nicht nur bei den Übergängen geändert werden. Das Ziel der Arbeit ist die Bestimmung der optimalen Politik, die den erwarteten Gewinn maximiert. Auf die eingebettete Markov-Entscheidungskette wird ein Wertiterationsalgorithmus definiert. Wenn die Gewinn- und Übergangsraten stückweise-konstante Funktionen sind, kann eine ε-optimale Politik mit einer endlichen Anzahl Rechenoperationen gefunden werden. Der beschriebene Algorithmus ist viel effizienter als der gewöhnliche Wertiterationsalgorithmus, angewendet auf das Problem nach Diskretisierung der Verweildauer.