Separable Markovian decision problems

Summary

Separable Markovian decision problems have the property that for certain pairs (i, a) of a statei and an actiona: (i) the immediate reward is the sum of terms due to the current state and action (r_ia=S_i+t_a), (ii) the transition probability depends only on the action and not on the state from which the transition occurs. The separable model was studied already in the late sixties. For the discounted case and the unichain undiscounted case a reduced LP formulation was given, which involves a substantially smaller number of variables than in the LP formulation of a general Markov decision problem. It was unknown whether such an efficient formulation was also possible in the multichain case. This paper solves this problem: such an efficient formulation can be obtained. Some applications of separable models are also presented.

Zusammenfassung

Separabele Markoffsche Entscheidungsprobleme haben die Eigenschaft, daß für gewisse Paare (i, a) von Zuständeni und zugehörigen Aktionena gilt: (i) die unmittelbare Auszahlung ist die Summe zweier Terme, von denen der eine nur vom Zustand und der andere nur von der Aktion abhängt (r_ia=s_i+t_a), (ii) die Übergangswahrscheinlichkeiten hängen nur von der Aktion ab und nicht vom Zustand, in dem diese Aktion gewählt wurde. Dieses Modell wurde schon gegen Ende der Sechziger Jahre untersucht. Es wurde bewiesen, daß diskontierte Probleme und undiskontierte Probleme mit nur einer rekurrenten Klasse als lineare Programme mit weniger Variablen als im allgemeinen Modell formuliert werden können. Es war bisher unbekannt, ob auch für undiskontierte Modelle mit mehreren rekurrenten Klassen eine Formulierung mit weniger Variablen existiert. Dieses Problem wird in der vorliegenden Arbeit gelöst: eine solche Formulierung ist möglich. Abschließend werden einige Anwendungen von separablen Modellen angegeben.