A finite algorithm for the switching control stochastic game

Summary

In this paper two-person zero-sum stochastic games are considered with the average payoff as criterion. It is assumed that in each state one of the players governs the transitions. We will establish an algorithm, which yields in a finite number of iterations the solution of the game i.e. the value of the game and optimal stationary strategies for both players. An essential part of our algorithm is formed by the linear programming problem which solves a one player control stochastic game. Furthermore, our algorithm provides a constructive proof of the existence of the value and of optimal stationary strategies for both players. In addition, the finiteness of our algorithm proves also the ordered field property of the switching control stochastic game.

Zusammenfassung

Wir betrachten stochastische Zweipersonen-Nullsummenspiele mit der durchschnittlichen Auszahlung als Kriterium. Wir nehmen an, daß in jedem Zustand einer der Spieler das Übergangsgesetz kontrolliert und entwickeln einen Algorithmus, der nach endlichen vielen Iterationsschritten die Lösung des Spiels — d. h. den Spielwert und optimale stationäre Strategien für beide Spieler — liefert. Ein wesentlicher Teil unseres Algorithmus besteht aus dem linearen Programm, das ein stochastisches Spiel löst, bei dem ein Spieler das Übergangsgesetz bestimmt. Darüber hinaus geben wir mit unserem Algorithmus einen konstruktiven Beweis der Existenz des Spielwertes und optimaler stationärer Strategien für beide Spieler. Weiter zeigt die Endlichkeit unseres Algorithmus die “ordered field property” stochastischer Spiele mit wechselnder Kontrolle des Übergangsgesetzes.