On the convergence of successive approximations in dynamic programming with non-zero terminal reward

Abstract

This paper considers the convergence of the finite-horizon optimal value functions of dynamic programming to the infinite-horizon optimal value function, when there is a non-zero terminal-reward function. The model and methods follow closely these used by Schäl in a recent paper, in which a terminal reward of zero was assumed. We first present convergence conditions that are direct extensions of Schäl's, then related conditions in which the terminal-reward function is an upper or lower bound for the infinite-horizon optimal value function. Some applications to problems in queueing control are mentioned briefly. We also comment on the relation between our conditions and the more restrictive conditions of strongly convergent and contractive models, and present a very general result concerning uniqueness of the solution to the infinite-horizon optimality equation.

Zusammenfassung

In der Arbeit wird die Konvergenz von Wertfunktionen dynamischer Optimierungsprobleme mit endlichem Planungshorizont gegen die Wertfunktionen bei unendlichem Planungshorizont betrachtet, wobei die Endauszahlung verschieden von Null ist. Modell und Vorgehensweise lehnen sich an entsprechende Resultate von Schäl an für den Fall, daß die Endauszahlung Null ist. Zunächst werden Konvergenzbedingungen angegeben, welche unmittelbare Erweiterungen der Schälschen Ergebnisse sind, gefolgt von Bedingungen, bei denen die Endauszahlung eine obere oder untere Schranke für die Endauszahlung bei unendlichem Planungshorizont ist. Einige Anwendungen auf Probleme der Steuerung von Warteschlangen werden erwähnt. Ferner werden der Zusammenhang zwischen unseren Bedingungen und den restriktiveren Bedingungen bei stark konvergenten und Kontraktions-Modellen erläutert und ein sehr allgemeines Modell über die Eindeutigkeit der Lösung der Optimalitätsgleichung bei unendlichem Planungshorizont angegeben.