Decisions opposite markov chains

Zusammenfassung

Dieser Aufsatz untersucht den Einfluß von Zufallsveränderungen innerhalb der Zustände der Natur auf die Wahl einer optimalen Entscheidung. Es wird angenommen, daß die Veränderungen der (endlich vielen) Zustände eine Markoffkette bilden (eine homogene irreduzible Markoffkette erster Ordnung). Ist zu Beginn des Prozesses eine a-priori-Verteilung gegeben, dann kann das Bayes-Risiko einer Entscheidung d als gewogenes Mittel von solchen Bayes-Risiken dargestellt werden, die nicht von den a-priori-Wahrscheinlichkeiten sondern allein von den Übergangswahrscheinlichkeiten abhängen. Daher lassen sich von der a-priori-Verteilung unabhängige Schranken für dieses Risiko angeben.

Das Verhalten der optimalen Entscheidung zur Zeit t wird für t → ∞ untersucht. Zu einer ergodischen Markoffkette gibt es eine eindeutige stationäre a-priori-Verteilung, in bezug auf die die optimale Entscheidung während der ganzen Zeit unverändert bleibt; aber auch für jede andere a-priori-Verteilung kann man sich bei längerer Dauer des Prozesses nach dem Bayes-Risiko bezüglich der Grenzverteilung richten. Ist die Markoffkette doppelt stochastisch, ist die Lösung von Laplace auf lange Sicht optimal.

Schließlich kann mit Hilfe der früher angegebenen Schranken (s.o.) nach t Schritten eine verbesserte Minimaxregel angegeben werden, die die Information ausnutzt, daß der Prozeß schon t Perioden durchlaufen hat.

Résumé

Cette étude analyse l’influence de variations aléatoires des états de la réalité sur le choix d’une décision optimale. Il est supposé que les variations des états (il s’agit d’un nombre fini d’états) forment une chaîne de Markov (une chaîne markovienne de premier ordre, homogène et irréductible). Une distribution a-priori donnée au commencement du procès, le risque de Bayes d’une décision d peut etre représenté comme moyenne ponderée de tels risques de Bayes qui ne dépendent pas des probabilités a-priori, mais seulement des probabilités de transition. Par conséquent, pour ce risque on peut indiquer des limites indépendantes de la distribution a-priori.

La conduite de la décision optimale au moment t est examinée pour t → ∞. Pour une chaîne ergodique de Markov, il y a une distribution a-priori unique et stationnaire, de manière que la décision optimale reste la même pendant tout le temps; mais pour chacune des autres distributions aussi on est en mesure d’appliquer le risque de Bayes en ce qui concerne la distribution limitationale, à condition que le processus dure plus longtemps. Si la chaîne de Markov est doublement stochastique, à la longue la solution de Laplace sera optimale.

Finalement à l’aide des limites déjà mentionnées (voir plus haut), on peut indiquer une règle minimaximum améliorée qui utilise l’information que le processus a déjà parcouru un nombre de t périodes.

Summary

This paper studies the effect of random variations in the states of nature on the choice of an optimal decision. The variations of the (finitely many) states are supposed to form a Markov chain (first order homogeneous irreducible Markov chain). If a prior distribution at the beginning of the process is given, the Bayes’ risk of a decision d is shown to be a weighted mean of Bayes’ risks, which do not depend on the prior probabilities, but only on the transition probabilities. Therefore, bounds for this risk may be given independently of the prior distribution.

The behaviour of the optimal decision at time t is examined for t → ∞. For an ergodic Markov chain there is a unique stationary a priori-distribution such that the optimal decision remains the same throughout time; but for any other prior distribution as well one may eventually concentrate on the Bayes’ risk with respect to the limit distribution. If the Markov chain is doubly stochastic, then Laplace’s solution will be optimal in the long run.

Finally, by means of the bounds given earlier (see above), after t steps an improved minimax rule may be given utilizing the information that the process has been at work for t steps.