Skip to main content

Markov-Ketten

  • 1527 Accesses

Zusammenfassung

Dieses Kapitel ist Markov-Ketten gewidmet. Wir führen wichtige Begriffe wie Irreduzibilität, Aperiodizität und Stationarität ein und zeigen, dass eine reversible, homogene Markov-Kette stationär ist. Als ein bekanntes Beispiel einer stationären Markov-Kette betrachten wir den PageRank-Algorithmus. Schließlich wird das Markov-Ketten-Monte-Carlo-Verfahren zur Simulation der stationären Verteilung eingeführt und analysiert.

This is a preview of subscription content, access via your institution.

Buying options

eBook
USD   24.99
Price excludes VAT (USA)
  • ISBN: 978-3-642-41952-2
  • Instant PDF download
  • Readable on all devices
  • Own it forever
  • Exclusive offer for individuals only
  • Tax calculation will be finalised during checkout
Softcover Book
USD   34.99
Price excludes VAT (USA)

Author information

Authors and Affiliations

Authors

Corresponding author

Correspondence to Helmut Harbrecht .

Übungsaufgaben

Übungsaufgaben

Aufgabe 16.1

(Mischen von Karten) Betrachten Sie einen Stapel Spielkarten bestehend aus n Karten. Ihre Reihenfolge wird repräsentiert durch eine Permutation \(\pi \) der Zahlen \(\{1,2,\ldots , m\}\). Wenn man die Karten mischt, so verändert man ihre Reihenfolge, das heißt, man wendet eine weitere Permutation \(\pi '\) auf die Permutation \(\pi \) an und die Karten haben danach die Reihenfolge \(\pi '\circ \pi \). Bezeichne \(Z_m\) die Menge aller Permutationen von \(\{1,2,\ldots , m\}\).

Starten Sie nun zu einem Zeitpunkt \(t=0\) mit einer gewissen Kartenreihenfolge \(X_0 = \pi _0\in Z_m\). Zum Zeitpunkt \(t > 0\) wählen Sie zufällig eine Permutation \(\pi _t\in Z_m\) mit Wahrscheinlichkeit \(p_{\pi _t}\) und mischen die Karten mittels \(\pi _t\), also \(X_{t+1} = \pi _t\circ X_t\).

  1. a)

    Geben Sie die Übergangswahrscheinlichkeiten \(p_{\pi ,\pi ^\prime }\) für \(\pi ,\pi ^\prime \in Z_m\) an.

  2. b)

    Geben Sie zwei Beispiele für die Verteilung \(\{p_\pi \}_{\pi \in Z_m}\) derart an, dass die Markov-Kette \(\{X_t\}\) irreduzibel beziehungsweise reduzibel ist.

  3. c)

    Zeigen Sie, dass die Übergangsmatrix doppelt stochastisch ist, das heißt, dass sowohl die Zeilensummen als auch die Spaltensummen jeweils Eins ergeben, symbolisch

    $$ \sum _{\pi ^\prime \in Z_m} p_{\pi ,\pi ^\prime } = \sum _{\pi ^\prime \in Z_m} p_{\pi ^\prime ,\pi } = 1 \quad {\text {f}}{\ddot{\text {u}}}{\text {r alle}}\ \pi \in Z_m. $$
  4. d)

    Zeigen Sie, dass die Gleichverteilung auf \(Z_m\) eine stationäre Verteilung für die Markov-Kette ist. Mit anderen Worten, die Wahrscheinlichkeitsverteilung \({\mu } = [\mu _\pi ]_{\pi \in Z_m}\) mit \(\mu _\pi = 1/m!\) für alle \(\pi \in Z_m\) ist stationär.

Aufgabe 16.2

(Computerausstattung) Der Sollstand an Computern in einem Großraumbüro sei \(n\in \mathbb {N}^*\). Am Anfang der Woche t seien \(X_t\in \{0,1,\ldots ,n\}\) Computer intakt. Während dieser Woche fallen davon \(Y_t\) Computer aus. Montags wird die Differenz zum Soll nachbestellt, wobei die Computer erst am Sonntag geliefert werden. In der ersten Woche seien \(X_0\) Computer vorhanden.

  1. a)

    Zeigen Sie die Rekursionsformel

    $$ X_{t+1} = n - Y_t,\quad t=0,1,2,\ldots . $$
  2. b)

    Die Zufallsvariablen \(\{Y_t\}\) seien jeweils gleichverteilt, das heißt

    $$ \mathbb {P}(\{Y_t=k\}|\{X_t=\ell \}) = \frac{1}{\ell +1},\quad k\in \{0,1,\ldots ,\ell \}. $$

    Betrachten Sie die Zufallsvariablen \(\{X_t\}\) als Markov-Kette mit Zustandsraum \(Z\mathrel {\mathrel {\mathop :}=}\{0,1,\ldots ,n\}\). Bestimmen Sie die Übergangswahrscheinlichkeit

    $$ \mathbb {P}(\{X_{t+1}=k\}|\{X_t=\ell \}) $$

    und erstellen Sie die Übergangsmatrix.

  3. c)

    Bestimmen Sie die stationäre Verteilung \(\boldsymbol{\pi }\).

  4. d)

    Berechnen Sie den Erwartungswert der Verteilung \(\boldsymbol{\pi }\) im Fall \(n=5\).

Aufgabe 16.3

(zufällige Irrfahrt) Vorgelegt sei folgender ungerichtete Graph:

figure f

Die Markov-Kette \(\{X_t\}\) modelliere die zufällige Irrfahrt auf diesem Graphen. Dies bedeutet, falls wir zum Zeitpunkt \(t\in \mathbb {N}\) in einem Knoten \(x_i\in V\) sind, dann gehen wir gleichverteilt zu einem der Nachbarknoten.

  1. a)

    Bestimmen Sie die Übergangsmatrix \({{\boldsymbol{P}}}\in \mathbb {R}^{8\times 8}\).

  2. b)

    Zeigen Sie, dass die Verteilung

    $$ {\pi } = \frac{1}{d}\big [\deg (x_1),\deg (x_2),\ldots ,\deg (x_n)\big ]^\intercal $$

    stationär ist, wobei \(d\mathrel {\mathrel {\mathop :}=}\sum _{i=1}^n \deg (x_1)\).

Rights and permissions

Reprints and Permissions

Copyright information

© 2022 Der/die Autor(en), exklusiv lizenziert durch Springer-Verlag GmbH, DE , ein Teil von Springer Nature

About this chapter

Verify currency and authenticity via CrossMark

Cite this chapter

Harbrecht, H., Multerer, M. (2022). Markov-Ketten. In: Algorithmische Mathematik. Springer Spektrum, Berlin, Heidelberg. https://doi.org/10.1007/978-3-642-41952-2_16

Download citation