Stochastische Simulationsverfahren

Zusammenfassung

Dieses Kapitel widmet sich der numerischen Simulation von Wahrscheinlichkeitsverteilungen. Dazu beschäftigen wir uns zunächst mit der Erzeugung von gleichverteilten Zufallszahlen mit dem Computer. Mit Hilfe solcher Pseudozufallszahlen können dann vorgegebene diskrete und stetige Verteilungen simuliert werden. Zum Abschluß dieses Kapitels wird das Monte-Carlo-Verfahren zur numerischen Integration behandelt.

Übungsaufgaben

Aufgabe 15.1

(lineare Kongruenzgeneratoren)

• a) Überprüfen Sie, ob die linearen Kongruenzgeneratoren mit den Parametern

  • $m = 9973$, $a = 3432$ und $b = 6789$

  • $m = 2048$, $a = 1229$ und $b = 1$

  jeweils eine maximale Periodenlänge haben.

• b) Betrachten Sie den linearen Kongruenzgenerator mit den Parametern $m = 64$, $a = 7$ und $b = 6$. Geben Sie Startwerte $z_0$ an, so dass die resultierenden Folgen Periodenlängen von 1, 2 und 8 haben.

Aufgabe 15.2

(RANDU) Der lineare Kongruenzgenerator RANDU ist durch die Parameter $m = 2^{31}$, $a = 2^{16}+3$ und $b = 0$ gegeben.

• a) Zeigen Sie, dass die $z_i$ für alle $i\in \mathbb {N}$ der folgenden Aussage genügen:

  $$ z_{i+2} - 6 z_{i+1} + 9 z_i\in 2^{31}\mathbb {Z}. $$

• b) Um Pseudozufallszahlen in [0, 1] zu erhalten, setzen wir $x_i\mathrel {\mathrel {\mathop :}=}z_i/2^{31}$. Für $i\in \mathbb {N}$ ein $j\in \mathbb {Z}$ definieren wir nun die Punkte ${{\boldsymbol{p}}}_i$ und die Ebenen $E_j$ durch

  $$ {{\boldsymbol{p}}}_i\mathrel {\mathrel {\mathop :}=}[x_i, x_{i+1}, x_{i+2}]^\intercal , \quad E_j\mathrel {\mathrel {\mathop :}=}\big \{{{\boldsymbol{y}}}\in \mathbb {R}^3 : 9 y_1 - 6 y_2 + y_3 = j\big \}. $$

  Zeigen Sie, dass für jedes $i\in \mathbb {N}$ ein $j_i\in \mathbb {Z}$ existiert mit ${{\boldsymbol{p}}}_i\in E_{j_i}$, das heißt, die Punkte ${{\boldsymbol{p}}}_i$ liegen auf den Ebenen $E_j$.

• c) Wie groß ist der Abstand zwischen den Ebenen $E_j$ und $E_{j+1}$?

• d) Wie viele der Ebenen $E_j$ schneiden den Einheitswürfel ${[0,1]}^3$?

Aufgabe 15.3

(bedingte Verteilung) Für zwei stetige Zufallsvariablen X und Y definieren wir

$$ \mathbb {P}(\{Y\le y\}|\{ X = x\})\mathrel {\mathrel {\mathop :}=}\lim _{h\searrow 0} \mathbb {P}(\{Y\le y\} |\{x \le X \le x+h\}). $$

Seien nun X und Y auf [0, 1] gleichverteilt und g(x) eine Dichtefunktion auf [0, 1].

• a) Zeigen Sie die Identität

  $$ \mathbb {P}\big (\{Y\le g(X)\}|\{X=x\}\big ) = g(x). $$

• b) Beweisen Sie mit Hilfe von Riemann-Summen die Gleichung

  $$ \mathbb {P}\big (\{Y \le g(X)\}\big ) = \int _0^1\mathbb {P}\big (\{Y\le g(X)\}|\{X =x\}\big ){\text {d}}\!x. $$

Aufgabe 15.4

(Varianzreduktion) Sei $X$ eine exponentialverteilte Zufallsvariable mit Parameter $\lambda >0$. Wir betrachten das Monte-Carlo-Verfahren zur Approximation des Erwartungswerts $\lambda$ von $X$. Die Samples von $X$ lassen sich konstruieren durch

$$ X_i=\frac{1}{\lambda } \log (U_i), $$

wobei $U_i$ unabhängige und gleichverteilte Zufallsvariablen auf $[0,1]$ sind. Der Monte-Carlo-Schätzer für den Erwartungswert lautet dann

$$ \mathbb {E}[X] \approx \frac{1}{n} \sum _{i=1}^{n} X_i. $$

Die Varianz dieses Monte-Carlo-Schätzers geht in die Fehlerabschätzung des Erwartunsgwerts ein. Zeigen Sie, dass sich die Varianz des Schätzers verringern lässt, indem man die Samples $X_i$ durch die Samples $Y_i$ ersetzt, wobei $Y_i$ gegeben ist durch

$$ Y_i= \frac{1}{2\lambda } \big (\log (U_i) +\log (1-U_i)\big ). $$

Aufgabe 15.5

(Importance Sampling) Eine Methode zur Varianzreduktion bei Monte-Carlo-Verfahren ist das Importance Sampling. Grob gesagt wird bei dieser Methode die Dichtefunktion, bezüglich derer das Monte-Carlo-Verfahren durchgeführt wird, derart geändert, dass die modifizierte Dichtefunktion groß ist, wo der Integrand große Werte besitzt, und klein ist, wo der Integrand kleine Werte besitzt. Dieses Vorgehen lässt sich durch die Integraltransformation

$$ \int _{-\infty }^\infty f(x)\rho (x) {\text {d}}\!x = \int _{-\infty }^\infty h(x) \frac{\rho (x)}{\mu (x)} \mu (x) {\text {d}}\!x= \int _{-\infty }^\infty \tilde{f}(x) \mu (x) {\text {d}}\!x $$

beschreiben. Als Beispiel betrachten wir die Funktion $f(x)=10 e^{-5|x-2|}$ und eine standardnormalverteilte Zufallsvariable $X$. Zu bestimmen sei der Erwartungswert

$$ \mathbb {E}[f(X)]=\int _{-\infty }^\infty f(x) \frac{e^{-\frac{x^2}{2}}}{\sqrt{2\pi }} {\text {d}}\!x. $$

Wir verwenden hierfür einen Monte-Carlo-Schätzer, der $n$ zufällige, standardnormalverteilte Realisierungen von $X$ mittelt. Wie verändert sich die Varianz des Schätzers, falls ein Importance Sampling bezüglich der Dichtefunktion

$$\begin{aligned} \mu (x)= \frac{1}{\sqrt{2\pi }} e^{-\frac{(x-2)^2}{2}} \end{aligned}$$

durchgeführt wird?

Aufgabe 15.6

(Kontrollvariable) Eine Möglichkeit der Varianzreduktion beim Monte-Carlo-Verfahren zur Bestimmung des Integrals

$$ \int _{0}^1 f(x){\text {d}}\!x $$

ist die Verwendung einer Kontrollvariablen. Mit Hilfe einer Funktion $g(x)$, deren Integralwert bekannt ist, lässt sich das gesuchte Integral umschreiben zu

$$ \int _{0}^1 f(x){\text {d}}\!x= \int _{0}^1 \big (f(x)-g(x)\big ){\text {d}}\!x+\int _{0}^1 g(x){\text {d}}\!x $$

Somit muss man lediglich das Monte-Carlo-Verfahren für das erste Integral auf der rechten Seite anwenden. Zeigen Sie, dass dabei nun die Varianz von $f-g$ in die Fehlerabschätzung des Monte-Carlo-Verfahrens eingeht. Bestimmen Sie die Varianzreduktion anhand des konkreten Beispiels $f (x) = 4x(1 - x)$ und der Kontrollvariablen $g(x) = \sin (\pi x)$.