Überbestimmte Systeme, affine Funktionen und die Methode der kleinsten Quadrate

Zusammenfassung

Im Kap. 4 sind lineare Gleichungssysteme  analysiert worden, die gleich viele Gleichungen wie Unbekannte haben. In Anwendungen hat man aber oft mehr Gleichungen als Unbekannte. Dies sind überbestimmte Systeme, die keine Lösungen haben. Mit der Methode der kleinsten Quadrate können solche Systeme analysiert werden. Die Methode der kleinsten Quadrate wird vielseitig benutzt. Sie spielt eine wichtige Rolle in der Statistik, um Regressionsmodelle zu fixieren. Die Methode wird in diesem Kapitel beispielhaft bei affinen Regressionsmodellen angewandt, um unbekannte Parameter zu „fitten“.

Ein überbestimmtes lineares Gleichungssystem

Aufgaben

7.1

Gegeben sind die Matrizes

$$ A= \begin{pmatrix}3 &{} 2 \\ 4 &{} 1 \end{pmatrix},\quad B= \begin{pmatrix}0 &{} -2 \\ 4 &{} 5 \end{pmatrix},\quad C= \begin{pmatrix} 3 &{} 0 &{} 2 \\ 4 &{} 0 &{} 1\end{pmatrix}, \quad D= \begin{pmatrix} 6 &{} 1 &{} -5 \\ 5 &{} -2 &{} 13 \end{pmatrix},\quad F= \begin{pmatrix} 1 &{} 0 \\ 0 &{} 1 \\ 1 &{} 0 \end{pmatrix} $$

Berechnen Sie die folgenden Ausdrücke ohne Rechner oder geben Sie Gründe an, warum sie nicht definiert sind:

• (a) $A+B$, $B+A$, $4\cdot A$, $3\cdot (A-B)$, $B^T + B$, $A+B+C$ und $A-C$

• (b) $A\cdot B$, $B\cdot A$, $A\cdot C$, $C\cdot A$, $F\cdot F^T$, $F^T\cdot F$, $C\cdot D$ und $C\cdot F$

• (c) Kontrollieren Sie die Resultate mit MATLAB oder mit Julia.

7.2

Finden Sie eine $2\times 2$ Matrix $A\not = 0$ mit $A^2=0$.

7.3

Bestimmen Sie den Rechenaufwand an Multiplikationen für die Multiplikation zweier quadratischer $n\times n$ Matrizes.

7.4

Gegeben ist die Matrixgleichung $A\cdot X \cdot B = C$. Dabei ist A eine $3\times 3$ und B eine $5\times 5$-Matrix.

• (a) Welchen Typ haben die Matrizes X und C?

• (b) Die Determinanten der Matrizes A und B seien nicht null. Können Sie die obige Matrixgleichung damit nach X auflösen?

7.5

Man betrachtet die Größe $x = \mathbf {q}^T\cdot C\cdot \mathbf {q}$. In dieser Gleichung ist C eine $6\times 6$-Matrix und $\mathbf {q}$ ein Vektor. Wie viele Komponenten hat der Vektor $\mathbf {q}$? Wie lautet der Typ der Größe x?

7.6

Gegeben ist eine $2\times 3$ Matrix A, eine $3\times 4$ Matrix B und eine $4\times 5$ Matrix C. Wie viele Multiplikationen von reellen Zahlen müssen Sie ausführen, um das Produkt $A\cdot (B\cdot C)$ auszurechnen? Brauchen Sie weniger Multiplikationen, wenn Sie stattdessen $(A\cdot B)\cdot C$ ausrechnen?

7.7

Das lineare Gleichungssystem für die Unbekannten x und y, gegeben durch

$$ \begin{matrix} 3 x &{} + &{} 2 y &{} = &{} 0\\ x &{} + &{}3y &{} = &{} 3\\ 4x &{} - &{}y &{} = &{} 7 \end{matrix} $$

ist überbestimmt. Es hat mehr Gleichungen als Unbekannte.

• (a) Stellen Sie das Gleichungssystem in Matrixform $A\cdot \mathbf {x} = \mathbf {b}$ dar. Welchen Typ haben A, $\mathbf {x}$ und $\mathbf {b}$?

• (b) Wie lauten die Normalgleichungen für x und y?

• (c) Haben die Normalgleichungen eine eindeutige Lösung? Beantworten Sie die Frage mit der Determinante von $A^T\cdot A$.

• (d) Wie lautet die kleinste Quadrate-Lösung des Gleichungssystems $A\cdot \mathbf {x} = \mathbf {b}$? Rechnen Sie dies einmal ohne Computer und einmal mit MATLAB oder mit Julia.

• (e) Wie lautet der Residuenvektor $\mathbf {r} = A\cdot \mathbf {x} -\mathbf {b}$ der kleinsten Quadrate-Lösung? Welche Norm hat er?

• (f) Bestimmen Sie die Moore-Penrose inverse Matrix von A mit MATLAB oder mit Julia.

7.8

Ein lineares, überbestimmtes Gleichungssystem für die Unbekannten $x_1$, $x_2$ und $x_3$ sei gegeben durch

$$ \begin{matrix} 2x_1 &{} + &{} x_2 &{} + &{} x_3 &{} = &{} 10\\ x_1 &{} + &{} x_2 &{} + &{} x_3 &{} = &{} 3\\ 3x_1 &{} +&{}2x_2 &{} -&{} 5x_3 &{} = &{} 20\\ 4x_1 &{} - &{}3x_2 &{} &{} &{} = &{} 12\\ \end{matrix} $$

• (a) Stellen Sie das Gleichungssystem in Matrixform $A\cdot \mathbf {x} = \mathbf {b}$ dar. Welchen Typ haben A, $\mathbf {x}$ und $\mathbf {b}$?

• (b) Wie lautet die kleinste Quadrate-Lösung des Gleichungssystems $A\cdot \mathbf {x} = \mathbf {b}$? Berechnen Sie dies mit MATLAB oder mit Julia.

• (c) Wie lautet der Residuenvektor $\mathbf {r} = A\cdot \mathbf {x} -\mathbf {b}$ der kleinsten Quadrate Lösung? Bestimmen Sie seine Norm.

• (f) Bestimmen Sie die Moore-Penrose inverse Matrix von A mit MATLAB oder mit Julia.

7.9

Eine Ingenieurin weiß, dass die Größe Z von der Steuervariablen S abhängt. Sie modelliert die Abhängigkeit mit einer affinen Funktion

$$ Z = Z(S) = a + b \cdot S $$

Um die Koeffizienten a und b zu bestimmen, macht die Ingenieurin neun Messungen, die in Tab. 7.5 dargestellt sind.

Tab. 7.5 Messungen zu den Größen S und Z

Abb. 7.8

Mit Laserimpulsen gebrannte Löcher (aus [3])

• (a) Speichern Sie die Messwerte in einem CSV-File mit Namen steuer.csv.

• (b) Lesen Sie das CSV-File mit MATLAB oder mit Julia.

• (c) Zeichnen Sie die Messwerte in einem Streudiagramm im (S, Z)-System.

• (d) Bestimmen Sie mit der Methode der kleinsten Quadrate die Parameter a und b der affinen Funktion. Zeichnen Sie sie anschließend die Regressionsgerade in das Streudiagramm ein.

• (e) Lösen Sie die Aufgaben (c) und (d) auch mit EXCEL.

7.10

Ultrakurze Laserpulse mit einer Dauer von wenigen Femtosekunden können benutzt werden, um kleine, gezielte Muster in Halbleiter zu bohren (siehe Abb. 7.8). Die Fläche F der Bohrlöcher hängt vom Logarithmus der Leistung P des Laserpulses ab. Physikalische Überlegungen deuten darauf hin, dass die Abhängigkeit mit der affinen Funktion

$$ F (\ln P) = a + b\cdot \ln P $$

modelliert werden kann. Um die Werte a und b zu bestimmen, wurden elf Messungen durchgeführt, die in Tab. 7.6 dargestellt sind.

• (a) Zeichnen Sie die Messwerte mit einem Streudiagramm im $(\ln P\,| \,F)$-System.

• (b) Bestimmen Sie mit der Methode der kleinsten Quadrate und mit MATLAB (oder mit Julia) die Regressionsgerade $F = a + b\cdot \ln P$. Zeichnen Sie sie anschließend in das Streudiagramm ein.

• (c) Führen Sie die Aufgabe (b) auch mit EXCEL durch.

Tab. 7.6 Messungen von Leistung P (in J/cm$^2$) und durchgebrannte Fläche F (in $\mu$m$^2$), aus [3]

Abb. 7.9

Konturfläche eines Störs mit einer Länge von 64 cm

Tab. 7.7 Massen (in Kilogramm), Konturflächen (in dm$^2$) von 10 Stören aus der Fischzucht der Tropenhaus Frutigen AG (KTI 9029, PFWI-IW, 2007)

Tab. 7.8 Druckdifferenzen (in Pa) und Windgeschwindigkeit v (in km/h) bei der kleinen Scheidegg, wo der Guggiföhn gefährlich werden kann (aus [1])

7.11

In der Fischzucht der Tropenhaus Frutigen AG werden Störe aufgezogen. Dabei ist es wichtig zu wissen, wie groß die Massen m der Fische in den Aufzuchtbecken sind. Man will die Massen der Störe über Fotoaufnahmen ihrer Konturfläche F (siehe Abb. 7.9) mit der affinen Funktion $m= a+b\cdot F$ bestimmen. Tab. 7.7 zeigt Massen und Konturflächen von zehn Stören. Berechnen Sie mit der Methode der kleinsten Quadrate und mit MATLAB, Julia oder EXCEL die Koeffizienten a und b. Zeichnen Sie die gemessenen Werte und die berechnete Regressionsgerade in ein Streudiagramm ein.

7.12

Die Jungfraubahn im Berner Oberland ist im Winterhalbjahr mit auftretenden Windstürmen des Guggiföhns konfrontiert. Aus Druckmessungen der Luft möchte man die durchschnittlich erwartbare Windgeschwindigkeit $\mu _v$ berechnen. Dies soll mit der Druckdifferenz $\varDelta p_1$ zwischen den Standorten Cimetta und Napf und mit der Druckdifferenz $\varDelta p_2$ zwischen den Standorten Corvatsch und Jungfrau geschehen. Dazu wird die affine Funktion

$$ \quad \mu _v = \alpha + \beta \cdot \varDelta p_1 + \gamma \cdot \varDelta p_2 $$

benutzt. Bestimmen Sie die Koeffizienten der affinen Funktion mit der Methode der kleinsten Quadrate. Dazu dienen die 21 Messungen in Tab. 7.8.