Die Singulärwertzerlegung

Zusammenfassung

In diesem Kapitel beschäftigen wir uns mit einer weiteren Matrixzerlegung, der sogenannten Singulärwertzerlegung (oft abgekürzt als SVD, was vom englischen Begriff singular value decomposition stammt). Diese Zerlegung spielt in vielen Anwendungen von der Bildkompression bis hin zur Modellreduktion und Statistik eine zentrale Rolle. Der wesentliche Grund dafür ist, dass die Singulärwertzerlegung die beste Approximation durch Matrizen von kleinem Rang ermöglicht.

Aufgaben

• 19.1 Zeigen Sie, dass die Frobenius-Norm und die 2-Norm von Matrizen unitär invariant   sind, dass also $\Vert PAQ\Vert _F=\Vert A\Vert _F$ und $\Vert PAQ\Vert _2=\Vert A\Vert _2$ für alle $A\in \mathbb {C}^{n,m}$ und unitären Matrizen $P\in \mathbb {C}^{n,n}$, $Q\in \mathbb {C}^{m,m}$ gilt. (Hinweis: Für die Frobenius-Norm kann man $\Vert A\Vert _F^2={{\,\textrm{Spur}\,}}(A^HA)$ benutzen.)

• 19.2 Benutzen Sie das Ergebnis von Aufgabe 19.1, um zu zeigen, dass $\Vert A\Vert _F=\left( \sigma _1^2+\ldots \right.$ $\left. +\sigma _r^2\right) ^{1/2}$ und $\Vert A\Vert _2=\sigma _1$ gelten, wenn $A\in \mathbb {C}^{n,m}$ die Singulärwerte $\sigma _1\ge \cdots \ge \sigma _r>0$ hat. (Hieraus folgt die Ungleichung $\Vert A\Vert _2\le \Vert A\Vert _F$.)

• 19.3 Zeigen Sie, dass $\Vert A\Vert _2=\Vert A^H\Vert _2$ und $\Vert A\Vert _2^2=\Vert A^HA\Vert _2$ für alle $A\in \mathbb {C}^{n,m}$ gilt.

• 19.4 Zeigen Sie, dass $\Vert A\Vert _2^2\le \Vert A\Vert _1\,\Vert A\Vert _\infty$ für alle $A\in \mathbb {C}^{n,m}$ gilt.

• 19.5 Sei $A\in \mathbb {C}^{n,m}$ und sei $A^\dagger \in \mathbb {C}^{m,n}$ die Moore-Penrose-Inverse von A. Zeigen Sie folgende Aussagen:

  • (a) Ist ${{\,\textrm{Rang}\,}}(A)=m$, so gilt $A^\dagger =(A^HA)^{-1}A^H$.

  • (b) Die Matrix $X=A^\dagger$ ist die eindeutig bestimmte Matrix, die die folgenden vier Bedingungen erfüllt:

    • (1) $AXA=A$,

    • (2) $XAX=X$,

    • (3) $(AX)^H=AX$,

    • (4) $(XA)^H=XA$.

  • (c) Es gilt $(A^\dagger )^\dagger =A$.

  • (d) Die Matrix $AA^\dagger$ ist die Orthogonalprojektion auf ${{\,\textrm{Bild}\,}}(A)$ und $A^\dagger A$ ist die Orthogonalprojektion auf ${{\,\textrm{Bild}\,}}(A^H)$ (jeweils bezüglich des Standardskalarprodukts).

• 19.6 Sei $A\in \mathbb {C}^{n,m}$ mit ${{\,\textrm{Rang}\,}}(A)=m\le n$. Zeigen Sie, dass $A^\dagger$ die eindeutige Lösung von $\min _{X\in \mathbb {C}^{m,n}}\,\Vert I_n-AX\Vert _F$ ist.

• 19.7 Seien

  $$\begin{aligned} A = \left[ \begin{array}{lr} 2 &{} 1 \\ 0 &{} 3 \\ 1 &{} -2 \end{array}\right] \in \mathbb {R}^{3,2}, \quad b = \left[ \begin{array}{r} 5 \\ 2 \\ -5 \end{array}\right] \in \mathbb {R}^{3,1}. \end{aligned}$$

  Berechnen Sie die Moore-Penrose-Inverse von A und geben Sie ein $\widehat{x} \in \mathbb {R}^{2,1}$ an, so dass

  • $\Vert b-A \widehat{x}\Vert _2 \le \Vert b-A{y}\Vert _2$ für alle $y \in \mathbb {R}^{2,1}$ und

  • $\Vert \widehat{x}\Vert _2 \le \Vert y\Vert _2$ für alle $y \in \mathbb {R}^{2,1}$ mit $\Vert b-A y \Vert _2 = \Vert b-A \widehat{x}\Vert _2$

  gilt.

• 19.8 Beweisen Sie den folgenden Satz:

  Seien $A\in \mathbb {C}^{n,m}$ und $B\in \mathbb {C}^{\ell ,m}$ mit $m\le n\le \ell$. Es gilt $A^HA=B^HB$ genau dann, wenn $B=UA$ für eine Matrix $U\in \mathbb {C}^{\ell ,n}$ mit $U^HU=I_n$ ist. Falls A und B reell sind, kann U ebenfalls reell gewählt werden.

  (Hinweis: Die eine Richtung ist trivial. Für die andere Richtung betrachten Sie die unitäre Diagonalisierung von $A^HA=B^HB$. Diese liefert Ihnen die Matrix W in der Singulärwertzerlegung von A und in der von B. Zeigen Sie nun die Aussage unter Ausnutzung dieser beiden Zerlegungen. Diesen Satz und seine Anwendungen findet man im Artikel [HorO96].)