奇异值分解——酉相抵标准型

节 8.5 奇异值分解——酉相抵标准型

建设中！

🔗

练习习题

基础题.

🔗

1.

求下列矩阵的奇异值分解：

\(\begin{pmatrix} 1 & 1\\ 1 & 1\\ -1 & -1 \end{pmatrix}\)；
🔗

🔗
\(\begin{pmatrix} 1 & 0 & 1 & 1 \\ 1 & 1 & 0 & 1 \end{pmatrix}\)；
🔗

🔗
\(\begin{pmatrix} 1 & 1 & 1 \\ 1 & 0 & -1\\ 1 & -2 & 1\\ 1 & 1 & 1 \end{pmatrix}\)。
🔗

🔗

🔗

解答.

直接计算可知 \(A^HA=\begin{pmatrix} 3 & 3 \\ 3 & 3 \end{pmatrix}\)，则\(A^HA\)的特征值为

\begin{equation*} \lambda_1 = 6, \lambda_2 = 0, \end{equation*}

对应的单位特征向量为

\begin{equation*} v_1 = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ 1 \end{pmatrix}, v_2 = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ -1 \end{pmatrix}. \end{equation*}

取\(u_1 = \frac{1}{\sqrt{\lambda_1}} A v_1 = \frac{1}{\sqrt{3}} \begin{pmatrix} 1 \\ 1 \\ -1 \end{pmatrix}\)，将其扩充为\(\R^3\)的一组标准正交基

\begin{equation*} u_1 = \frac{1}{\sqrt{3}} \begin{pmatrix} 1 \\ 1 \\ -1 \end{pmatrix}, u_2 = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ -1 \\ 0 \end{pmatrix}, u_3 = \frac{1}{\sqrt{6}} \begin{pmatrix} 1 \\ 1 \\ 2 \end{pmatrix}. \end{equation*}

故矩阵\(A\)的SVD分解为

\begin{equation*} \begin{array}{cl} A & = \begin{pmatrix} u_1 & u_2 & u_3 \end{pmatrix} \begin{pmatrix} \sqrt{6} & 0 \\ 0 & 0 \\ 0 & 0 \end{pmatrix} \begin{pmatrix} v_1 & v_2 \end{pmatrix}^H \\ & = \begin{pmatrix} \frac{1}{\sqrt{3}} & \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}} \\ \frac{1}{\sqrt{3}} & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}} \\ -\frac{1}{\sqrt{3}} & 0 & \frac{2}{\sqrt{6}} \end{pmatrix} \begin{pmatrix} \sqrt{6} & 0 \\ 0 & 0 \\ 0 & 0 \end{pmatrix} \begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \end{pmatrix}. \end{array} \end{equation*}

🔗

🔗
矩阵\(A\)的SVD分解为

\begin{equation*} A = U \begin{pmatrix} \sqrt{5} & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \end{pmatrix} V^H. \end{equation*}

其中\(U = \begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \end{pmatrix}, V = \begin{pmatrix} \frac{2}{\sqrt{10}} & 0 & \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{5}}\\ \frac{1}{\sqrt{10}} & -\frac{1}{\sqrt{2}} & 0 & -\frac{2}{\sqrt{5}}\\ \frac{1}{\sqrt{10}} & \frac{1}{\sqrt{2}} & 0 & -\frac{2}{\sqrt{5}}\\ \frac{2}{\sqrt{10}} & 0 & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{5}} \end{pmatrix}\)。

🔗

🔗
矩阵\(A\)的SVD分解为

\begin{equation*} A = U \begin{pmatrix} \sqrt{6} & 0 & 0 \\ 0 & \sqrt{6} & 0 \\ 0 & 0 & \sqrt{2} \\ 0 & 0 & 0 \end{pmatrix} V^H, \end{equation*}

其中\(U=\begin{pmatrix} \frac{1}{\sqrt{3}} & \frac{1}{\sqrt{6}} & 0 & \frac{1}{\sqrt{2}} \\ 0 & \frac{1}{\sqrt{6}} & 1 & 0 \\ \frac{1}{\sqrt{3}} & -\frac{2}{\sqrt{6}} & 0 & 0 \\ \frac{1}{\sqrt{3}} & \frac{1}{\sqrt{6}} & 0 & -\frac{1}{\sqrt{2}} \end{pmatrix}, V = \begin{pmatrix} \frac{1}{\sqrt{2}} & 0 & \frac{1}{\sqrt{2}} \\ 0 & 1 & 0 \\ \frac{1}{\sqrt{2}} & 0 & -\frac{1}{\sqrt{2}} \end{pmatrix}\)。

🔗

🔗

🔗

2.

设\(A=U\Sigma V^H\)是\(m\times n\)阶矩阵\(A\)的奇异值分解，求\(A^H\)的奇异值分解。

🔗

解答.

将\(A=U\Sigma V^H\)两边取共轭转置：

\begin{equation*} A^H=(U\Sigma V^H)^H=(V^H)^H \Sigma^H U^H=V \Sigma^H U^H, \end{equation*}

这里\(V, U\)是酉矩阵，且\(\Sigma^H=\Sigma^T\)是对角元非负且按降序排列的矩阵。因此\(A^H\)的奇异值分解为

\begin{equation*} A^H=V \Sigma^T U^H. \end{equation*}

🔗

提高题.

🔗

3.

设\(A=U\Sigma V^H\)是\(m\times n\)阶矩阵\(A\)的奇异值分解，\(\sigma_1,\ldots,\sigma_r\)是\(A\)的所有非零奇异值。用\(u_j\)、\(v_j\)分别表示\(U\)和\(V\)的第\(j\)列。证明：

\(\{u_1,\ldots,u_r\}\)是\({\rm Im}(A)\)的一组标准正交基；
🔗

🔗
\(\{u_{r+1},\ldots,u_m\}\)是\({\rm Ker}(A^H)\)的一组标准正交基；
🔗

🔗
\(\{v_1,\ldots,v_r\}\)是\({\rm Im}(A^H)\)的一组标准正交基；
🔗

🔗
\(\{v_{r+1},\ldots,v_n\}\)是\({\rm Ker}(A)\)的一组标准正交基。
🔗

🔗

🔗

解答.

对任意\(i=1,\dots, r\)，由

\begin{equation*} A(\frac{1}{\sigma_i}V\varepsilon_i)=U\Sigma V^H(\frac{1}{\sigma_i}V\varepsilon_i)=u_i \end{equation*}

知\(u_1,\dots,u_r\in {\rm Im} (A)\)。注意到\(U\)是酉矩阵，所以\(\{u_1,\dots,u_r\}\)是\({\rm Im}(A)\)中一个标准正交向量组。对任意\(\alpha\in {\rm Im}(A)\)，存在\(X\in\C^n\)，使得\(\alpha=AX\)。由奇异值分解\(A=U\Sigma V^H\)得

\begin{equation*} \begin{array}{ll} \alpha & =U\Sigma V^HX\\ & =\begin{pmatrix} \sigma_1u_1 & \dots & \sigma_ru_r & 0 &\dots & 0 \end{pmatrix}V^HX\\ &\in\langle u_1,\dots,u_r\rangle \end{array}, \end{equation*}

因此\(\{u_1,\ldots,u_r\}\)是\({\rm Im}(A)\)的一组标准正交基。

🔗

🔗
对任意\(j=r+1,\dots, m\)，由

\begin{equation*} A^Hu_j=V\Sigma^H U^Hu_j=V\Sigma^H\varepsilon_j=0 \end{equation*}

知\(u_{r+1},\ldots,u_m\in {\rm Ker}A^H\)，又\(U\)是酉矩阵，故\(\{u_{r+1},\ldots,u_m\}\)是\({\rm Ker}A^H\)的一个标准正交向量组。注意到

\begin{equation*} {\rm dim}{\rm Ker}A^H=m-r(A^H)=m-r, \end{equation*}

因此\(\{u_{r+1},\ldots,u_m\}\)是\({\rm Ker}(A^H)\)的一组标准正交基。

🔗

🔗
由于\(A^H=V \Sigma^T U^H\)是\(A^H\)的奇异值分解，所以由项 8.5.3.a知\(\{v_1,\ldots,v_r\}\)是\({\rm Im}(A^H)\)的一组标准正交基。
🔗

🔗
由于\(A^H=V \Sigma^T U^H\)是\(A^H\)的奇异值分解，所以由项 8.5.3.b知\(\{v_{r+1},\ldots,v_n\}\)是\({\rm Ker}(A^H)\)的一组标准正交基。
🔗

🔗

🔗

4.

设\(A\)是\(n\)阶复方阵，求证：\(AA^H\)与\(A^HA\)相似。

🔗

解答.

因为\(A\)是\(n\)阶复方阵，所以存在\(n\)阶酉矩阵\(U,V\)，使得

\begin{equation*} A=U\begin{pmatrix} \sigma_1 & & & & &\\ & \ddots & & & &\\ & & \sigma_r & & &\\ & & & 0 & &\\ & & & & \ddots &\\ & & & & & 0 \end{pmatrix}V^H, \end{equation*}

则

\begin{equation*} A^HA=V\begin{pmatrix} \sigma_1^2 & & & & &\\ & \ddots & & & &\\ & & \sigma_r^2 & & &\\ & & & 0 & &\\ & & & & \ddots &\\ & & & & & 0 \end{pmatrix}V^H, \end{equation*}

\begin{equation*} AA^H=U\begin{pmatrix} \sigma_1^2 & & & & &\\ & \ddots & & & &\\ & & \sigma_r^2 & & &\\ & & & 0 & &\\ & & & & \ddots &\\ & & & & & 0 \end{pmatrix}U^H. \end{equation*}

因此存在可逆矩阵\(UV^H\)，使得\(A^HA=(UV^H)^{-1}(AA^H)(UV^H)\)。从而\(AA^H\)与\(A^HA\)相似。

🔗

5.

设\(P\)是\(m\)阶酉矩阵，\(A\in \C^{m\times n} \)，证明\(A\)与\(PA\)有相同的奇异值。

🔗

解答.

设矩阵 \(A\) 的奇异值分解（SVD）为：

\begin{equation*} A = U \begin{pmatrix} \Sigma & {\bf 0}\\ {\bf 0} & {\bf 0} \end{pmatrix} V^{H} \end{equation*}

其中 \(U \in \mathbb{C}^{m \times m}\) 和 \(V \in \mathbb{C}^{n \times n}\) 是酉矩阵，\(\Sigma ={\rm diag}(\sigma_1,\dots,\sigma_r)\) 是对角矩阵，其对角元是 \(A\) 的奇异值。

🔗

考虑矩阵 \(PA\)，将 \(A\) 的 SVD 代入：

\begin{equation*} PA= (PU) \begin{pmatrix} \Sigma & {\bf 0}\\ {\bf 0} & {\bf 0} \end{pmatrix} V^{H} \end{equation*}

由于 \(P\) 是酉矩阵，且 \(U\) 也是酉矩阵，根据酉矩阵的性质，酉矩阵的乘积仍然是酉矩阵，因此矩阵 \(PU\) 也是一个 \(m \times m\) 的酉矩阵。

🔗

令 \(U' = PU\)，则 \(U'\) 是酉矩阵。此时，\(PA\) 可以表示为：

\begin{equation*} PA = U' \begin{pmatrix} \Sigma & {\bf 0}\\ {\bf 0} & {\bf 0} \end{pmatrix} V^{H} \end{equation*}

🔗

这正好是矩阵 \(PA\) 的一个奇异值分解形式。因此 \(PA\) 的奇异值与 \(A\) 的奇异值完全相同（都是 \(\Sigma\) 对角线上的元素）。

🔗

6.

设\(\sigma_1,\ldots,\sigma_r\)是复矩阵\(A\)的所有非零奇异值。证明

\begin{equation*} {\rm tr}(A^HA)= \sigma_1^2+\cdots+\sigma_r^2. \end{equation*}

🔗

解答.

设矩阵 \(A\) 的奇异值分解为：

\begin{equation*} A = U \begin{pmatrix} \Sigma & {\bf 0}\\ {\bf 0} & {\bf 0} \end{pmatrix} V^{H}, \end{equation*}

其中 \(U \in \mathbb{C}^{m \times m}\) 和 \(V \in \mathbb{C}^{n \times n}\) 是酉矩阵，\(\Sigma ={\rm diag}(\sigma_1,\dots,\sigma_r)\) 的对角元是 \(A\) 的奇异值，则

\begin{equation*} A^HA=V\begin{pmatrix} \sigma_1^2 & & & & &\\ & \ddots & & & &\\ & & \sigma_r^2 & & &\\ & & & 0 & &\\ & & & & \ddots &\\ & & & & & 0 \end{pmatrix}V^H. \end{equation*}

根据矩阵迹的性质，

\begin{equation*} \begin{array}{ll} {\rm tr}(A^HA) &={\rm tr}((V{\rm diag}(\sigma_1^2,\dots,\sigma_r^2,0,\dots ,0))V^H)\\ & ={\rm tr}(V^H(V{\rm diag}(\sigma_1^2,\dots,\sigma_r^2,0,\dots ,0)))\\ & ={\rm tr}({\rm diag}(\sigma_1^2,\dots,\sigma_r^2,0,\dots ,0))\\ & =\sigma_1^2+\cdots+\sigma_r^2. \end{array} \end{equation*}

🔗

7.

若\(A\)是Hermite矩阵，则\(A\)的奇异值恰是其非0特征值的绝对值。

🔗

解答.

因为\(A\)是Hermite矩阵，所以存在酉矩阵\(U\)使得

\begin{equation*} A=U^H\begin{pmatrix} \lambda_1 & & & & &\\ & \ddots & & & &\\ & & \lambda_r & & &\\ & & & 0 & &\\ & & & & \ddots &\\ & & & & & 0 \end{pmatrix}U, \end{equation*}

其中\(\lambda_1, \dots , \lambda_r\)是\(A\)的非零特征值。矩阵 \(A\) 的奇异值由 \(A^{H} A\) 非零特征值的算术平方根决定，

\begin{equation*} A^HA=U^H\begin{pmatrix} \lambda_1^2 & & & & &\\ & \ddots & & & &\\ & & \lambda_r^2 & & &\\ & & & 0 & &\\ & & & & \ddots &\\ & & & & & 0 \end{pmatrix}U \end{equation*}

的非零特征值为\(\lambda_1^2, \dots , \lambda_r^2\)，故\(A\)的奇异值为 \(|\lambda_1|, \dots , |\lambda_r|\)。

🔗