主要内容

高等代数教学辅导

刘月, 唐丽丹, 周宏

节 5.2 正交投影与最小二乘解

建设中！
🔗

练习 练习

基础题.

1.
判断下述向量对是否正交：
  1. \(a = \begin{pmatrix} 8\\-5 \end{pmatrix},\ b = \begin{pmatrix} 3\\-1 \end{pmatrix}\)；
    🔗
    🔗
  2. \(u = \begin{pmatrix} 12\\3\\-5 \end{pmatrix},\ v = \begin{pmatrix} 2\\-3\\3 \end{pmatrix}\)；
    🔗
    🔗
  3. \(u = \begin{pmatrix} 3\\2\\-5\\0 \end{pmatrix},\ v = \begin{pmatrix} -4\\1\\-2\\3 \end{pmatrix}\)；
    🔗
    🔗
  4. \(x = \begin{pmatrix} -3\\7\\4\\0 \end{pmatrix},\ y = \begin{pmatrix} 1\\-8\\15\\-7 \end{pmatrix}\)。
    🔗
    🔗
🔗
解答.
  1. \(a\cdot b=8\times 3+(-5)\times (-1)=29\neq 0\)，所以\(a,b\)非正交。
    🔗
    🔗
  2. \(u\cdot v=12 \times 2 + 3\times (-3) + (-5) \times 3 = 0\)，故\(u,v\)正交。
    🔗
    🔗
  3. \(u \cdot v =3 \times (-4) + 2 \times 1 + (-5)\times (-2) + 0 \times 3 = 0\)，故\(u,v\)正交。
    🔗
    🔗
  4. \(x \cdot y = (-3) \cdot 1 + 7 \times (-8) + 4 \times 15 + 0 \times (-7) = 1 \neq 0\)，所以\(x,y\)非正交。
    🔗
    🔗
🔗
🔗
🔗
2.
求线性方程组\(AX=\beta\)的最小二乘解，其中
\begin{equation*} A =\begin{pmatrix} 4 & 0\\ 0 & 2\\ 1 & 1 \end{pmatrix},\quad \beta =\begin{pmatrix} 2\\0\\11 \end{pmatrix}. \end{equation*}
🔗
解答.
因为\(A\)列满秩，所以\(AX=\beta\)有唯一最小二乘解
\begin{equation*} X=(A^TA)^{-1}A^T\beta=\begin{pmatrix} -10 \\ 2 \end{pmatrix}. \end{equation*}
🔗
🔗
🔗
🔗

提高题.

3.
设\(V_1,V_2\)都是标准内积空间\(\R^n\)的两个子空间。求证：
  1. \(\left(V_1^\bot\right)^\bot=V_1\)；
    🔗
    🔗
  2. 若\(V_1\subseteq V_2\)，则\(V_2^\bot\subseteq V_1^\bot\)；
    🔗
    🔗
  3. \(\left(V_1+V_2\right)^\bot=V_1^\bot\cap V_2^\bot\)；
    🔗
    🔗
  4. \(\left(V_1\cap V_2\right)^\bot=V_1^\bot +V_2^\bot\)。
    🔗
    🔗
🔗
解答.
  1. 由于\(\R^n = V_1 \oplus V_1^\bot\)，且\(V_1 \bot V_1^\bot\)，所以 \(V_1 = \left(V_1^\bot\right)^\bot\)。
    🔗
    🔗
  2. 对任意\(\alpha\in V_2^\bot,\beta\in V_1\)，由\(V_1\subseteq V_2\)知\(\beta\in V_2\)，则\(\alpha \cdot \beta = 0\)，故\(\alpha\in V_1^\bot\)。由\(\alpha\)的任意性得\(V_2^\bot\subseteq V_1^\bot\)。
    🔗
    🔗
  3. 对任意\(\alpha\in\left(V_1+V_2\right)^\bot,\beta\in V_1\)，由于\(\beta=\beta+{\bf 0}\in V_1+V_2\)，所以\(\alpha\cdot\beta=0\)，故\(\alpha\in V_1^\bot\)。同理，\(\alpha\in V_2^\bot\)。因此
    \begin{equation*} \left(V_1+V_2\right)^\bot\subseteq V_1^\bot\cap V_2^\bot . \end{equation*}
    另一方面，对任意\(\gamma\in V_1^\bot\bigcap V_2^\bot,\xi\in V_1+V_2\)，存在\(\xi_1\in V_1,\xi_2\in V_2\)，使得\(\xi=\xi_1+\xi_2\)。由于\(\gamma\cdot\xi_1=\gamma\cdot\xi_2=0\)，所以
    \begin{equation*} \gamma\cdot\xi=\gamma\cdot(\xi_1+\xi_2)=\gamma\cdot\xi_1+\gamma\cdot\xi_2=0, \end{equation*}
    即\(\gamma\in \left(V_1+V_2\right)^\bot\)，因此\(V_1^\bot\cap V_2^\bot\subseteq\left(V_1+V_2\right)^\bot\)。综上，\(\left(V_1+V_2\right)^\bot=V_1^\bot\cap V_2^\bot\)。
    🔗
    🔗
  4. 由项 5.2.3.a和项 5.2.3.c知
    \begin{equation*} \left(V_1^\bot+V_2^\bot\right)^\bot=\left(V_1^\bot\right)^\bot\cap \left(V_2^\bot\right)^\bot=V_1\cap V_2, \end{equation*}
    两边同取正交补得\(\left(V_1\cap V_2\right)^\bot=V_1^\bot +V_2^\bot\)。
    🔗
    🔗
🔗
🔗
🔗
4.
设\(U\)是下列齐次线性方程组的解空间：
\begin{equation*} \left\{\begin{array}{l} x_1-x_3+x_4=0,\\ x_2+x_3=0, \end{array}\right. \end{equation*}
试求：
🔗
  1. \(U^\bot\)；
    🔗
    🔗
  2. \(U^\bot\)适合的线性方程组。
    🔗
    🔗
解答.
  1. \(\displaystyle U^\bot=\langle(1,0,-1,1)^T,(0,1,1,0)^T\rangle.\)
    🔗
    🔗
  2. 因为该齐次线性方程组的基础解系为
    \begin{equation*} \alpha_1=(1,-1,1,0)^T,\alpha_2=(-1,0,0,1)^T, \end{equation*}
    所以\(U^\bot\)适合的线性方程组为
    \begin{equation*} \left\{\begin{array}{l} x_1-x_2+x_3=0,\\ -x_1+x_4=0, \end{array}\right. \end{equation*}
    🔗
    🔗
🔗
🔗
🔗
5.
设\(A\in\mathbb{R}^{m\times n},\beta\in\mathbb{R}^m\)，证明：线性方程组\(AX=\beta\)有解的充分必要条件是\(\beta\)与\(A^TX={\bf 0}\)的解空间正交。
🔗
解答.
设\(U\)是\(A^TX={\bf 0}\)的解空间，\(A=(\alpha_1,\dots,\alpha_n)\)，则对任意\(\beta\in U\)，有
\begin{equation*} \begin{pmatrix}\alpha_1^T \\ \vdots \\ \alpha_n\end{pmatrix}\beta={\bf 0}, \end{equation*}
即
\begin{equation*} \alpha_i\cdot\beta=\alpha_i^T\beta=0, i=1,\dots ,n, \end{equation*}
因此\(\alpha_i\in U^\bot,i=1,\dots ,n\)，从而\({\rm Im}A\subseteq U^\bot\)。注意到
\begin{equation*} \dim {\rm Im} A = r(A) = \dim U^\bot, \end{equation*}
因此\({\rm Im}A = U^\bot\)。
🔗
充分性：由于\(\beta\)与\(A^TX={\bf 0}\)的解空间正交，\(\beta\in U^\bot\)，因此\(\beta\in{\rm Im}A\)，从而\(AX=\beta\)有解。
🔗
必要性：由于\(AX=\beta\)有解，所以\(\beta\in{\rm Im}A\)，于是\(\beta\in U^\bot\)，因此\(\beta\)与\(A^TX={\bf 0}\)的解空间正交。
🔗
🔗
🔗
🔗

挑战题.

6.
设矩阵\(A\in \R^{m\times n}\)满秩分解为\(A=BC\)，证明其MP广义逆为
\begin{equation*} A^{\dagger}=C^{\dagger}B^{\dagger}. \end{equation*}
举例说明当\(A =BC\)不是满秩分解时，存在\(A^{\dagger}\neq C^{\dagger}B^{\dagger}\)的情形。
🔗
🔗
🔗
🔗
🔗
向前Top向后