定义 5.2.1.
若两个\(\R^n\)中的向量\(\alpha\)和\(\beta\)满足
\begin{equation*}
\alpha\cdot\beta = 0,
\end{equation*}
则称\(\alpha\)和\(\beta\)正交，记做\(\alpha\perp\beta\)。
节 5.2 正交投影与最小二乘解
给定一个平面\(P\)和平面外一点\(p\)，如何在\(P\)中找到与点\(p\)距离最近的点？这是一个常见的几何问题。几何的解决方法是过点\(p\)做垂直于平面\(P\)的直线，这条垂线与平面\(P\)的交点就是所求。本节中，我们把这个问题推广到一般的\(\R^n\)中，从代数的角度给出相应问题的解，并将之运用在线性方程组的求解问题上。
子节 5.2.1 正交
垂直在中学几何中一个重要且常用的概念，在线性代数中，垂直也常常被称为正交。两条相交直线垂直就是这两条直线的夹角是\(\frac{\pi}{2}\)，注意到\(\cos\frac{\pi}{2}=0\)，所以有下面的定义。
按照定义，0向量与其它向量都正交。
来看几个具体的例子。
例 5.2.2.
利用内积的运算性质和正交性的概念，我们可以从代数上容易证明列向量版的“勾股定理”。
定理 5.2.3.
对于\(\R^n\)中的两个向量\(\alpha\)和\(\beta\)，若\(\alpha\perp\beta\)，则
\begin{equation*}
\|\alpha+\beta\|=\|\alpha\|+\|\beta\|.
\end{equation*}
正交的概念可以从向量推广到线性子空间，类似于直线与直线、直线与平面的垂直。
定义 5.2.4.
设\(V_1,V_2\)都是\(\R^n\)的子空间，若对\(\forall \alpha\in V_1,\beta\in V_2\)，均有
\begin{equation*}
\alpha\cdot\beta=0,
\end{equation*}
则称\(V_1\)和\(V_2\)正交，记做\(V_1\perp V_2 \)。
例 5.2.5.
关于两个空间的正交性，我们有下面几个常用结论。
命题 5.2.6.
设\(V_1,V_2\)是\(\R^n\)的子空间，
\begin{equation*}
V_1 = \langle \alpha_1,\dots,\alpha_s\rangle,\quad V_2 = \langle \beta_1,\dots,\beta_t\rangle.
\end{equation*}
则 \(V_1\perp V_2 \) 当且仅当
\begin{equation*}
\alpha_i\cdot \beta_j =0, \forall i=1,\dots,s;j=1,\dots,t.
\end{equation*}
命题 5.2.7.
设\(V_1,V_2\)是\(\R^n\)的子空间。若\(V_1\perp V_2\)，则\(V_1\cap V_2 = 0\)。
根据上面的结论，两个正交子空间的和都是直和。
定理 5.2.8.
设\(V\)是\(\R^n\)的一个子空间，则存在唯一的一个\(\R^n\)子空间\(W\)，使得
\begin{equation*}
V\perp W,\quad V\oplus W = \R^n.
\end{equation*}
称定理 5.2.8中的\(W\)是\(V\)的正交补空间，记\(V\)的正交补空间为\(V^\perp\)，即\(W=V^\perp\)。容易验证\(W=V^\perp\)当且仅当\(V=W^\perp\)。
在\(\R^3\)中，一个2维子空间\(V\)也就是一个过原点的平面，设这个平面的方程为
\begin{equation*}
ax+by+cz = 0.
\end{equation*}
记\(\alpha = (a,b,c)^T\)，\(\beta=(x,y,z)^T\)，\(\beta\)可以认为是平面中的任意一点。此时平面方程等价于
\begin{equation*}
\alpha\cdot \beta =0,
\end{equation*}
即平面可以理解为与向量\(\alpha\)垂直的所有向量所构成的集合，此时\(\alpha\perp V\)。
推广上述结论，对于一个齐次方程组\(Ax=0\)，我们有下面的结论。
定理 5.2.9.
设\(A\)是一个列数为\(n\)的实矩阵。则在\(\R^n\)中，
\begin{equation*}
{\rm Ker} A=( {\rm Im}A^T)^\perp.
\end{equation*}
子节 5.2.2 正交投影与最短距离
现在来回答本节开始时提出的问题。为了方便，我们先在\(\R^2\)中说明问题，如图 5.2.10 所示。
在\(\R^2\)中，直线\(L\)是一个1维子空间，\(L\)的正交补是与\(L\)垂直的直线\(L^\perp\)。根据几何知识可知，\(P_\alpha\)是在直线\(L\)上与点\(\alpha\)距离最近的点。从向量的角度，由于\(L\)与\(L^\perp\)是直和，向量\(\alpha\)可以唯一的分解为\(L\)中向量与\(L^\perp\)中向量的和，\(P_\alpha\)恰好是分解式中\(L\)中的向量。从另一个角度，想象一束垂直于\(L\)的光线从上方照下，\(P_\alpha\)恰好是向量\(\alpha\)在直线\(L\)上留下的阴影，因此\(P_\alpha\)也被称为是\(\alpha\)在\(L\)上的正交投影。一般的定义如下。
定义 5.2.11.
设\(V\)是\(\R^n\)的子空间，\(\alpha\in\R^n\)。若
\begin{equation*}
\alpha = \alpha_1+\alpha_2,
\end{equation*}
其中\(\alpha_1\in V\)，\(\alpha_2\in V^{\perp}\)，则称\(\alpha_1\)是\(\alpha\)在空间\(V\)上的正交投影，记做\({\rm Proj}_V(\alpha)\)。
定理 5.2.12.
设\(V\)是\(\R^n\)的子空间，\(\alpha\in\R^n\)，则对任意的\(\beta\in V\)，
\begin{equation*}
\|\alpha-{\rm Proj}_V(\alpha)\| \le \|\alpha-\beta\|.
\end{equation*}
子节 5.2.3 无解方程组的最小二乘解
实际问题中提出的线性方程组\(Ax=\beta\)不一定都有解。此时，一种合理（同时也是常用）的处理方式是把问题转化为优化问题：寻找\(x\)，使得
\begin{equation*}
\|Ax -\beta\|
\end{equation*}
达到最小，这样的解称为最小二乘解。
若\(Ax=\beta\)有解，则对于它的一个解\(x\)，\(\|Ax -\beta\|=0\)达到了最小，所以线性方程组的解都是最小二乘解。
记\(V = {\rm Im}A\)，\(\tilde{\beta} ={\rm Proj}_V(\beta) \)，可知\(\tilde{\beta}\in {\rm Im}A\)，线性方程组\(Ax = \tilde{\beta}\)有解，它的解就是原方程组的最小二乘解。
最小二乘解不能由初等变换的方法获得。关于最小二乘解的求解，我们有下面的结论。
定理 5.2.13.
对任意的矩阵\(A\in \R^{m\times n}\)，\(\beta\in \R^m\)，线性方程组
\begin{equation*}
A^TAx = A^T\beta
\end{equation*}
均有解，且该方程组的所有解恰好就是
\begin{equation*}
Ax =\beta
\end{equation*}
的所有最小二乘解。
称型如\(A^TAx = A^T\beta\)的方程组为原方程组的正规方程。
定理 5.2.14.
设\(A\in \R^{m\times n}\)，\(\beta\in \R^m\)。若
\begin{equation*}
r(A) = n,
\end{equation*}
则\(Ax =\beta\)有唯一的最小二乘解
\begin{equation*}
x = (A^TA)^{-1}A^T\beta.
\end{equation*}
子节 5.2.4 MP广义逆与长度最小的最小二乘解*
当一个方阵\(A\)可逆时，对于任意一个以\(A\)为系数矩阵的线性方程组\(Ax=\beta\)，我们可以借助其逆矩阵\(A^{-1}\)和矩阵乘法得出线性方程组的解\(x=A^{-1}\beta\)。当矩阵\(A\)不可逆时，我们可以借助“广义逆”来求解线性方程组。
广义逆有多种不同的定义，其中最为常用的一种是Morre—Penrose广义逆，简称MP广义逆。在给出MP广义逆的定义之前，我们先来梳理如下几个与之相关的结论。
命题 5.2.15.
设\(A\in \R^{m\times n}\)。一个矩阵 \(B\)满足：“若\(Ax =\beta\)有解，则\(x=B\beta\)是\(Ax =\beta\)的一个解”的充分必要条件是
\begin{equation*}
ABA = A.
\end{equation*}
命题 5.2.16.
设\(A\in \R^{m\times n}\)。一个矩阵 \(B\)满足：“对任意的\(\beta\in \R^m\)，\(x=B\beta\)是\(Ax =\beta\)的一个最小二乘解”的充分必要条件是
\begin{equation*}
ABA = A,\ (AB)^T = AB.
\end{equation*}
当一个有解线性方程组的解不唯一时，其解集构成\(\R^n\)空间中一个“超平面”（线性子空间或其平移）。在所有解中，有一个解是长度最小的，这个解被称为是最小模解（长度也称为模）。
命题 5.2.17.
设\(A\in \R^{m\times n}\)。一个矩阵\(B\)满足：“对任意的\(\beta\in {\rm Im}A\)，\(x=B\beta\)是\(Ax =\beta\)的一个最小模解”的充分必要条件是
\begin{equation*}
ABA = A,\ (BA)^T = BA.
\end{equation*}
有了上述准备，我们可以给出MP广义逆的定义。
定义 5.2.18.
设\(A\in \R^{m\times n}\)。若矩阵\(B\)满足：
- \(ABA=A\)，
- \(BAB=B\)，
- \((AB)^T = AB\)，
- \((BA)^T = BA\)，
则称\(B\)是矩阵\(A\)的Moore—Penrose广义逆，简称为MP逆。
结合 命题 5.2.15, 命题 5.2.16, 命题 5.2.17，可知：对任意的实线性方程组\(Ax=\beta\)，\(A^{\dagger}\beta\)是这个线性方程组最小二乘解中模长最小的解。
MP广义逆有一种利用到满秩分解的计算公式。
定理 5.2.19.
设秩为\(r\)的矩阵\(A\in \C^{m\times n}\)满秩分解为\(A=BC\)，其中\(B\in \C^{m\times r}, C\in \C^{r\times n}\)，则矩阵\(A\)的MP广义逆为
\begin{equation*}
A^{\dagger} = C^H(CC^H)^{-1}{B^HB}^{-1}B^H.
\end{equation*}
