设 \(\alpha_1 = (2,1,-1)^T\)，\(\alpha_2 = (0,1,1)^T\)， \(\alpha_3 = (1,-1,1)^T\)。 可以验证\(\alpha_1,\alpha_2,\alpha_3\)是一个正交向量组。
节 5.3 标准正交基与Gram-Schmidt正交化过程
在\(\R^3\)中最常使用的基是\(i=(1,0,0)^T\)、\(j=(0,1,0)^T\)、\(k=(0,0,1)^T\)，这三个向量在空间直角坐标系中是两两正交且长度都为1的向量。本节将解释这样选取基的好处，并将相关的概念推广到一般的\(\R^n\)及其子空间上。
子节 5.3.1 标准正交基
设\(\alpha_1,\dots,\alpha_t\)是\(\R^n\)中的一组向量，若其中任意两个向量均正交，即对\(\forall i\ne j\)，
\begin{equation*}
\alpha_i\cdot\alpha_j =0,
\end{equation*}
则称这个向量组是一个正交向量组。
例 5.3.1.
0向量可以和任意向量正交，但这种正交并不是我们想要的。剔除0向量后，正交向量组具有很好的性质。
定理 5.3.2.
证明.
设
\begin{equation*}
c_1\alpha_1+\cdots+c_t\alpha_t =0.
\end{equation*}
则对任意的\(i =1,\dots,t\)，
\begin{align*}
0 =0\cdot \alpha_i \amp= (c_1\alpha_1+\cdots+c_t\alpha_t)\cdot \alpha_i \\
\amp= c_i(\alpha_i\cdot \alpha_i)+ \sum_{j\ne i} c_j(\alpha_j\cdot \alpha_i) \\
\amp = c_i\|\alpha_i\|^2 + \sum_{j\ne i} c_j\times 0 \\
\amp = c_i\|\alpha_i\|^2,
\end{align*}
由于\(\alpha_i\ne 0\)，\(\|\alpha_i\|\ne 0\)，所以\(c_i=0(\forall i)\)，进而推出\(\alpha_1,\dots,\alpha_t\)线性无关。
由于不含0向量的正交向量组都线性无关，因此这组向量可以构成其生成子空间的一个基。称由正交向量组中的向量构成的基为正交基。下面的结论说明了正交基相对于普通基在计算线性组合系数时的优势。
定理 5.3.3.
设\((\alpha_1,\dots,\alpha_t)\)是\(\R^n\)子空间\(V\)的一组正交基，对\(\forall \beta\in V\)， 记
\begin{equation*}
\beta = c_1\alpha_1+\cdots+c_t\alpha_t,
\end{equation*}
则
\begin{equation}
c_j = \frac{\beta\cdot \alpha_j}{\alpha_j\cdot \alpha_j}, \quad j =1,\dots,t.\tag{5.3.1}
\end{equation}
证明.
对任意的\(j = 1,\dots,t\)，
\begin{equation*}
\beta \cdot \alpha_j =(c_1\alpha_1+\cdots+c_t\alpha_t)\cdot \alpha_j = c_j \alpha_j\cdot \alpha_j,
\end{equation*}
整理后可知结论成立。
定义 5.3.4.
若\(\R^n\)中的向量组\(\alpha_1,\dots,\alpha_t\)是一个正交向量组，且对每一个向量\(\alpha_j(j=1,\dots,t)\)，
\begin{equation*}
\alpha_j\cdot \alpha_j = \|\alpha_j\|^2 =1,
\end{equation*}
则称\(\alpha_1,\dots,\alpha_t\)是一个标准正交向量组。称\((\alpha_1,\dots,\alpha_t)\)是\(V\)的一个标准正交基，其中
\begin{equation*}
V = \langle \alpha_1,\dots,\alpha_t\rangle.
\end{equation*}
标准正交向量组定义中条件也可表述为：对任意的\(i,j=1,\dots,t\text{,}\)
\begin{equation*}
\alpha_i\cdot \alpha_j =\delta_{ij} = \begin{cases}
0 & i\ne j,\\
1 & i=j.
\end{cases}
\end{equation*}
把列向量组拼成矩阵，记\(A = (\alpha_1,\dots,\alpha_t)\)，则\(\alpha_1,\dots,\alpha_t\)是一个标准正交向量组等价于
\begin{equation}
A^TA = E_t.\tag{5.3.2}
\end{equation}
推论 5.3.5.
设\((\alpha_1,\dots,\alpha_t)\)是\(\R^n\)子空间\(V\)的一组标准正交基，对\(\forall \beta\in V\)， 记
\begin{equation*}
\beta = c_1\alpha_1+\cdots+c_t\alpha_t,
\end{equation*}
则
\begin{equation}
c_j = \beta\cdot \alpha_j, \quad j =1,\dots,t.\tag{5.3.3}
\end{equation}
用内积来计算线性组合系数要比解线性方程组方便很多，所以在内积空间中选择基时通常会选择标准正交基。下面要讨论的问题是如何从一般基出发来构造标准正交基。我们会发现，正交投影在正交基的构造过程中有很大帮助，因此接下来先来讨论正交投影该如何计算。
子节 5.3.2 正交投影的计算
设\(\alpha\)是一个非0列向量，则\(\alpha\)可以生成一个1维子空间\(L\)。为了方便，对另一个同维列向量\(\beta\)，把\(\beta\)在\(\alpha\)所生成空间上的投影\({\rm Proj}_L(\beta)\)也称为\(\beta\)在\(\alpha\)方向上的投影，记做\({\rm Proj}_\alpha(\beta)\)。
我们有下面的计算公式。
命题 5.3.6.
设\(\alpha,\beta\in \R^n\)，且\(\alpha\ne 0\)，则
\begin{equation*}
{\rm Proj}_\alpha(\beta)= \frac{\beta\cdot \alpha}{\alpha\cdot \alpha}\alpha.
\end{equation*}
特别地，若\(\|\alpha\|=1\)，则
\begin{equation*}
{\rm Proj}_\alpha(\beta)= (\beta\cdot \alpha)\alpha = (\alpha \alpha^T)\beta.
\end{equation*}
证明.
全空间\(\R^n\)可以分解为\(L\oplus L^{\perp}\)，其中\(L=\langle\alpha \rangle\)，于是\(\beta\)也可分解为
\begin{equation}
\beta = \beta_1+\beta_2, \tag{5.3.4}
\end{equation}
其中\(\beta_1={\rm Proj}_\alpha(\beta)\in L\)，\(\beta_2\in L^{\perp} \)。
因为\(\beta_1\in \langle\alpha \rangle\)，所以存在常数 \(c\)，使得\(\beta_1 = c\alpha\)；因为\(\beta_2\in L^{\perp} \)，所以\(\beta_2\perp \alpha\)。
(5.3.4) 两端与\(\alpha\)做内积可得
\begin{align*}
\beta\cdot \alpha \amp = (\beta_1+\beta_2)\cdot \alpha \\
\amp = \beta_1\cdot \alpha+\beta_2\cdot \alpha \\
\amp = c(\alpha\cdot \alpha)
\end{align*}
整理后可知第一个结论成立。
当\(\|\alpha\|=1\)时，注意到\(\beta\cdot \alpha = \alpha^T\beta\)，所以
\begin{align*}
{\rm Proj}_\alpha(\beta) = \amp (\beta\cdot \alpha)\alpha\\
= \amp \alpha (\beta\cdot \alpha) \\
= \amp \alpha (\alpha^T\beta)\\
= \amp (\alpha \alpha^T)\beta.
\end{align*}
定理 5.3.7.
对任意非0的同维列向量\(\alpha\)和\(\beta\)，
\begin{equation*}
\alpha \perp (\beta - {\rm Proj}_\alpha(\beta)).
\end{equation*}
把上述结论推广到高维子空间，可得如下定理。
定理 5.3.8.
设\((\alpha_1,\dots,\alpha_t)\)是\(\R^n\)子空间\(V\)的一组标准正交基，记\(A=(\alpha_1,\dots,\alpha_t)\)，则对\(\forall \beta\in \R^n\)，
\begin{align*}
{\rm Proj}_V(\beta)\amp ={\rm Proj}_{\alpha_1}(\beta) +\cdots + {\rm Proj}_{\alpha_t}(\beta)\\
\amp = (\beta\cdot \alpha_1)\alpha_1 +\cdots + (\beta\cdot \alpha_t) \alpha_t, \\
\amp = AA^T\beta,
\end{align*}
且
\begin{equation*}
\left(\beta -{\rm Proj}_V(\beta)\right) \perp V.
\end{equation*}
\begin{equation*}
P^2 = (AA^T)^2=A(A^TA)A^T=AA^T=P.
\end{equation*}
所以，我们称满足条件\(P^2=P\)的方阵\(P\)为投影矩阵；若进一步满足\(P^T=P\)，则称\(P\)为正交投影矩阵。
子节 5.3.3 Gram-Schmidt标准正交化过程
Gram-Schmidt标准正交化过程是一种用于生成标准正交向量组的常用算法。我们先来看一个具体例子，通过这个例子介绍它的基本过程。
例 5.3.9.
取\(\alpha_1 = (1,1,0)^T\)，\(\alpha_2 = (-2,0,1)^T\)，记\(V =\langle \alpha_1,\alpha_2\rangle \)。构造\(V\)的一组标准正交基。
解答.
标准正交基是一组单位长度的正交向量组。我们把获得标准正交基的过程分成两大步来完成：先正交化，再单位化。
用\(\beta\)来表示正交化后的向量组。简单起见，不妨取\(\beta_1=\alpha_1\)。当选择\(\beta_2\)时，为了确保正交性，同时确保\(\beta_2\in V =\langle \alpha_1,\alpha_2\rangle \)，一种较好的解决方案是用\(\alpha_2\)减去其在\(\beta_1\)方向的投影，即取
\begin{align*}
\beta_2\amp= \alpha_2 -{\rm Proj}_{\beta_1}(\alpha_2) \\
\amp = \alpha_2 - \frac{\beta_1\cdot \alpha_2}{\beta_1\cdot \beta_1}\beta_1 \\
\amp = \begin{pmatrix}
-2\\0\\1
\end{pmatrix}-\frac{-2}{2} \begin{pmatrix}
1\\1\\0
\end{pmatrix}\\
\amp= \begin{pmatrix}
-1\\1\\1
\end{pmatrix}.
\end{align*}
单位化的步骤相对简单，只需要每个向量除以相应长度即可。用\(\gamma\)表示单位化后的向量，则
\begin{equation*}
\gamma_1 =\frac{\beta_1}{\|\beta_1\|} = \frac{1}{\sqrt{2}}\begin{pmatrix}
1\\1\\0
\end{pmatrix},
\end{equation*}
\begin{equation*}
\gamma_2 =\frac{\beta_2}{\|\beta_2\|} = \frac{1}{\sqrt{3}}\begin{pmatrix}
-1\\1\\1
\end{pmatrix}.
\end{equation*}
上面的例子中，正交化和单位化是分开进行的；事实上，这两个步骤可以交替进行。
例 5.3.10.
设\(\alpha_1 = (1,1,1,1)^T\)，\(\alpha_2 = (0,1,1,1)^T\)，\(\alpha_3 = (0,0,1,1)^T\)。构造\(\langle \alpha_1,\alpha_2,\alpha_3\rangle\)的一组标准正交基。
解答.
容易验证\(\alpha_1,\alpha_2,\alpha_3\)线性无关，所以我们要构造的标准正交基中有3个向量。
选择第一个向量\(\beta_1 = \alpha_1\)。注意到后面的构造过程中需要减去向量在\(\beta_1\)方向上的投影，为了让计算投影更简单，我们把\(\beta_1\)单位化，取
\begin{equation*}
\gamma_1 = \frac{\beta_1}{\|\beta_1\|}= \frac{1}{2}(1,1,1,1)^T.
\end{equation*}
为保证与\(\gamma_1\)正交，取\(\beta_2\)为\(\alpha_2\)减去其在\(\gamma_1\)方向上的投影，即
\begin{align*}
\beta_2 \amp= \alpha_2 - (\alpha_2\cdot \gamma_1)\gamma_1 \\
\amp = \begin{pmatrix}
0\\1\\1\\1
\end{pmatrix} - \frac{3}{4}\begin{pmatrix}
1\\1\\1\\1
\end{pmatrix}= \frac{1}{4} \begin{pmatrix}
-3\\1\\1\\1
\end{pmatrix}.
\end{align*}
对\(\beta_2\)进行单位化，取
\begin{equation*}
\gamma_2 = \frac{\beta_2}{\|\beta_2\|} = \frac{1}{2\sqrt{3}}\begin{pmatrix}
-3\\1\\1\\1
\end{pmatrix}.
\end{equation*}
\(\gamma_1,\gamma_2\)线性无关保证了\(\beta_2\)和\(\gamma_2\)不为0。
类似地，为保证与\(\gamma_1,\gamma_2\)均正交，取\(\beta_3\)为\(\alpha_3\)减去其在\(\gamma_1\)和\(\gamma_2\)两个方向上的投影，即
\begin{align*}
\beta_3 \amp= \alpha_3 -(\alpha_3\cdot \gamma_1)\gamma_1-(\alpha_3\cdot \gamma_2)\gamma_2 \\
\amp= \begin{pmatrix}
0\\0\\1\\1
\end{pmatrix} - \frac{1}{2}\begin{pmatrix}
1\\1\\1\\1
\end{pmatrix}- \frac{1}{6}\begin{pmatrix}
-3\\1\\1\\1
\end{pmatrix} \\
\amp= \frac{1}{3}\begin{pmatrix}
0\\-2\\1\\1
\end{pmatrix}.
\end{align*}
单位化后获得\(\gamma_3= \frac{1}{\sqrt{6}}(0,-2,1,1)^T\)。
下面我们给出一般的结论。为了书写方便，我们还是按照正交化和单位化分开进行给出证明。
定理 5.3.11.
设\(\alpha_1,\dots ,\alpha_s\)是\(\R^n\)中的一个线性无关向量组，则必存在标准正交向量组\(\gamma_1,\dots,\gamma_s\)，使得对于任意的\(r(1\leq r\leq s)\)，总有
\begin{equation*}
\langle\alpha_1,\dots ,\alpha_r\rangle=\langle\gamma_1,\dots ,\gamma_r\rangle.
\end{equation*}
证明.
我们给出一个算法，用来计算满足条件的\(\gamma\)向量组。这个计算过程称为Gram-Schmidt正交化过程。
Gram-Schmidt正交化过程可以按下面的步骤进行：
-
先把线性无关的向量组\(\alpha_1,\dots ,\alpha_s\)化成正交向量组\(\beta_1,\dots ,\beta_s\)，令\begin{equation*} \begin{array}{ccl} \beta_1&=&\alpha_1,\\ \beta_2&=&\alpha_2-\frac{\alpha_2\cdot\beta_1}{\beta_1\cdot\beta_1}\beta_1,\\ \beta_3&=&\alpha_3-\frac{\alpha_3\cdot\beta_1}{\beta_1\cdot\beta_1}\beta_1-\frac{\alpha_3\cdot\beta_2}{\beta_2\cdot\beta_2}\beta_2,\\ &\vdots&\\ \beta_s&=&\alpha_s-\frac{\alpha_s\cdot\beta_1}{\beta_1\cdot\beta_1}\beta_1-\frac{\alpha_s\cdot\beta_2}{\beta_2\cdot\beta_2}\beta_2-\cdots -\frac{\alpha_s\cdot\beta_{s-1}}{\beta_{s-1}\cdot\beta_{s-1}}\beta_{s-1};\\ \end{array} \end{equation*}
-
再单位化，令\begin{equation*} \gamma_i=\frac{1}{\|\beta_i\|}\beta_i,\ i=1,2,\cdots ,s, \end{equation*}则容易验证标准正交向量组\(\gamma_1,\dots ,\gamma_s\)满足\begin{equation*} \langle\alpha_1,\dots ,\alpha_r\rangle=\langle\gamma_1,\dots ,\gamma_r\rangle ,r=1,\dots ,s. \end{equation*}
线性无关性可以保证Gram-Schmidt正交化过程中的\(\beta_1,\dots,\beta_s\)均不为0（为什么？），从而使整个过程能进行下去。注意到这个过程对向量组\(\alpha_1,\dots ,\alpha_s\)的要求只有线性无关性，所以有下面的推论。
推论 5.3.12.
\(\R^n\)的任意非0子空间必有标准正交基。
推论 5.3.13.
子节 5.3.4 QR分解
借助Gram-Schmidt过程，我们可以获得一个重要的矩阵分解方法，称为QR分解。QR分解的基本思想是把一个矩阵分解为一个标准正交向量组和一个上三角矩阵的乘积。QR分解在数值计算中有着广泛的应用。
定理 5.3.14.
设\(A\in \R^{m\times n}\)是一个列满秩矩阵（即\(m\ge n\)且\(r(A)=n\)），则存在一个矩阵\(Q\in \R^{m\times n}\)和一个上三角矩阵\(R\in \R^{n\times n}\)，使得
\begin{equation*}
A = QR,\quad Q^TQ = E_n.
\end{equation*}
证明.
记\(A\)的列向量组为\(\alpha_1,\dots,\alpha_n\)，将之作为输入代入到Gram-Schmidt过程中，可以获得一个标准正交向量组\(\gamma_1,\dots,\gamma_n\)，记
\begin{equation*}
Q = (\gamma_1,\dots,\gamma_n),
\end{equation*}
则 \(Q^TQ=E_n\)。
根据定理 5.3.11，对于任意的\(j(1\leq j\leq n)\)，总有
\begin{equation*}
\alpha_j\in \langle\alpha_1,\dots ,\alpha_j\rangle=\langle\gamma_1,\dots ,\gamma_j\rangle,
\end{equation*}
所以存在常数\(r_{ij} (1\le i\le j)\)，使得
\begin{equation*}
\alpha_j = r_{1j}\gamma_1+\cdots + r_{jj}\gamma_j,
\end{equation*}
即
\begin{align*}
\alpha_1 = \amp r_{11}\gamma_1 \\
\alpha_2 = \amp r_{12} \gamma_1+r_{22}\gamma_2 \\
\vdots \amp \\
\alpha_n = \amp r_{1n}\gamma_1+\cdots+ r_{nn}\gamma_n,
\end{align*}
将所有的\(r_{ij}\)拼成一个上三角矩阵\(R\)，则有
\begin{align*}
A = \amp(\alpha_1,\dots,\alpha_n) \\
= \amp (\gamma_1,\dots,\gamma_n) \begin{pmatrix}
r_{11} & \cdots & r_{1n}\\
& \ddots & \vdots\\
0 & & r_{nn}
\end{pmatrix} \\
= \amp QR,
\end{align*}
结论成立。
例 5.3.15. QR分解算例.
求矩阵的QR分解：
\begin{equation*}
A= \begin{pmatrix}
1& 0& 0\\
1& 1& 0\\
1& 1& 1\\
1& 1& 1
\end{pmatrix}.
\end{equation*}
解答.
\begin{equation*}
Q =\begin{pmatrix}
\frac{1}{2}& -\frac{\sqrt{3}}{2}& 0\\
\frac{1}{2}& \frac{\sqrt{3}}{6}& -\frac{\sqrt{6}}{3}\\
\frac{1}{2}& \frac{\sqrt{3}}{6}& \frac{\sqrt{6}}{6}\\
\frac{1}{2}& \frac{\sqrt{3}}{6}& \frac{\sqrt{6}}{6}
\end{pmatrix}.
\end{equation*}
注意到\(Q^TQ=E_3\)，所以
\begin{equation*}
R = Q^TA =\begin{pmatrix}
2 &\frac{3}{2} & 1\\
0 & \frac{\sqrt{3}}{2} & \frac{\sqrt{3}}{3}\\
0 & 0 & \frac{\sqrt{6}}{3}
\end{pmatrix}.
\end{equation*}
QR分解的一个重要应用是求解线性方程组\(AX=\beta\)的最小二乘解。相较于Gauss消去法，QR分解在数值计算中更为稳定。
定理 5.3.16.
设\(A_{m\times n}\)是一个列满秩矩阵，\(\beta\in \R^m\)，则\(AX=\beta\)有唯一的最小二乘解\(X_0 = R^{-1}Q^T\beta\)，其中\(A=QR\)是\(A\)的QR分解。
证明.
因为\(A\)列满秩，所以\(r(A^TA)= r(A)=n\)，即\(A^TA\)是可逆的，所以正规方程有唯一解。设\(X_0\)是\(AX=\beta\)的最小二乘解，则有
\begin{align*}
X_0 = \amp (A^TA)^{-1}A^T\beta \\
= \amp (R^TQ^TQR)^{-1}(R^TQ^T)\beta \\
= \amp (R^TR)^{-1}(R^TQ^T)\beta \\
= \amp R^{-1}Q^T\beta.
\end{align*}
练习 5.3.5 练习
基础题.
1.
判断下列向量组是否是正交向量组：
-
\(\begin{pmatrix} -3 \\ 1 \\ 2 \end{pmatrix},\ \begin{pmatrix} 2 \\ 4 \\ 1 \end{pmatrix},\ \begin{pmatrix} 1 \\ -1 \\ 2 \end{pmatrix}\)；
-
\(\begin{pmatrix} 4 \\ 2 \\ -5 \end{pmatrix},\ \begin{pmatrix} -1 \\ 2 \\ 0 \end{pmatrix},\ \begin{pmatrix} 2 \\ 1 \\ 2 \end{pmatrix}\)；
-
\(\begin{pmatrix} 3 \\ 1 \\ -1 \end{pmatrix},\ \begin{pmatrix} -1 \\ 2 \\ 1 \end{pmatrix},\ \begin{pmatrix} 2 \\ -2 \\ 4 \end{pmatrix}\)；
-
\(\begin{pmatrix} 2 \\ 3 \\ -1 \\ 4 \end{pmatrix},\ \begin{pmatrix} -2 \\ 1 \\ -1 \\ 0 \end{pmatrix},\ \begin{pmatrix} -4 \\ -6 \\ 2 \\ 7 \end{pmatrix}\)；
-
\(\begin{pmatrix} 1 \\ 0 \\ -1 \\ 1 \end{pmatrix},\ \begin{pmatrix} -1 \\ 0 \\ 1 \\ 2 \end{pmatrix},\ \begin{pmatrix} 1 \\ 1 \\ 1 \\ 0 \end{pmatrix},\ \begin{pmatrix} 0 \\ -1 \\ 1 \\ 1 \end{pmatrix}\)。
2.
-
\({v}_{1} = \begin{pmatrix} 1 \\ 0 \\ -1 \end{pmatrix},\ {v}_{2} = \begin{pmatrix} 1 \\ 2 \\ 1 \end{pmatrix},\ {v}_{3} = \begin{pmatrix} 1 \\ -1 \\ 1 \end{pmatrix},\ {w} = \begin{pmatrix} 1 \\ 1 \\ 1 \end{pmatrix}\)；
-
\({v}_{1} = \begin{pmatrix} 1 \\ 1 \\ 1 \end{pmatrix},\ {v}_{2} = \begin{pmatrix} 1 \\ -1 \\ 0 \end{pmatrix},\ {v}_{3} = \begin{pmatrix} 1 \\ 1 \\ -2 \end{pmatrix},\ {w} = \begin{pmatrix} 1 \\ 2 \\ 3 \end{pmatrix}\)。
提高题.
3.
在4维欧氏空间\(\mathbb{R}^4\)中，求与向量组
\begin{equation*}
\alpha_1=(1,2,2,-1)^T,\alpha_2=(1,1,-5,3)^T,\alpha_3=(3,2,8,-7)^T
\end{equation*}
等价的一个标准正交向量组。
4.
5.
挑战题.
6.
设\(V\)是欧式空间\(\R^n\)的子空间，\(P\)是一个\(n\)阶方阵。求证：若\(P\)满足
\begin{equation*}
P\alpha = {\rm Proj}_V(\alpha), \ \forall \alpha\in \R^n,
\end{equation*}
则\(P\)是正交投影矩阵，且\(V = {\rm Im}P\)。
