设 \(\alpha_1 = (2,1,-1)^T\)，\(\alpha_2 = (0,1,1)^T\)， \(\alpha_3 = (1,-1,1)^T\)。 可以验证\(\alpha_1,\alpha_2,\alpha_3\)是一个正交向量组。
节 5.3 标准正交基与Gram-Schmidt正交化过程
在\(\R^3\)中最常使用的基是\(i=(1,0,0)^T\)、\(j=(0,1,0)^T\)、\(k=(0,0,1)^T\)，这三个向量在空间直角坐标系中是两两正交且长度都为1的向量。本节将解释这样选取基的好处，并将相关的概念推广到一般的\(\R^n\)及其子空间上。
子节 5.3.1 标准正交基
设\(\alpha_1,\dots,\alpha_t\)是\(\R^n\)中的一组向量，若其中任意两个向量均正交，即对\(\forall i\ne j\)，
\begin{equation*}
\alpha_i\cdot\alpha_j =0,
\end{equation*}
则称这个向量组是一个正交向量组。
例 5.3.1.
0向量可以和任意向量正交，但这种正交并不是我们想要的。剔除0向量后，正交向量组具有很好的性质。
定理 5.3.2.
若\(\alpha_1,\dots,\alpha_t\)是一个正交向量组，且没有0向量，则\(\alpha_1,\dots,\alpha_t\)线性无关。
证明.
设
\begin{equation*}
c_1\alpha_1+\cdots+c_t\alpha_t =0.
\end{equation*}
则对任意的\(i =1,\dots,t\)，
\begin{align*}
0 =0\cdot \alpha_i \amp= (c_1\alpha_1+\cdots+c_t\alpha_t)\cdot \alpha_i \\
\amp= c_i(\alpha_i\cdot \alpha_i)+ \sum_{j\ne i} c_j(\alpha_j\cdot \alpha_i) \\
\amp = c_i\|\alpha_i\|^2 + \sum_{j\ne i} c_j\times 0 \\
\amp = c_i\|\alpha_i\|^2,
\end{align*}
由于\(\alpha_i\ne 0\)，\(\|\alpha_i\|\ne 0\)，所以\(c_i=0(\forall i)\)，进而推出\(\alpha_1,\dots,\alpha_t\)线性无关。
由于不含0向量的正交向量组都线性无关，因此这组向量可以构成其生成子空间的一个基。称由正交向量组中的向量构成的基为正交基。下面的结论说明了正交基相对于普通基在计算坐标时的优势。
定理 5.3.3.
设\((\alpha_1,\dots,\alpha_t)\)是\(\R^n\)子空间\(V\)的一组正交基，对\(\forall \beta\in V\)， 记
\begin{equation*}
\beta = c_1\alpha_1+\cdots+c_t\alpha_t,
\end{equation*}
则
\begin{equation}
c_j = \frac{\beta\cdot \alpha_j}{\alpha_j\cdot \alpha_j}, \quad j =1,\dots,t.\tag{5.3.1}
\end{equation}
证明.
对任意的\(j = 1,\dots,t\)，
\begin{equation*}
\beta \cdot \alpha_j =(c_1\alpha_1+\cdots+c_t\alpha_t)\cdot \alpha_j = c_j \alpha_j\cdot \alpha_j,
\end{equation*}
整理后可知结论成立。
定义 5.3.4.
若\(\R^n\)中的向量组\(\alpha_1,\dots,\alpha_t\)是一个正交向量组，且对每一个向量\(\alpha_j(j=1,\dots,t)\)，
\begin{equation*}
\alpha_j\cdot \alpha_j = \|\alpha_j\|^2 =1,
\end{equation*}
则称\(\alpha_1,\dots,\alpha_t\)是一个标准正交向量组。称\((\alpha_1,\dots,\alpha_t)\)是\(V\)的一个标准正交基，其中
\begin{equation*}
V = \langle \alpha_1,\dots,\alpha_t\rangle.
\end{equation*}
标准正交向量组定义中条件也可表述为：对任意的\(i,j=1,\dots,t\text{,}\)
\begin{equation*}
\alpha_i\cdot \alpha_j =\delta_{ij} = \begin{cases}
0 & i\ne j,\\
1 & i=j.
\end{cases}
\end{equation*}
把列向量组拼成矩阵，记\(A = (\alpha_1,\dots,\alpha_t)\)，则\(\alpha_1,\dots,\alpha_t\)是一个标准正交向量组等价于
\begin{equation*}
A^TA = E_t.
\end{equation*}
结合定理 5.3.3，可得如下一个常用结论。
推论 5.3.5.
设\((\alpha_1,\dots,\alpha_t)\)是\(\R^n\)子空间\(V\)的一组标准正交基，对\(\forall \beta\in V\)， 记
\begin{equation*}
\beta = c_1\alpha_1+\cdots+c_t\alpha_t,
\end{equation*}
则
\begin{equation}
c_j = \beta\cdot \alpha_j, \quad j =1,\dots,t.\tag{5.3.2}
\end{equation}
用内积来计算坐标要比解线性方程组方便很多，所以在内积空间中选择基时通常会选择标准正交基。下面要讨论的问题是如何从一般基出发来构造标准正交基。我们会发现，正交投影在正交基的构造过程中有很大帮助，因此接下来先来讨论正交投影该如何计算。
子节 5.3.2 正交投影的计算
设\(\alpha\)是一个非0列向量，则\(\alpha\)可以生成一个1维子空间\(L\)。为了方便，对另一个同维列向量\(\beta\)，把\(\beta\)在\(\alpha\)所生成空间上的投影\({\rm Proj}_L(\beta)\)也称为\(\beta\)在\(\alpha\)方向上的投影，记做\({\rm Proj}_\alpha(\beta)\)。
我们有下面的计算公式。
命题 5.3.6.
设\(\alpha,\beta\in \R^n\)，且\(\alpha\ne 0\)，则
\begin{equation*}
{\rm Proj}_\alpha(\beta)= \frac{\beta\cdot \alpha}{\alpha\cdot \alpha}\alpha.
\end{equation*}
特别地，若\(\|\alpha\|=1\)，则
\begin{equation*}
{\rm Proj}_\alpha(\beta)= (\beta\cdot \alpha)\alpha.
\end{equation*}
证明.
全空间\(\R^n\)可以分解为\(L\oplus L^{\perp}\)，其中\(L=\langle\alpha \rangle\)，于是\(\beta\)也可分解为
\begin{equation}
\beta = \beta_1+\beta_2, \tag{5.3.3}
\end{equation}
其中\(\beta_1={\rm Proj}_\alpha(\beta)\in L\)，\(\beta_2\in L^{\perp} \)。
因为\(\beta_1\in \langle\alpha \rangle\)，所以存在常数 \(c\)，使得\(\beta_1 = c\alpha\)；因为\(\beta_2\in L^{\perp} \)，所以\(\beta_2\perp \alpha\)。
(5.3.3) 两端与\(\alpha\)做内积可得
\begin{align*}
\beta\cdot \alpha \amp = (\beta_1+\beta_2)\cdot \alpha \\
\amp = \beta_1\cdot \alpha+\beta_2\cdot \alpha \\
\amp = c(\alpha\cdot \alpha)
\end{align*}
整理后可知结论成立。
借助图 5.2.12，容易从几何上理解下面一个常用的重要事实。
定理 5.3.7.
对任意非0的同维列向量\(\alpha\)和\(\beta\)，
\begin{equation*}
\alpha \perp (\beta - {\rm Proj}_\alpha(\beta)).
\end{equation*}
把上述结论推广到高维子空间，可得如下定理。
定理 5.3.8.
设\((\alpha_1,\dots,\alpha_t)\)是\(\R^n\)子空间\(V\)的一组标准正交基，则对\(\forall \beta\in \R^n\)，
\begin{align*}
{\rm Proj}_V(\beta)\amp ={\rm Proj}_{\alpha_1}(\beta) +\cdots + {\rm Proj}_{\alpha_t}(\beta)\\
\amp = (\beta\cdot \alpha_1)\alpha_1 +\cdots + (\beta\cdot \alpha_t) \alpha_t,
\end{align*}
且
\begin{equation*}
\left(\beta -{\rm Proj}_V(\beta)\right) \perp V.
\end{equation*}
子节 5.3.3 Gram-Schmit标准正交化过程
Gram-Schmit标准正交化过程是一种用于生成标准正交向量组的常用算法。我们先来看一个具体例子，通过这个例子介绍它的基本过程。
例 5.3.9.
取\(\alpha_1 = (1,1,0)^T\)，\(\alpha_2 = (-2,0,1)^T\)，记\(V =\langle \alpha_1,\alpha_2\rangle \)。构造\(V\)的一组标准正交基。
解答.
标准正交基是一组单位长度的正交向量组。我们把获得标准正交基的过程分成两大步来完成：先正交化，再单位化。
用\(\beta\)来表示正交化后的向量组。简单起见，不妨取\(\beta_1=\alpha_1\)。当选择\(\beta_2\)时，为了确保正交性，同时确保\(\beta_2\in V =\langle \alpha_1,\alpha_2\rangle \)，一种较好的解决方案是用\(\alpha_2\)减去其在\(\beta_1\)方向的投影，即取
\begin{align*}
\beta_2\amp= \alpha_2 -{\rm Proj}_{\beta_1}(\alpha_2) \\
\amp = \alpha_2 - \frac{\beta_1\cdot \alpha_2}{\beta_1\cdot \beta_1}\beta_1 \\
\amp = \begin{pmatrix}
-2\\0\\1
\end{pmatrix}-\frac{-2}{2} \begin{pmatrix}
1\\1\\0
\end{pmatrix}\\
\amp= \begin{pmatrix}
-1\\1\\1
\end{pmatrix}
\end{align*}
单位化的步骤相对简单，只需要每个向量除以相应长度即可。用\(\gamma\)表示单位化后的向量，则
\begin{equation*}
\gamma_1 =\frac{\beta_1}{\|\beta_1\|} = \frac{1}{\sqrt{2}}\begin{pmatrix}
1\\1\\0
\end{pmatrix}
\end{equation*}
\begin{equation*}
\gamma_2 =\frac{\beta_2}{\|\beta_2\|} = \frac{1}{\sqrt{3}}\begin{pmatrix}
-1\\1\\1
\end{pmatrix}
\end{equation*}
上面的例子中，正交化和单位化是分开进行的，事实上这两个步骤可以交替进行。
例 5.3.10.
设\(\alpha_1 = (1,1,1,1)^T\)，\(\alpha_2 = (0,1,1,1)^T\)，\(\alpha_3 = (0,0,1,1)^T\)。构造\(\langle \alpha_1,\alpha_2,\alpha_3\rangle\)的一组标准正交基。
解答.
容易验证\(\alpha_1,\alpha_2,\alpha_3\)线性无关，所以我们要构造的标准正交基中有3个向量。
选择第一个向量\(\beta_1 = \alpha_1\)。注意到后面的构造过程中需要减去向量在\(\beta_1\)方向上的投影，为了让计算投影更简单，我们把\(\beta_1\)单位化，取
\begin{equation*}
\gamma_1 = \frac{\beta_1}{\|\beta_1\|}= \frac{1}{2}(1,1,1,1)^T.
\end{equation*}
为保证与\(\gamma_1\)正交，取\(\beta_2\)为\(\alpha_2\)减去其在\(\gamma_1\)方向上的投影，即
\begin{align*}
\beta_2 \amp= \alpha_2 - (\alpha_2\cdot \gamma_1)\gamma_1 \\
\amp = \begin{pmatrix}
0\\1\\1\\1
\end{pmatrix} - \frac{3}{4}\begin{pmatrix}
1\\1\\1\\1
\end{pmatrix}= \frac{1}{4} \begin{pmatrix}
-3\\1\\1\\1
\end{pmatrix}.
\end{align*}
对\(\beta_2\)进行单位化，取
\begin{equation*}
\gamma_2 = \frac{\beta_2}{\|\beta_2\|} = \frac{1}{2\sqrt{3}}\begin{pmatrix}
-3\\1\\1\\1
\end{pmatrix}.
\end{equation*}
\(\gamma_1,\gamma_2\)线性无关保证了\(\beta_2\)和\(\gamma_2\)不为0。
类似地，为保证与\(\gamma_1,\gamma_2\)均正交，取\(\beta_3\)为\(\alpha_3\)减去其在\(\gamma_1\)和\(\gamma_2\)两个方向上的投影，即
\begin{align*}
\beta_3 \amp= \alpha_3 -(\alpha_3\cdot \gamma_1)\gamma_1-(\alpha_3\cdot \gamma_2)\gamma_2 \\
\amp= \begin{pmatrix}
0\\0\\1\\1
\end{pmatrix} - \frac{1}{2}\begin{pmatrix}
1\\1\\1\\1
\end{pmatrix}- \frac{1}{6}\begin{pmatrix}
-3\\1\\1\\1
\end{pmatrix} \\
\amp= \frac{1}{3}\begin{pmatrix}
0\\-2\\1\\1
\end{pmatrix}
\end{align*}
单位化后获得\(\gamma_3= \frac{1}{\sqrt{6}}(0,-2,1,1)^T\)。
下面我们给出一般的结论。为了书写方便，我们还是按照正交化和单位化分开进行给出证明。
定理 5.3.11.
设\(\alpha_1,\dots ,\alpha_s\)是\(\R^n\)中的一个线性无关向量组，则必存在标准正交向量组\(\gamma_1,\dots,\gamma_s\)，使得对于任意的\(r(1\leq r\leq s)\)，总有
\begin{equation*}
\langle\alpha_1,\dots ,\alpha_r\rangle=\langle\gamma_1,\dots ,\gamma_r\rangle.
\end{equation*}
证明.
我们给出一个算法，用来计算满足条件的\(\gamma\)向量组。这个计算过程称为Gram-Schmidt正交化过程。
Gram-Schmidt正交化过程可以按下面的步骤进行：
- 先把线性无关的向量组\(\alpha_1,\dots ,\alpha_s\)化成正交向量组\(\beta_1,\dots ,\beta_s\)，令\begin{equation*} \begin{array}{ccl} \beta_1&=&\alpha_1,\\ \beta_2&=&\alpha_2-\frac{\alpha_2\cdot\beta_1}{\beta_1\cdot\beta_1}\beta_1,\\ \beta_3&=&\alpha_3-\frac{\alpha_3\cdot\beta_1}{\beta_1\cdot\beta_1}\beta_1-\frac{\alpha_3\cdot\beta_2}{\beta_2\cdot\beta_2}\beta_2,\\ &\vdots&\\ \beta_s&=&\alpha_s-\frac{\alpha_s\cdot\beta_1}{\beta_1\cdot\beta_1}\beta_1-\frac{\alpha_s\cdot\beta_2}{\beta_2\cdot\beta_2}\beta_2-\cdots -\frac{\alpha_s\cdot\beta_{s-1}}{\beta_{s-1}\cdot\beta_{s-1}}\beta_{s-1};\\ \end{array} \end{equation*}
- 再单位化，令\begin{equation*} \gamma_i=\frac{1}{\|\beta_i\|}\beta_i,\ i=1,2,\cdots ,s, \end{equation*}则容易验证标准正交向量组\(\gamma_1,\dots ,\gamma_s\)满足\begin{equation*} \langle\alpha_1,\dots ,\alpha_r\rangle=\langle\gamma_1,\dots ,\gamma_r\rangle ,r=1,\dots ,s. \end{equation*}
线性无关性可以保证Gram-Schmidt正交化过程中的\(\beta_1,\dots,\beta_s\)均不为0（为什么？），从而使整个过程能进行下去。注意到这个过程对向量组\(\alpha_1,\dots ,\alpha_s\)的要求只有线性无关性，所以有下面的推论。
推论 5.3.12.
\(\R^n\)的任意非0子空间必有标准正交基。
推论 5.3.13.
在\(\R^n\)的任意非0子空间\(V\)中，任意标准正交向量组都可扩为\(V\)的标准正交基。
