证法一:因\(A\)为\(n\)阶实对称矩阵,所以存在正交矩阵\(Q_1\),使得
\begin{equation*}
Q_1^TAQ_1=\mbox{diag} (\lambda_1E_{r_1},\lambda_2E_{r_2},\cdots ,\lambda_tE_{r_t}),
\end{equation*}
其中\(\lambda_1,\lambda_2,\cdots ,\lambda_t\)是\(A\)的所有互异特征值。 由\(AB=BA\),得
\begin{equation*}
(Q_1^TAQ_1)(Q_1^TBQ_1)=(Q_1^TBQ_1)(Q_1^TAQ_1),
\end{equation*}
直接计算得,\(Q_1^TBQ_1=\mbox{diag} (B_{11},B_{22},\cdots ,B_{tt})\)。注意到\(Q_1\)是正交矩阵,\(B\)是实对称矩阵,所以
\begin{equation*}
(Q_1^TBQ_1)^T=Q_1^TB^TQ_1=Q_1^TBQ_1,
\end{equation*}
即\(Q_1^TBQ_1\)是实对称矩阵,进而\(B_{ii}\)均为实对称矩阵。对每个\(B_{ii}\),存在正交矩阵\(P_i\),使得\(P_i^TB_{ii}P_i\)是对角矩阵\(D_i\)。令\(Q=Q_1\mbox{diag} (P_1,P_2,\cdots ,P_t)\),则\(Q\)是正交矩阵,且
\begin{equation*}
\begin{array}{ll}
Q^TAQ&=\mbox{diag} (P_1^T,P_2^T,\cdots ,P_t^T)\mbox{diag} (\lambda_1E_{r_1},\lambda_2E_{r_2},\cdots ,\lambda_tE_{r_t})\mbox{diag} (P_1,P_2,\cdots ,P_t)\\
&=\mbox{diag} (\lambda_1E_{r_1},\lambda_2E_{r_2},\cdots ,\lambda_tE_{r_t}),
\end{array}
\end{equation*}
\begin{equation*}
\begin{array}{ll}
Q^TBQ&=\mbox{diag} (P_1^T,P_2^T,\cdots ,P_t^T)\mbox{diag} (B_{11},B_{22},\cdots ,B_{tt})\mbox{diag} (P_1,P_2,\cdots ,P_t)\\
&=\mbox{diag} (D_1,D_2,\cdots ,D_t)\end{array}
\end{equation*}
均为对角矩阵。
证法二:对阶数\(n\)用数学归纳法。
当\(n=1\)时,结论显然成立。
假设对于\(n-1\)阶矩阵结论成立,以下考虑\(n\)阶矩阵的情形。 由 \(AB=BA\)知,\(A\)、\(B\)至少存在一个公共的特征向量\(X_1\)。不妨设\(X_1\)为单位向量,将其扩充为\(\mathbb{R}^n\)的一个标准正交基\(X_1,X_2,\cdots ,X_n\)。令\(P=(X_1,X_2,\cdots ,X_n)\),则\(P\)为正交矩阵,且
\begin{equation*}
P^{-1}AP=P^{T}AP=\begin{pmatrix}
\lambda_1&\alpha^T\\0&A_1
\end{pmatrix},\ P^{-1}BP=P^TBP=\begin{pmatrix}
\mu_1&\beta^T\\0&B_1
\end{pmatrix}\mbox{。}
\end{equation*}
因\(A^T=A,B^T=B\),所以\((P^TAP)^T=P^TAP,(P^TBP)^T=P^TBP\),即
\begin{equation*}
\begin{pmatrix}
\lambda_1&0\\\alpha&A_1^T
\end{pmatrix}=\begin{pmatrix}
\lambda_1&\alpha^T\\0&A_1
\end{pmatrix}, \begin{pmatrix}
\mu_1&0\\\beta&B_1^T
\end{pmatrix}=\begin{pmatrix}
\mu_1&\beta^T\\0&B_1
\end{pmatrix},
\end{equation*}
则\(\alpha=0,\beta=0,A_1^T=A_1,B_1^T=B_1\)。于是,
\begin{equation*}
P^{-1}AP=P^{T}AP=\begin{pmatrix}
\lambda_1&0\\0&A_1
\end{pmatrix},\ P^{-1}BP=P^TBP=\begin{pmatrix}
\mu_1&0\\0&B_1
\end{pmatrix},
\end{equation*}
其中\(A_1,B_1\)均为\(n-1\)阶实对称矩阵。
由\(AB=BA\)知,\((P^{-1}AP)(P^{-1}BP)=(P^{-1}BP)(P^{-1}AP)\),即
\begin{equation*}
\begin{pmatrix}
\lambda_1&0\\0&A_1
\end{pmatrix}\begin{pmatrix}
\mu_1&0\\0&B_1
\end{pmatrix}=\begin{pmatrix}
\mu_1&0\\0&B_1
\end{pmatrix}\begin{pmatrix}
\lambda_1&0\\0&A_1
\end{pmatrix},
\end{equation*}
则\(A_1B_1=B_1A_1\)。由归纳假设,存在\(n-1\)阶正交矩阵\(Q_1\),使得
\begin{equation*}
Q_1^{-1}A_1Q_1=\mbox{diag} (\lambda_2,\cdots ,\lambda_n),\ Q_1^{-1}B_1Q_1=\mbox{diag} (\mu_2,\cdots ,\mu_n)
\end{equation*}
均为对角矩阵。令
\begin{equation*}
Q=P \begin{pmatrix}
1&0\\0&Q_1
\end{pmatrix},
\end{equation*}
则\(Q\)是\(n\)阶正交矩阵,且
\begin{equation*}
Q^{-1}AQ=\mbox{diag} (\lambda_1,\lambda_2,\cdots ,\lambda_n),\ Q^{-1}BQ=\mbox{diag} (\mu_1,\mu_2,\cdots ,\mu_n)
\end{equation*}
同时为对角矩阵。