「統計解析のための線形代数」復習筆記15
單位矩陣
對角成分全部都是 \(1\) (此時我們假定有 \(n\) 個)，的對角矩陣被叫做單位矩陣(identity matrix, unit matrix)。寫作： \(\left( \begin{array}{c} 1 & 0 & 0 & \cdots & 0 \\ 0 & 1 & 0 & \cdots & 0 \\ 0 & 0 & 1 & 0 & \vdots \\ 0 & 0 & 0 & \ddots & 0 \\ 0 & 0 & \cdots & 0 & 1 \end{array} \right)=E_n=I_n\) 下標 \(n\) 常被省略。一般的，將 \(E_n\) 從左往右乘以 \(n\) 次正方形矩陣 \(A\)，的結果和從右往左相乘的結果是相等的： \(E_nA=AE_n=A\)。
單位矩陣 \(E=\left( \begin{array}{c} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \\ \end{array} \right)\) 和矩陣 \(A=\left( \begin{array}{c} a_1 & a_2 & a_3 \\ b_1 & b_2 & b_3 \\ c_1 & c_2 & c_3 \\ \end{array} \right)\) 的積爲：\(EA=\left( \begin{array}{c} a_1 & a_2 & a_3 \\ b_1 & b_2 & b_3 \\ c_1 & c_2 & c_3 \\ \end{array} \right)=AE=A\)，矩陣 \(A\) 的所有成分均不變。
\(E_nE_n=E_n\)。像這樣，自己與自己相乘，結果等於自己的矩陣，被叫做冪等矩陣(idempotent matrix, 冪等行列「べきとうぎょうれつ」)。即，\(HH(=H^2)=H\) 成立時，\(H\) 是冪等矩陣。
\(\underline{x}=E\underline{x}, \lambda\underline{x}=\lambda E\underline{x}\) 此等式會在後面特徵值(eigenvalue, 固有値問題)時使用。
前一個小節中的對角矩陣(diagonal matrix) \(D^{\frac{1}{2}}\) 則具有這樣的性質： \(D^{\frac{1}{2}}D^{-\frac{1}{2}}=D^{-\frac{1}{2}}D^{\frac{1}{2}}=E_n\)
逆矩陣 inverse matrix
如果正方形矩陣 \(A\) 存在另一個正放心矩陣 \(X\) 使得他們滿足 \(AX=XA=E\)，即乘積爲一個單位矩陣，那麼我們說 \(X\) 是 \(A\) 的逆矩陣(inverse matrix)，寫作：\(A^{-1}\)。可以將上面的連等式改成：\(AA^{-1}=A^{-1}A=E\)。
如果矩陣 \(A=\left( \begin{array}{c} a & b \\ c & d \\ \end{array} \right)\) 的成分滿足： \(ad -bc \neq 0\)，那麼有 \(A^{-1}=\frac{1}{ad-bc}\left( \begin{array}{c} d & -b \\ -c & a \\ \end{array} \right)\)。如果， \(ad-bc=0\) 那麼我們認爲 \(A\) 的逆矩陣不存在。
矩陣 \(P=\left( \begin{array}{c} \cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \\ \end{array} \right)\) 的逆矩陣 \(P^{-1}=\left( \begin{array}{c} \cos \theta & \sin \theta \\ -\sin \theta & \cos \theta \\ \end{array} \right)\) 注意此處出現了逆矩陣的逆矩陣爲元矩陣的例子。
對稱矩陣(symmetric matrix) \(A=\left( \begin{array}{c} 1 & 2 & 3 \\ 2 & 4 & 5 \\ 3 & 5 & 6 \\ \end{array} \right)\) 的逆矩陣 \(A^{-1}=\left( \begin{array}{c} 1 & -3 & 2 \\ -3 & 3 & -1 \\ 2 & -1 & 0 \\ \end{array} \right)\) 注意此處出現了對稱矩陣的逆矩陣還是對稱矩陣的例子。
矩陣 \(A=\left( \begin{array}{c} -11 & 2 & 2 \\ -4 & 0 & 1 \\ 6 & -1 & -1 \\ \end{array} \right)\) 的逆矩陣 \(A^{-1}=\left( \begin{array}{c} 1 & 0 & 2 \\ 2 & -1 & 3 \\ 4 & 1 & 8 \\ \end{array} \right)\)
正交矩陣 orthogonal matrix
如果正方形矩陣 \(P\) 滿足： \(PP^t=P^tP=E\) (單位矩陣)；或者滿足 \(P^t=P^{-1}\) 時，我們說這個正方形矩陣 \(P\) 爲正交矩陣(orthogonal matrix，直交行列「ちょっこうぎょうれつ」)。正交矩陣如果用列向量來表示，那麼這些組成正交矩陣的列向量被稱爲規範正交系(orthonomal system，正規直交系)
矩陣 \(P=\left( \begin{array}{c} \cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \\ \end{array} \right)\) 是2次的正交矩陣。如果 \(\underline{p}_1=\left( \begin{array}{c} \cos \theta \\ \sin \theta \\ \end{array} \right), \; \underline{p}_2=\left( \begin{array}{c} -\sin \theta \\ \cos \theta \\ \end{array} \right)\)，那麼列向量的長度有：\(\| \underline{p}_1 \|=\| \underline{p}_2 \|=1\)，\(\underline{p}_1\cdot\underline{p}_2=0\)。因此組成矩陣 \(P\) 的兩個列向量 \(\underline{p}_1,\underline{p}_2\) 構成了一個規範正交系。
矩陣 \(P=\left( \begin{array}{c} \frac{1}{\sqrt{3}} & \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}} \\ \frac{1}{\sqrt{3}} & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}} \\ \frac{1}{\sqrt{3}} & 0 & -\frac{2}{\sqrt{6}} \\ \end{array} \right)\) 是個3次正交矩陣。如果 \(\underline{p}_1=\left( \begin{array}{c} \frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{3}}\\ \end{array} \right), \underline{p}_2=\left( \begin{array}{c} \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} \\ 0 \\ \end{array} \right), \underline{p}_3=\left( \begin{array}{c} \frac{1}{\sqrt{6}}\\ \frac{1}{\sqrt{6}}\\ -\frac{2}{\sqrt{6}}\\ \end{array} \right)\) 這三個列向量構成了一個規範正交系。
三角矩陣 triangular matrix
主對角線的左下部分全部爲 \(0\) 的正方形矩陣被叫做：上三角矩陣(upper triangular matrix)，右上部分的成分全部爲 \(0\) 的正方形矩陣被叫做： 下三角矩陣(lower triangular matrix)。上三角矩陣，下三角矩陣，統稱爲三角矩陣。有時候左下部分或者右上部分就簡略的只寫一個大的 \(O\)。
類型相同的兩個上三角矩陣的積依然是一個上三角矩陣。兩個類型相同的下三角矩陣的積也依然是一個下三角矩陣。
\[ 上三角矩陣： \left( \begin{array}{c} a_{11}& a_{12} & \cdots & a_{1n}\\ 0 & a_{22} & \cdots & a_{2n}\\ \vdots& \ddots & \ddots & \vdots\\ 0 & \cdots & 0 & a_{nn} \end{array} \right) =\left( \begin{array}{c} a_{11}& a_{12} & \cdots & a_{1n}\\ & a_{22} & \cdots & a_{2n}\\ & & \ddots & \vdots\\ \Huge{0} & & & a_{nn} \end{array} \right)\]
\[ 下三角矩陣：\left( \begin{array}{c} a_{11}& 0 & \cdots & 0 \\ a_{21}& a_{22} & \ddots & \vdots \\ \vdots& \cdots & \ddots & 0\\ a_{n1}& a_{n2} & \cdots & a_{nn} \end{array} \right)=\left( \begin{array}{c} a_{11}& &&\Huge{0} \\ a_{21}& a_{22} & \\ \vdots& \cdots & \ddots &\\ a_{n1}& a_{n2} & \cdots & a_{nn} \end{array} \right)\]
\(\left( \begin{array}{c} 2 & 1 \\ 0 & 8 \\ \end{array} \right), \left( \begin{array}{c} -3 & 0 & 6 \\ 0 & 5 & 2 \\ 0 & 0 & 4 \\ \end{array} \right), \left( \begin{array}{c} 5 & -6 & 3 & 2 \\ 0 & 9 &-2 & 4 \\ 0 & 0 & 3 & 7 \\ 0 & 0 & 0 & 1 \end{array} \right)\) 這些都是上三角矩陣。
\(\left( \begin{array}{c} 2 & 0 \\ 5 & 8 \\ \end{array} \right), \left( \begin{array}{c} -3 & 0 & 0 \\ 8 & 5 & 0 \\ 7 & 2 & 4 \\ \end{array} \right), \left( \begin{array}{c} 5 & 0 & 0 & 0 \\ 2 & 9 & 0 & 0 \\ 3 & 10 & 3 & 0 \\ 5 & 1 & 34 & 0 \end{array} \right)\) 這些都是下三角矩陣。
階梯形矩陣 echelon matrix
如下所示，第1行，第2行，第3行，行數增加的同時，左側的成分中 \(0\) 的個數跟着增加的矩陣被叫做階梯形矩陣(echelon matrix)。 \(\#\) 表示非 \(0\) 的數， \(*\) 表示任意數。\(\#\) 的個數，或者說此矩陣的非零向量的個數被定義爲這個矩陣的階數 (rank)。階梯形矩陣的階數記爲： \(rank(A)\)。零矩陣 \(O\) 的階數： \(rank(O)=0\)。
\[\left( \begin{array}{c} \# & * & * & * & * & * & * & * & *\\ 0 & \# & * & * & * & * & * & * & * \\ 0 & 0 & 0 & \# & * & * & * & * & * \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & \# & * \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \end{array} \right)\]
\(A=\left( \begin{array}{c} 2 & 5 & 6 & 9\\ 0 & 5 & -1 & 4\\ 0 & 0 & 5 & 0\\ \end{array} \right)， rank(A)=3\)
\(B=\left( \begin{array}{c} 4 & 0 & 6 & 0\\ 0 & 5 & 0 & 4\\ 0 & 0 & 0 & 5\\ \end{array} \right)， rank(B)=3\)
\(C=\left( \begin{array}{c} 2 & 0 & 0 & 0\\ 0 & 0 & -7 & 4\\ 0 & 0 & 0 & -1\\ \end{array} \right)， rank(C)=3\)
\(D=\left( \begin{array}{c} 4 & 0 & 6 & 0\\ 0 & 0 & 0 & 4\\ 0 & 0 & 0 & 0\\ \end{array} \right), rank(D)=2\)
\(F=\left( \begin{array}{c} 0 & 2 & 0 & 0\\ 0 & 0 & 0 & 0\\ 0 & 0 & 0 & 0\\ \end{array} \right), rank(F)=1\)
\(O=\left( \begin{array}{c} 0 & 0 & 0 & 0\\ 0 & 0 & 0 & 0\\ 0 & 0 & 0 & 0\\ \end{array} \right), rank(O)=0\)
