「統計解析のための線形代数」復習筆記10

向量的內積 (inner product)

Theorem 1 (vectors inner product) 向量的內積運算,僅限定於維度相同的兩個向量之間。一個向量爲橫向量寫在左側,一個向量爲列向量寫在右側,兩個向量的相對應成分一一相乘,然後將各成分乘積相加的過程,我們稱之爲內積(inner product, scalar product)運算。內積運算結果通常不會是向量,而是標量(scalar),或正或負,或爲零。向量 \(\underline{a}\) 與向量 \(\underline{b}\) 的內積寫作:\(\underline{a}^t\underline{b}, \underline{b}^t\underline{a}\) 或者寫作: \(\underline{a}\cdot\underline{b}, (\underline{a},\underline{b}), <\underline{a},\underline{b}>\)。內積爲 \(0\) 的向量我們稱他們爲正交向量(orthogonal),寫作:\(\underline{a}\perp\underline{b}\)。 內積,與和記號: \(\sum\) 有緊密聯系。我們常常會把 \(\sum\) 式子/量寫成向量的內積形式。

練習

  1. 列向量 \(\underline{a}=\left( \begin{array}{c} a_1\\ a_2\\ a_3 \end{array} \right), \underline{b}=\left( \begin{array}{c} b_1\\ b_2\\ b_3 \end{array} \right)\) 的內積:
    \(\underline{a}^t\underline{b}=(a_1,a_2,a_3)\left( \begin{array}{c} b_1\\ b_2\\ b_3 \end{array} \right)=a_1b_1+a_2b_2+a_3b_3\\=\sum\limits_{i=1}^3a_ib_i=\sum\limits_{i=1}^3b_ia_i=\underline{b}^t\underline{a}\)

  2. 橫向量 \(\underline{a}=(a_1,a_2,a_3), \underline{b}=(b_1,b_2,b_3)\) 的內積:
    \(\underline{a}\underline{b}^t=(a_1,a_2,a_3)\left( \begin{array}{c} b_1\\ b_2\\ b_3 \end{array} \right)=a_1b_1+a_2b_2+a_3b_3\\=\sum\limits_{i=1}^3a_ib_i=\sum\limits_{i=1}^3b_ia_i=\underline{b}\underline{a}^t\)

  3. 完全相同的兩個列向量 \(\underline{x}=\left( \begin{array}{c} x_1\\ x_2\\ x_3 \end{array} \right),\;\underline{x}=\left( \begin{array}{c} x_1\\ x_2\\ x_3 \end{array} \right)\) 的內積:
    \(\underline{x}^t\underline{x}=(x_1,x_2,x_3)\left( \begin{array}{c} x_1\\ x_2\\ x_3 \end{array} \right)\\=x_1^2+x_2^2+x_3^2=\sum\limits_{i=1}^3x_i\cdot x_i=\sum\limits_{i=1}^3x_i^2\)

  4. 完全相同的兩個橫向量 \(\underline{y}=(y_1,y_2,y_3), \underline{y}=(y_1,y_2,y_3)\) 的內積:
    \(\underline{y}\underline{y}^t=(y_1,y_2,y_3)\left( \begin{array}{c} y_1\\ y_2\\ y_3 \end{array} \right)\\=y_1^2+y_2^2+y_3^2=\sum\limits_{i=1}^3y_i\cdot y_i=\sum\limits_{i=1}^3y_i^2\)

  5. 向量 \(\underline{a}=(2,0,-1), \underline{b}=(4,-2,8)\) 的內積:
    \(\underline{a}\underline{b}^t=(2,0,-1)\left( \begin{array}{c} 4\\ -2\\ 8 \end{array} \right)=2\times4+0\times(-2)+(-1)\times8=0\)
    因此我們稱這兩個向量正交。

  6. \(\underline{1}=\left( \begin{array}{c} 1\\ 1\\ 1 \end{array} \right), \underline{x}=\left( \begin{array}{c} x_1\\ x_2\\ x_3 \end{array} \right)\) 時:
    \(\underline{1}^t\underline{x}=1\cdot x_1+1\cdot x_2+1\cdot x_3 =\sum\limits_{i=1}^3x_i=\underline{x}^t\underline{1}\)
    \(\underline{1}^t\underline{1}=\sum\limits_{i=1}^31\cdot 1=3\)
    前者的內積與後者內積的商: \(\frac{\underline{1}^t\underline{x}}{\underline{1}^t\underline{1}}=\frac{x_1+x_2+x_3}{3}\) 我們在統計學中用 \(\bar{x}\) (平均值) 來標記。

問題: 如果,向量 \(\underline{a}, \underline{b}\) 有內積, 請問有沒有所謂的外積 (outer product) ?
回答: 有。不過,僅限於3維度的向量:

\(\underline{a}=\left( \begin{array}{c} a_1\\ a_2\\ a_3 \end{array} \right), \underline{b}=\left( \begin{array}{c} b_1\\ b_2\\ b_3 \end{array} \right)\) 的外積,我們用 \(\times\) 來表示,寫作: \(\underline{a}\times\underline{b}\)。 其運算被定義爲:
\(\underline{a}\times\underline{b}=\left( \begin{array}{c} a_2b_3-a_3b_2\\ a_3b_1-a_1b_3\\ a_1b_2-a_2b_1 \end{array}\right)\)。與內積不同的是,外積運算的結果仍然是\(3\)維度的向量。外積有如下的性質:
\(\underline{a}\times\underline{b}=-\underline{b}\times\underline{a}\)

向量的長度 (length)

Theorem 2 (vector length) 向量 \(\underline{a}\) 的內積 \(\underline{a}^t\underline{a}\) 的平方根中,非負的量,我們稱之爲向量 \(\underline{a}\)長度或者大小。也就是:\(\sqrt{\underline{a}^t\underline{a}}\)。記作:\(\| \underline{a} \|\)

兩個向量 \(\underline{a}, \underline{b}\) 類型(type:大小,維度)相同時,他們的差 \(\underline{a}-\underline{b}\) 依然是向量,這個新向量的長度爲:\(\| \underline{a}-\underline{b} \| = \sqrt{(\underline{a}-\underline{b})^t(\underline{a}-\underline{b})}\)
  1. \(\underline{x}=\left( \begin{array}{c} x_1\\ x_2\\ x_3 \end{array} \right)\) 的長度爲: \(\| \underline{x} \| =\sqrt{\underline{x}^t\underline{x}}=\sqrt{x_1^2+x_2^2+x_3^2}\)

  2. \(\underline{a}=(a_1,a_2,a_3)\) 的長度爲: \(\| \underline{a} \| =\sqrt{\underline{a}\underline{a}^t}=\sqrt{a_1^2+a_2^2+a_3^2}\)

  3. 兩個向量 \(\underline{a}, \underline{b}\) 的長度和內積有這樣的關系:
    \(-\| \underline{a} \|\| \underline{b} \|\leqslant \underline{a}^t\underline{b}\leqslant\| \underline{a} \|\| \underline{b} \|\)
    證明: 以維度爲 \(3\) 的向量爲例進行證明,其他維度的向量,證明思路類似:
    \(\underline{a}=\left( \begin{array}{c} a_1\\ a_2\\ a_3 \end{array} \right), \underline{b}=\left( \begin{array}{c} b_1\\ b_2\\ b_3 \end{array} \right)\)\(t\) 爲任意實數。平方和:
    \(\sum\limits_{i=1}^3(a_it+b_i)^2 =(a_1t+b_1)^2+(a_2t+b_2)^2+(a_3t+b_3)^2\\ \;\;\;\;\;\;\;=(a_1^2+a_2^2+a_3^2)t^2+2(a_1b_1+a_2b_2+a_3b_3)t\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;+(b_1^2+b_2^2+b_3^2)\\ \;\;\;\;\;\;\;=\| \underline{a} \|^2t^2+2\underline{a}^t\underline{b}t+\| \underline{b} \|^2\geqslant0\)
    \(\therefore \| \underline{a} \|^2(t+\frac{\| \underline{b} \|^2}{2\| \underline{a} \|^2})^2+\| \underline{b} \|^2-\frac{(2\underline{a}^t\underline{b})^2}{4\| \underline{a} \|^2}\geqslant0\)
    可見這是一個關於 \(t\) 的絕對不等式。因此,判別式
    \((2\underline{a}^t\underline{b})^2-4\times\| \underline{a} \|^2\| \underline{b} \|^2\leqslant0\\ \therefore (\underline{a}^t\underline{b})^2\leqslant\| \underline{a} \|^2\| \underline{b} \|^2\\ \therefore -\| \underline{a} \|\| \underline{b} \|\leqslant \underline{a}^t\underline{b}\leqslant \| \underline{a} \|\| \underline{b} \|\)
    \(\divideontimes\) 兩向量內積,除以兩向量各自的長度(正),在統計學中被成爲是相關系數,寫作 \(r=\frac{\underline{a}^t\underline{b}}{\| \underline{a} \|\| \underline{b} \|}\),我們從上面的不等式也可以得出, \(-1 \leqslant r \leqslant 1\) 另外,兩個向量又可以表示爲兩條射線,這兩條射線構成的角度如果爲 \(\theta\)\(\cos\theta=r =\frac{\underline{a}^t\underline{b}}{\| \underline{a} \|\| \underline{b} \|}\)

  4. 兩個向量 \(\underline{a}, \underline{b}\) 的和 \(\underline{a}+\underline{b}\) 也是一個新的向量。這三個向量之間有:\(\| \underline{a}+\underline{b} \|\leqslant\| \underline{a} \|+\| \underline{b} \|\)。這個關系被稱爲三角不等式,或者三角關系(triangular inequality)。
    證明:此處亦爲了簡便起見使用維度爲 \(3\) 的向量,即,前述3.的 \(\underline{a}, \underline{b}\)
    \(\| \underline{a}+\underline{b}\|^2=(a_1+b_1)^2+(a_2+b_2)^2+(a_3+b_3)^2\\ \;\;\;\;\;\;\;=(a_1^2+a_2^2+a_3^3)+2(a_1b_1+a_2b_2+a_3b_3)+(b_1^2+b_2^2+b_3^2)\\ \;\;\;\;\;\;\;=\| \underline{a} \|^2+2\underline{a}^t\underline{b}+\| \underline{b} \|^2\)
    如果我們把前面問題3.中的不等式代入:
    \(\| \underline{a} \|^2+2\underline{a}^t\underline{b}+\| \underline{b} \|^2\leqslant \| \underline{a} \|^2+2\| \underline{a} \|\| \underline{b} \|+\| \underline{b} \|^2\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;=(\| \underline{a} \|+\| \underline{b} \|)^2\\ \therefore \| \underline{a}+\underline{b}\|^2 \leqslant (\| \underline{a} \|+\| \underline{b} \|)^2\\ \therefore \| \underline{a}+\underline{b}\|\leqslant\| \underline{a} \|+\| \underline{b} \|\)

向量正規化 normalize

Theorem 3 (normalize) 長度不爲 \(0\) 的任意向量 \(\underline{a}(\neq\underline{0})\),如果將它轉變成長度爲 \(1\) 的向量 \(\underline{e}_{\underline{a}}\)。這個過程被叫做向量的正規化(normalize)。通常只要將向量 \(\underline{a}\) 除以他的長度 \(\| \underline{a} \|\) 即可。

\(\underline{e}_{\underline{a}}=\frac{\underline{a}}{\| \underline{a} \|}=\frac{1}{\| \underline{a} \|}\underline{a}\)

例如:

  1. \(\underline{a}=\left( \begin{array}{c} a_1\\ a_2\\ a_3 \end{array} \right)\), 則有 \(\underline{e}_{\underline{a}}=\frac{1}{\sqrt{a_1^2+a_2^2+a_3^2}}\left( \begin{array}{c} a_1\\ a_2\\ a_3 \end{array} \right)\)

  2. \(\underline{b}=\left( \begin{array}{c} -2\\ 1\\ 2 \end{array} \right)\),則有 \(\underline{e}_{\underline{a}}=\frac{1}{\sqrt{(-2)^2+1^2+2^2}}\left( \begin{array}{c} -2\\ 1\\ 2 \end{array} \right)=\left( \begin{array}{c} -\frac{2}{3}\\ \frac{1}{3}\\ \frac{2}{3} \end{array} \right)\)

Avatar
Chaochen Wang 王 超辰
Assistant Professor

All models are wrong, but some are useful.

comments powered by Disqus

Related