概率論2

Bayes 理論的概念

許多時候,我們需要將概率中的條件相互對調。 例如: 在已知該人羣中有20%的人有吸菸習慣(\(P(S)\)),吸菸的人有9%的概率有哮喘(\(P(A|S)\)),不吸菸的人有7%的概率有哮喘(\(P(A|\bar{S})\))的前提下,有個人前來門診,發現是哮喘患者,那麼這個人有多大的概率是一個菸民?也就是要求 \(P(S|A)\)

這裏先引入貝葉斯的概念:

我們可以將 \(P(A\cap S)\) 寫成: \[P(A\cap S)=P(A|S)P(S)\\or\\ P(A\cap S)=P(S|A)P(A)\] 這兩個等式是完全等價的。我們將他們連起來:

\[P(S|A)P(A)=P(A|S)P(S)\\ \Rightarrow P(S|A)=\frac{P(A|S)P(S)}{P(A)}\]

是不是看起來又像是寫了一堆廢話? 沒錯,你看出來是一堆廢話的時候,證明你也同意這背後的簡單邏輯。

再繼續,我們可以利用另外一個廢話\(\because S+\bar{S}=1\\ \therefore P(A)=P(A\cap S)+P(A\cap\bar{S})\)

用上面的公式替換掉 \(P(A\cap S)+P(A\cap\bar{S}) \\ \therefore P(A)=P(A|S)P(S)+P(A|\bar{S})P(\bar{S})\)

可以得到貝葉斯理論公式

\[P(S|A)=\frac{P(A|S)P(S)}{P(A|S)P(S)+P(A|\bar{S})P(\bar{S})}\]

回到上面說到的哮喘人中有多少比例吸菸的問題。可以繼續使用概率樹來方便的計算:

\[\begin{align} P(S|A) &= \frac{P(A|S)P(S)}{P(A|S)P(S)+P(A|\bar{S})P(\bar{S})} \\ &= \frac{0.09\times0.2}{0.09\times0.2+0.07\times0.8} \\ &= 0.24 \end{align}\]

所以我們的結論就是,在已知該人羣中有20%的人有吸菸習慣(\(P(S)\)),吸菸的人有9%的概率有哮喘(\(P(A|S)\)),不吸菸的人有7%的概率有哮喘(\(P(A|\bar{S})\))的前提下,有個人前來門診,發現是哮喘患者,那麼這個人有24% 的概率是一個菸民(\(P(S|A)\))。

期望 Expectation (或均值 or mean) 和 方差 Variance

期望(或均值)是用來描述一組數據中心位置的指標(另一個是中位數 Median)。 對於離散型隨機變量 \(X\) (discrete random variables),它的期望被定義爲:

\[E(X)=\sum_x xP(X=x)\]

所以就是將所有 \(X\) 可能取到的值乘以相應的概率後求和。這個期望(或均值)常常用希臘字母 \(\mu\) 來標記。

方差 Variance 是衡量一組數據變化幅度(dispersion/variability)的指標之一。 方差的定義是:

\[Var(X)=E((X-\mu)^2)\\其中,\mu=E(x)\]

實際上我們更加常用的是它的另外一個公式:

\[Var(X)=E(X^2)-E(X)^2\]

證明 上面兩個方差公式相等

\[\begin{align} Var(x) &= E((X-\mu)^2) \\ &= E(X^2-2X\mu+\mu^2)\\ &= E(X^2) - 2\mu E(X) + \mu^2\\ &= E(X^2) - 2\mu^2 + \mu^2 \\ &= E(X^2) - \mu^2 \\ &= E(X^2) - E(X)^2 \end{align}\]

方差的性質:

  1. \(Var(X+b)=Var(X)\)
  2. \(Var(aX)=a^2Var(X)\)
  3. \(Var(aX+b)=a^2Var(X)\)

伯努利分佈 Bernoulli distribution

伯努利分佈,說的就是一個簡單的二分變量 (1, 0),它取1時的概率如果是 \(\pi\)。那麼我們可以計算這個分佈的期望值:

\[\begin{align} E(X) &=\sum_x xP(X=x) \\ &=1\times\pi + 0\times(1-\pi)\\ &=\pi \end{align}\]

由於 \(x=x^2\),因爲 \(x=0,1\), 所以 \(E[X^2]=E[X]\),那麼方差爲:

\[\begin{align} Var(X) &=E[X^2]-E[X]^2 \\ &=E[X]-E[X]^2 \\ &=\pi - \pi^2 \\ &=\pi(1-\pi) \end{align}\]

證明,\(X,Y\) 爲互爲獨立的隨機離散變量時,
a) \(E(XY)=E(X)E(Y)\) ;
b) \(Var(X+Y)=Var(X)+Var(Y)\)

    1. 證明

\[\begin{align} E(XY) &= \sum_x\sum_y xyP(X=x, Y=y) \\ \because &\; X,Y are\;independent\;to\;each\;other \\ \therefore &= \sum_x\sum_y xyP(X=x)P(Y=y)\\ &=\sum_x xP(X=x)\sum_y yP(Y=y)\\ &=E(X)E(Y) \end{align}\]

    1. 證明 根據方差的定義: \[\begin{align} Var(X+Y) &= E((X+Y)^2)-E(X+Y)^2 \\ & \; Expand \\ &=E(X^2+2XY+Y^2)-(E(X)+E(Y))^2\\ &=E(X^2)+E(Y^2)+2E(XY)\\ &\;\;\; - E(X)^2-E(Y)^2-2E(X)E(Y)\\ &\; We\;just\;showed\; E(XY)=E(X)E(Y)\\ &=E(X^2)-E(X)^2+E(Y^2)-E(Y)^2 \\ &=Var(X)+Var(Y) \end{align}\]

Related

comments powered by Disqus