# 第 15 章 假設檢驗的構建 Construction of a hypothesis test

## 15.1 什麼是假設檢驗 Hypothesis testing

1. 從樣本中計算所得的參數估計值爲多少時，拒絕零假設。(接受替代假設爲“真”)
2. 從樣本中計算所得的參數估計值爲多少時，零假設不被拒絕。(接受零假設爲“真”)

## 15.2 錯誤概率和效能方程 error probabilities and the power function

SAMPLE
$$\underline{x} \notin \mathfrak{R}$$ Accept $$H_0$$ $$\underline{x} \in \mathfrak{R}$$ Reject $$H_0$$
TRUTH $$H_0$$ is true $$\checkmark$$ $$\alpha$$
Type I error
$$H_1$$ is true $$\beta$$
Type II error
$$\checkmark$$

$H_0: \theta=\theta_0 \text{ v.s. } H_1: \theta=\theta_1$

$\text{Power}=\text{Prob}(\underline{x}\in\mathfrak{R}|H_1\text{ is true}) = 1-\text{Prob}(\text{Type II error})$

$\text{Prob}(\underline{x}\in \mathfrak{R} |H_0 \text{ is true})=\text{Prob(Type I error)}$

### 15.2.1 以二項分佈爲例

1. A 方法：當且僅當5次觀察都爲“成功”時才拒絕 $$H_0 (\text{i.e.}\; X=5)$$。所以此時判別區域 $$\mathfrak{R}$$$$5$$。檢驗效能 $$\text{Power}=1-\beta$$ 爲：$$Prob(X=5|H_1 \text{ is true})=(\frac{2}{3})^5=0.1317$$。顯著性水平 $$\alpha$$$$Prob(X=5|H_0 \text{ is true})=(\frac{1}{2})^5=0.03125$$
2. B 方法：當觀察到3,4,5次“成功”時，拒絕 $$H_0 (\text{i.e.} X=3,4,5)$$。此時判別區域 $$\mathfrak{R}$$$$3,4,5$$。檢驗效能 $$Power$$ 爲：$$Prob(X=3,4,\text{ or }5|H_1 \text{ is ture})=\sum_{i=3}^5(\frac{2}{3})^i(\frac{1}{3})^{5-i}\approx0.7901$$；顯著性水平 $$\alpha$$ 爲：$$Prob(X=3,4,5|H_0 \text{ is true})=\sum_{i=3}^5(\frac{1}{2})^i(\frac{1}{2})^{5-i}=0.5$$
# the power in test B
dbinom(3,5,2/3)+dbinom(4,5,2/3)+dbinom(5,5,2/3)
## [1] 0.7901
# the size in test B
dbinom(3,5,0.5)+dbinom(4,5,0.5)+dbinom(5,5,0.5)
## [1] 0.5

## 15.3 如何選擇要檢驗的統計量

$\text{Neyman-Pearson lemma}=\frac{L_{H_0}}{L_{H_1}}$

1. 被檢驗統計量的樣本分佈 (the sampling distribution of the test statistic)
2. 第一類錯誤概率 $$\alpha$$ (the required value of $$\alpha$$)

### 15.3.1 以已知方差的正態分佈爲例

$\ell(\mu|\underline{x}) =-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2$

$\ell_{H_0}-\ell_{H_1}=-\frac{1}{2\sigma^2}(\sum_{i=1}^n(x_i-5)^2-\sum_{i=1}^n(x_i-10)^2)$

\begin{aligned} \ell_{H_0}-\ell_{H_1} & = -(\sum_{i=1}^n(x_i-5)^2-\sum_{i=i}^n(x_i-10)^2)\\ & = 75n - 2\times(10-5)\sum_{i=1}^nx_i \\ \end{aligned}

## 15.4 複合假設 composite hypotheses

1. $$H_0: \theta=\theta_0 \;\text{v.s.}\; H_1: \theta>\theta_0$$ [單側的替代假設]
2. $$H_0: \theta=\theta_0 \;\text{v.s.}\; H_1: \theta\neq\theta_0$$ [雙側的替代假設]

## 15.5 爲反對零假設 $$H_0$$ 的證據定量

$\text{Prob}(\underline{x}\in\mathfrak{R}|H_0)=\alpha$

$Prob(T\geqslant c|H_0)=\alpha$

$\{\underline{x}:\text{Prob}(T(x)\geqslant c|H_0)=\alpha\}$

$p=\text{Prob}(T\geqslant t|H_0)$

$p<\alpha \Leftrightarrow t>c$

### 15.5.1 回到正態分佈的均值比較問題上來(單側替代假設)

1. 確定最佳檢驗統計量：已經證明過，單側替代假設的最佳檢驗統計量是樣本均值 $$\bar{x}$$
2. 確定該統計量的樣本分佈：已知樣本均數的樣本分佈是 $$\bar{X}\sim N(\mu,\sigma^2/n)$$
$$\Rightarrow Z=\frac{\bar{X}-\mu}{\sigma/\sqrt{n}} \sim N(0,1)$$，所以在 $$H_0$$ 條件下，$$\Rightarrow Z=\frac{\bar{X}-5}{\sqrt{10}/\sqrt{n}} \sim N(0,1)$$
3. 所以當一個檢驗的顯著性水平設定爲 $$\alpha=0.05$$ 時，我們用判別區域 $$\mathfrak{R}$$，使統計量據落在該判別區域內的概率爲 $$0.05$$
$$\text{Prob}(\bar{X}\geqslant c|H_0) = 0.05$$
已知在標準正態分佈時，$$\text{Prob}(Z\geqslant1.64)=0.05=\text{Prob}(\frac{\bar{X}-5}{\sqrt{10}/\sqrt{n}}\geqslant1.64)$$
4. 假設樣本量是 $$10$$，那麼數據的判別區域 $$\mathfrak{R}$$ 就是 $$\bar{X}\geqslant6.64$$
5. 假設觀察數據告訴我們，$$\bar{X}=7.76$$ 。那麼這一組觀察數據計算得到的統計量落在了判別區域內，就提供了足夠的證據拒絕接受 $$H_0$$
6. 我們可以給這個觀察數據計算相應的單側 $$p$$ 值：
$$p=\text{Prob}(\bar{X}\geqslant7.76|H_0)=\text{Prob}(Z+5\geqslant7.76)\\=\text{Prob}(Z\geqslant2.76)=0.003$$
所以，觀察數據告訴我們，在 $$H_0$$ 的前提下，觀察值出現的概率是 $$0.3\%$$ 。即，在無數次重複取樣實驗中，僅有 $$0.3\%$$ 的結果可以給出支持 $$H_0$$ 的證據。因此我們拒絕 $$H_0$$ 接受 $$H_1$$

## 15.6 雙側替代假設情況下，雙側 $$p$$ 值的定量方法

$H_0: \theta=\theta_0 \;\text{v.s.}\; H_1: \theta\neq\theta_0$

1. $$H_1: \theta>\theta_0$$;
2. $$H_1: \theta<\theta_0$$.

1. $$T\geqslant t_{\text{obs}}$$ 其中， $$\text{Prob}(T\geqslant t_{\text{obs}}|H_0)=\tilde p$$;
2. $$T\leqslant t^\prime$$ 其中，$$t^\prime$$ 滿足： $$\text{Prob}(T\leqslant t^\prime|H_0) =\tilde p$$。(圖15.1)

• 被選中的 $$t^\prime$$ 值大小不大可能滿足：$$|t^\prime - E(T|\theta_0)|=|t_{obs}-E(T|\theta_0)|$$。因爲那只有在完全左右對稱的分佈中才會出現。但是，此處我們關心的是面積左右兩邊的尾部要相等即可，所以我們只需要知道右半邊，較大的那個 $$t_{obs}$$ 就完全足夠了。

## 15.7 假設檢驗構建之總結

1. 先建立零假設，和替代假設 (Section 15.1)；
2. 定義最佳檢驗統計量 (用 Neyman-Pearson lemma) (Section 15.3)；
3. 取得零假設條件下，最佳統計量的樣本分佈(通常都較爲困難，有時候我們會傾向於使用“不太理想”，但是計算較爲簡便的過程。) ；
4. 定義拒絕域(判別區域) (常用 $$\alpha=0.05$$) ；
5. 計算觀察數據的檢驗統計量；
6. 如果觀察數據的檢驗統計量落在了提前定義好的拒絕域內，那麼我們的檢驗結論就是：觀察數據拒絕了零假設支持替代假設。然而在實際操作時，如果發現數據的檢驗統計量不在拒絕域內，我們僅僅只能下結論說：觀察數據無法拒絕零假設(而不是接受零假設！) ；
7. 報告計算得到的反對零假設的定量 $$p$$ 值。

## 15.8 練習題

### 15.8.1 Q1

1. 證明以下的假設的最佳檢驗統計量是 $$\sum_{i=1}^{10}(x_i-3)^2$$$H_0: \sigma^2=1/4 \text{ v.s. } H_1: \sigma^2=1$

\begin{aligned} L(\sigma^2|\underline{x},\mu=3) &= \prod_{i=1}^n\frac{1}{\sqrt{2\pi\sigma^2}}\text{exp}(-\frac{1}{2}(\frac{x_i-3}{\sigma})^2) \\ \Rightarrow \ell(\sigma^2) &=-\frac{1}{2}\sum_{i=1}^n\text{log}\sigma^2-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-3)^2 \\ &= -\frac{n}{2}\text{log}\sigma^2-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-3)^2 \\ \Rightarrow \ell(\sigma_0^2)-\ell(\sigma_1^2)&= \frac{n}{2}\text{log}\sigma_1^2+\frac{1}{2\sigma_1^2}\sum_{i=1}^n(x_i-3)^2\\ &\;\;\;\;\;\;-\frac{n}{2}\text{log}\sigma_0^2-\frac{1}{2\sigma_0^2}\sum_{i=1}^n(x_i-3)^2\\ &=\frac{n}{2}(\text{log}\sigma_1^2-\text{log}\sigma_0^2)+\frac{1}{2}(\frac{1}{\sigma_1^2}-\frac{1}{\sigma_0^2})\sum_{i=1}^n(x_i-3)^2\\ &=\frac{n}{2}\text{log}\frac{\sigma_1^2}{\sigma_0^2}+\frac{1}{2}(\frac{1}{\sigma_1^2}-\frac{1}{\sigma_0^2})\sum_{i=1}^n(x_i-3)^2 \end{aligned}

1. 證明上面的檢驗統計量總是可以作爲最佳檢驗統計量，用於檢驗單側替代假設：$$H_1: \sigma^2>1/4$$

1. $$H_0$$ 條件下，樣本分佈 $$\sum_{i=1}^{10}(x_i-3)^2$$ 是怎樣的分佈？利用這個分佈來定義顯著性水平爲 $$\alpha=0.05$$ 時的拒絕域。

$$H_0$$ 條件下，有： $X_1,\cdots,X_n\stackrel{i.i.d}{\sim}N(3,1/4)\\ \Rightarrow \frac{X_i-3}{\sqrt{1/4}}\sim N(0,1)\\ \Rightarrow (\frac{X_i-3}{\sqrt{1/4}})^2 \sim \mathcal{X}_1^2\\ \Rightarrow \sum_{i=1}^{10}(\frac{X_i-3}{\sqrt{1/4}})^2 \sim \mathcal{X}_{10}^2\\ \Rightarrow 4\sum_{i=1}^{10}(X_i-3)^2\sim \mathcal{X}_{10}^2\\ \text{Let } T=\sum_{i=1}^{10}(X_i-3)^2\\ \Rightarrow 4T \sim \mathcal{X}_{10}^2$

$\text{Prob}(4T\geqslant \mathcal{X}^2_{10,0.95})=0.05\\ \Rightarrow \text{Prob}(T\geqslant 1/4\mathcal{X}^2_{10,0.95})=0.05$

1. $$H_0$$ 條件下，該檢驗統計量的正態分佈模擬是怎樣的？

$n\rightarrow \infty, X_n^2\sim N(n, 2n)$

$\mathcal{X}_{10}^2\sim N(\text{E}(\mathcal{X}_{10}^2)=10,\text{Var}(\mathcal{X}_{10}^2)=20)\\ \Rightarrow 4T\sim \text{approx} N(10,20)\\ \Rightarrow \frac{4T-10}{\sqrt{20}} \stackrel{\cdot}{\sim} N(0,1)$

1. 用上面的正態分佈模擬，和觀察嘗試對單側替代假設作統計檢驗並依據所得結果作出結論：$H_0: \sigma^2=1/4 \text{ v.s. } H_1: \sigma^2>1/4$

$\text{Prob}(\frac{4T-10}{\sqrt{20}}\geqslant Z_{0.95})=0.05$

$\frac{4T-10}{\sqrt{20}}\geqslant 1.64\\ \Rightarrow T\geqslant1/4(10+1.64\sqrt{20})=1/4\times17.33$

1. 區分與之前討論的對數似然比 (Section 13)，之前討論的對數似然比指的是所有的似然和極大似然之間的比，此處的似然比只是純粹在探討兩個假設之間的似然比，與極大似然無關

2. Rememer that $$\ell_{H_0}-\ell_{H_1}$$ is a random variable: the data varies each time we sample, with consequently varying relative support for the hypotheses, and so we are only interested in that part of $$\ell_{H_0}-\ell_{H_1}$$ which depends on the results, the data, which vary with each sample (i.e. which contains the random part); the constant part provides no information on the relative support the data give to the hypotheses, so we ignore it.