對數似然比 Log-likelihood ratio

正態分佈數據的最大似然和對數似然比

假設單個樣本 \(y\) 是來自一組服從正態分佈數據的觀察值：\(Y\sim N(\mu, \tau^2)\)

那麼有：

\[ \begin{aligned} f(y|\mu) &= \frac{1}{\sqrt{2\pi\tau^2}}e^{(-\frac{1}{2}(\frac{y-\mu}{\tau})^2)} \\ \Rightarrow L(\mu|y) &=\frac{1}{\sqrt{2\pi\tau^2}}e^{(-\frac{1}{2}(\frac{y-\mu}{\tau})^2)} \\ \Rightarrow \ell(\mu)&=log(\frac{1}{\sqrt{2\pi\tau^2}})-\frac{1}{2}(\frac{y-\mu}{\tau})^2\\ omitting&\;terms\;not\;in\;\mu \\ &= -\frac{1}{2}(\frac{y-\mu}{\tau})^2 \\ \Rightarrow \ell^\prime(\mu) &= 2\cdot[-\frac{1}{2}(\frac{y-\mu}{\tau})\cdot\frac{-1}{\tau}] \\ &=\frac{y-\mu}{\tau^2} \\ let \; \ell^\prime(\mu) &= 0 \\ \Rightarrow \frac{y-\mu}{\tau^2} &= 0 \Rightarrow \hat{\mu} = y\\ \because \ell^{\prime\prime}(\mu) &= \frac{-1}{\tau^2} < 0 \\ \therefore \hat{\mu} &= y \Rightarrow \ell(\hat{\mu}=y)_{max}=0 \\ llr(\mu)&=\ell(\mu)-\ell(\hat{\mu})=\ell(\mu)\\ &=-\frac{1}{2}(\frac{y-\mu}{\tau})^2 \end{aligned} \]

以二項分佈數據爲例

繼續用本文開頭的例子：

\[llr(\pi)=\ell(\pi)-\ell(\hat{\pi})=log\frac{\pi^4(1-\pi)^{10-4}}{0.4^4(1-0.4)^{10-4}}\]

如果令 \(llr(\pi)=-1.92\) 在代數上可能較難獲得答案。然而從圖形上，如果我們在 \(y=-1.92\) 畫一條橫線，和該似然比方程曲線相交的兩個點就是我們想要求的信賴區間的上限和下限：

x <- seq(0,1,by=0.001)
z <- log((x^4)*((1-x)^6))-log(0.4^4*0.6^6)
plot(x, z, type = "l", ylim = c(-10, 1), yaxt="n", frame.plot = FALSE,
     ylab = "llr(\U03C0)", xlab = "\U03C0" )
axis(2, at=seq(-10, 0, 2), las=2)
abline(h=0, lty=2)
abline(h=-1.92, lty=2)
segments(x0=0.15, y0=-12, x1=0.15, y1=-1.92, lty = 2)
segments(x0=0.7, y0=-12, x1=0.7, y1=-1.92, lty = 2)
axis(1, at=c(0.15,0.7))
text(0.9, -1, "-1.92")
arrows(0.8, -1.92, 0.8, 0, lty = 1, length = 0.08)
arrows( 0.8, 0, 0.8, -1.92, lty = 1, length = 0.08)
title(main = "Log-likelihood ratio for binomial example, \n with 95% likelihood confidence interval shown")

從上圖中可以讀出，\(95\%\) 對數似然比信賴區間就是 \((0.15, 0.7)\)

以正態分佈數據爲例

本文前半部分證明過， \(X_1,\cdots,X_n\stackrel{i.i.d}{\sim}N(\mu,\sigma^2)\)，先假設 \(\sigma^2\) 已知。將觀察數據 \(x_1,\cdots, x_n\) 標記爲 \(\underline{x}\)。 那麼：

\[llr(\mu|\underline{x}) = \ell(\mu|\underline{x})-\ell(\hat{\mu}) = \ell(\mu|\underline{x}) \\ =-\frac{1}{2}(\frac{\bar{x}-\mu}{\sigma/\sqrt{n}})^2\]

很顯然，這是一個關於 \(\mu\) 的二次方程，且最大值在 MLE \(\hat{\mu}=\bar{x}\) 時取值 \(0\)。所以可以通過對數似然比法求出均值的 \(95\%\) 信賴區間公式：

\[-2\times[-\frac{1}{2}(\frac{\bar{x}-\mu}{\sigma/\sqrt{n}})^2]=3.84\\ \Rightarrow L=\bar{x}-\sqrt{3.84}\frac{\sigma}{\sqrt{n}} \\ U=\bar{x}+\sqrt{3.84}\frac{\sigma}{\sqrt{n}} \\ note: \;\sqrt{3.84}=1.96\]

注意到這和我們之前求的正態分佈均值的信賴區間公式完全一致。

Q1

1. 假設十個對象中有三人死亡，用二項分佈模型來模擬這個例子，求這個例子中參數 \(\pi\) 的似然方程和圖形 (likelihood) ?

解

\(\begin{aligned} L(\pi|3) &= \binom{10}{3}\pi^3(1-\pi)^{10-3} \\ omitting\;&terms\;not\;in\;\mu \\ \Rightarrow \ell(\pi|3) &= log[\pi^3(1-\pi)^7] \\ &= 3log\pi+7log(1-\pi)\\ \Rightarrow \ell^\prime(\pi|3)&= \frac{3}{\pi}-\frac{7}{1-\pi} \\ let \; \ell^\prime& =0\\ &\frac{3}{\pi}-\frac{7}{1-\pi} = 0 \\ &\frac{3-10\pi}{\pi(1-\pi)} = 0 \\ \Rightarrow MLE &= \hat\pi = 0.3 \end{aligned}\)

2. 計算似然比，並作圖，注意方程圖形未變，\(y\) 軸的變化；取對數似然比，並作圖

LR <- L/max(L) ; head(LR)

## [1] 0.0000000000 0.0004191759 0.0031233631 0.0098110584 0.0216286076
## [6] 0.0392577320

plot(pi, LR, type = "l", ylim = c(0, 1),yaxt="n", col="darkblue",
     frame.plot = FALSE, ylab = "", xlab = "\U03C0")
grid(NA, 5, lwd = 1)
axis(2, at=seq(0,1,0.2), las=2)
title(main = "Binomial likelihood ratio function\n 3 out of 10 subjects")

logLR <- log(L/max(L))
plot(pi, logLR, type = "l", ylim = c(-4, 0),yaxt="n", col="darkblue",
     frame.plot = FALSE, ylab = "", xlab = "\U03C0")
grid(NA, 5, lwd = 1)
axis(2, at=seq(-4,0,1), las=2)
title(main = "Binomial log-likelihood ratio function\n 3 out of 10 subjects")
abline(h=-1.92, lty=1, col="red")
axis(4, at=-1.92, las=0)

Q2

1. 與上面用同樣的模型，但是觀察人數變爲 \(100\) 人 患病人數爲 \(30\) 人，試作對數似然比方程之圖形，與上圖對比：

可以看出，兩組數據的 MLE 都是一致的， \(\hat\pi=0.3\)，但是對數似然比方程圖形在 樣本量爲 \(n=100\) 時比 \(n=10\) 時窄很多，由此產生的似然比信賴區間也就窄很多（精確很多）。所以對數似然比方程的曲率（二階導數），反映了觀察獲得數據提供的對總體參數 \(\pi\) 推斷過程中的信息量。而且當樣本量較大時，對數似然比方程也更加接近左右對稱的二次方程曲線。

Q3

在一個實施了160人年的追蹤調查中，觀察到8個死亡案例。使用泊松分佈模型，繪製對數似然比方程圖形，從圖形上目視推測極大似然比的 \(95\%\) 信賴區間。

解

\(\begin{aligned} d = 8, \;p &= 160\; person\cdot year \\ \Rightarrow D\sim Poi(\mu &=\lambda p) \\ L(\lambda|data) &= Prob(D=d=8) \\ &= e^{-\mu}\frac{\mu^d}{d!} \\ &= e^{-\lambda p}\frac{\lambda^d p^d}{d!} \\ omitting&\;terms\;not\;in\;\lambda \\ &= e^{-\lambda p}\lambda^d \\ \Rightarrow \ell(\lambda|data)&= log(e^{-\lambda p}\lambda^d) \\ &= d\cdot log(\lambda)-\lambda p \\ & = 8\times log(\lambda) - 160\times\lambda \end{aligned}\)

所以從列表數據結合圖形， 可以找到信賴區間的下限在 0.022~0.023 之間， 上限在 0.093～0.094 之間。