信賴區間

一個平均數還不夠,我們還想知道它有多不確定。從餐費與身高,理解信賴區間、標準誤,以及那個容易誤會的 95%。

所以,之前已經介紹過 p-value 了,那今天就來補上另一個在研究裡很常看到的東西,也就是 信賴區間(Confidence Interval,CI)。

先簡單複習一下。p-value 問的是:如果虛無假設是對的,其他檢定假設也都成立,那出現目前這麼極端,甚至更極端的結果,機率有多大?

但我們在那篇後面也有提到,研究不會只看 p-value。就算結果達到統計顯著,我們還是會想問:所以,到底估計出多少?這個數字又有多準?

這就是信賴區間能幫忙的地方。

如果先用一句話介紹,可以把它想成:

除了告訴你估計是多少,也給一段範圍,讓你知道這個估計還有多少不確定性。

嗯,感覺還是有一點抽象。沒關係,我們一樣從例子開始。

一、只給一個平均數,夠嗎?

假設你今天突然很好奇:

「全校學生平均一個月花多少餐費?」

但全校有 10,000 個學生。總不可能為了滿足你的好奇心,真的一個一個抓來問吧?

所以,你隨機找了 100 個學生,問他們每個月花多少餐費,最後算出平均是 6,000 元。

好,問題來了。你真的敢直接說,全校學生的平均餐費就是 6,000 元嗎?

應該不敢吧!畢竟只問了 100 個人,誰知道是不是剛好抽到一群特別愛吃,或是特別省錢的人?換一批人,可能就變成 5,800 元,也可能變成 6,200 元。

這裡就要先分清楚兩個東西:

  • xˉ\bar{x}:樣本平均數,也就是這次抽到的 100 個人,平均花多少錢。
  • μ\mu:母體平均數,也就是全校學生真正的平均餐費。

我們這次算出來的是:

xˉ=6000 元\bar{x}=6000\text{ 元}

但真正的 μ\mu 呢?

不知道。不然我們也不用在這裡學統計了。

所以,樣本平均數不一定等於母體平均數。 我們要估計的,是全校這群學生在這段時間的平均餐費。這個數字不會因為你換一批人來問就改變,會變的是你算出來的樣本平均數。

那既然有這種不確定性,我們能不能不要只報一個數字,而是給一段估計範圍?

可以。假設我們用統計方法,算出一個 95% 信賴區間:

[5500, 6500] 元[5500,\ 6500]\text{ 元}

也就是用 5,500~6,500 元這段範圍,來估計全校真正的平均餐費。這裡的數字先拿來舉例,兩端怎麼算,後面再說。

但我相信,大家現在一定有一個疑問:

「所以,真正的平均餐費有 95% 的機率,落在這段範圍裡?」

欸,還真的不能這樣解釋。

這也是信賴區間最容易讓人卡住的地方。

二、95% 到底在說什麼?

想像你有一台機器。每按一次,它就會重新從全校隨機抽出 100 名學生,再用同一套方法,算出一個 95% 信賴區間。

假設你今天很閒,連續按了 100 次,就會得到 100 個區間。

現在再假設,我們有辦法知道全校真正的平均餐費,其實是:

μ=6200 元\mu=6200\text{ 元}

注意,這個 6,200 元不會因為機器抽到不同的人就改變。會改變的是樣本,以及用樣本算出來的區間。

有些區間可能是 5,500~6,500 元,有些可能是 5,900~6,700 元,也可能有一段是 5,100~6,100 元。

前兩段有包含真正的 6,200 元,最後一段就沒有。

那 95% 到底在哪裡?假設這台機器用的方法沒問題,需要的假設也都成立。一直這樣抽下去,算出很多很多個區間,大約 95% 會包含真正的平均數,另外約 5% 會漏掉它。

這就是 95% 信賴水準(Confidence Level) 的意思。不過,按 100 次可不保證剛好有 95 段包含它。這個 95%,要看一直重複抽樣,長期下來的比例。

那為什麼不能說「這一次的區間有 95% 的機率包含真正平均數」?

因為全校真正的平均餐費就擺在那裡,不會跟著我們抽樣而改變。而抽完之後,這次的區間也定下來了,例如前面的 5,500~6,500 元。

這段範圍要嘛有包含真正的平均數,要嘛沒有,只是我們不知道。這就是這裡採用的頻率學派的看法。

所以,95% 講的是還沒抽樣時,用這套方法算出的區間有多大機會包含真正的平均數。抽完以後,就不能直接把它當成手上這段區間的機率了。

聽起來很繞,對吧?其實可以先抓住這個差別:

一直重抽、一直算,大約 95% 的區間會包含真正的平均數。但手上這一段有沒有包含它,我們還是不知道。

這也有點像之前 p-value 那篇提到的事情:看到百分比,總會很想直接拿來回答自己最在意的問題。但還是得先看清楚,這個數字原本在回答什麼。

還有,這裡估計的是全校的平均餐費,不是說全校 95% 的學生,餐費都落在 5,500~6,500 元。

平均數在哪裡,跟每個人的餐費分散在哪裡,是兩個問題。

四十次獨立模擬得到的平均身高信賴區間,藍色區間涵蓋固定的母體平均一百七十三公分,紅色區間沒有涵蓋。
藍線有包含真值,紅線沒有。95% 描述方法在長期重複抽樣下的涵蓋率。

三、區間到底應該多寬?

好,知道 95% 的意思了。但前面那段 5,500~6,500 元,到底是怎麼決定的?

我們換一個例子。假設你想估計某個母體的平均身高,抽樣後得到平均 173 公分。

那我直接給一段 100~250 公分的範圍,可以嗎?

感覺很難沒包含真正的平均身高,但這樣到底提供了多少資訊?繞了一圈,大家還是不知道平均身高大概是多少。

所以,光是範圍夠大也沒用,我們還是希望能估得準一點。那這段範圍到底能縮到多窄?主要就看下面幾件事。

1. 資料本身有多分散?

想像有兩所學校。

A 學校的學生身高很接近,大部分集中在 168~172 公分附近。B 學校的身高就比較分散,有些人只有 150 公分,有些人則有 190 公分。

現在分別從兩校隨機抽 100 個人,剛好算出的平均身高都是 170 公分。

雖然這次的平均數一樣,但如果重新抽一批人,哪一所學校算出的平均數,通常比較不容易大幅變動?

通常會是 A 學校。因為大家身高接近,換一批人,平均也不太容易差很多。B 學校則可能因為這次多抽到幾個高個子,或多抽到幾個矮個子,讓平均數變動得比較明顯。

所以,如果抽的人數一樣,信賴水準等條件也一樣,資料越分散,估計平均數的信賴區間通常就越寬。

2. 你抽了多少人?

那如果不是抽 100 個人,而是抽 1,000 個人呢?

如果抽樣方式沒問題,其他條件也差不多,問的人越多,通常就比較不容易因為剛好多問到幾個高個子,讓平均數差很多。估計比較穩,信賴區間也就會比較窄。

但這裡要注意,抽得多,不代表抽得有代表性。

你如果只在籃球隊門口找人,再怎麼努力收集身高,也不一定能代表全校學生。多問一些人,可以讓隨機抽樣的結果比較穩,但如果一開始就找錯人,問再多也不會自動變準。

這部分先記住就好,不然我們又要一路岔到研究設計了。

3. 你選了多高的信賴水準?

前面一直用 95%,但信賴水準也可以選 90% 或 99%。

看到這裡,你可能會想:「那當然選 99% 啊,誰會想要比較低的?」

嗯,如果沒有代價,大家確實都可以這樣選。

但拿同一份資料,用同一類方法來算,信賴水準越高,區間通常就越寬。

例如,先用示意數字看這個關係:

信賴水準平均身高的信賴區間
90%170~176 公分
95%169~177 公分
99%167~179 公分

如果把每次算出的區間想成一張網,想讓它在重複抽樣時更常網到真正的平均數,就得把網放大一點。

但網放大,估計範圍也就變寬了。

所以,同樣一份資料,想把信賴水準拉高,通常就得接受範圍變寬。 沒辦法兩邊都要。

四、所以信賴區間怎麼算?

前面講了很多直覺,現在終於要進到公式了。

先別急著跑。我們這裡估計平均數,常見的區間可以寫成:

估計值±誤差範圍\text{估計值}\pm\text{誤差範圍}

白話就是:先算出一個估計值,再看資料和信賴水準,決定左右各留多少空間。

如果適合用常態分配來近似,平均數的 95% 信賴區間,常見的寫法就是:

xˉ±1.96×SE\bar{x}\pm1.96\times SE

我相信看到這裡,大家又會有兩個問題:SE 是什麼?1.96 又是哪來的?

我們一個一個看。

1. SE:換一批樣本,平均數會波動多少?

SE(Standard Error,標準誤),放在這篇裡,就是在看:每次換一批人,算出來的平均數通常會差多少?

例如,每次都隨機抽 100 個人,算出的平均身高可能是:

第幾次抽樣樣本平均身高
第一次173.0 公分
第二次172.5 公分
第三次174.1 公分
第四次172.8 公分
第五次173.6 公分

這些數字只是拿來舉例。重點是,每次抽到的人不一樣,平均數也會跟著變。標準誤越大,就表示換一批人,平均數通常也會變動得越明顯。

這裡很容易把兩件事混在一起:

  • 標準差:這群人的身高,彼此有多分散。
  • 平均數的標準誤:換一批人抽樣,算出的平均身高有多不穩定。

一個在問「每個人差多少」,另一個在問「每次抽完,平均數會差多少」。

那難道為了知道 SE,我們真的得一直重新抽樣嗎?

不用真的抽那麼多次,我們可以用手上這份資料來估計。不過有幾個前提:每個人的資料要互相獨立、來自同一個分布,而且這個分布的變異數要有限。符合這些條件時,樣本平均數的標準誤可以這樣估:

SE^=sn\widehat{SE}=\frac{s}{\sqrt n}

這裡的 ss 是樣本標準差,nn 是樣本數。SESE 上面那頂帽子,就是提醒你:這也是用資料估出來的。等一下就拿它來算。

再回頭看這個式子,是不是就接起來了?資料越分散,ss 越大,估出來的標準誤也越大。反過來,如果 ss 一樣,分母的樣本數越多,估出來的標準誤就越小。

但注意,分母是 n\sqrt n。其他條件一樣的話,想讓標準誤降到一半,樣本數可不是加倍就好,而是得增加到四倍。

嗯,精確度也是要花成本的。

同一常態母體下,樣本數從一百增為四百時,樣本平均數的抽樣分布變窄,標準誤從二公分降為一公分。
圖上是「每批平均數」的抽樣分布;抽得更多,不代表個別學生的身高變得更集中。

2. 1.96:為什麼要留這麼多空間?

那剩下的 1.96 呢?

這個數字是從 常態分配(Normal Distribution) 來的。

先不用急著把整個常態分配學完。我們先想像一直重複抽樣,每次都算出一個平均數。如果這些平均數形成常態分配,而且我們知道真正的標準誤,那就有下面這個關係:

抽到的樣本平均數,有 95% 的機率,會落在真正平均數左右約 1.96 個標準誤的範圍內。

也就是:

μ−1.96 SE≤xˉ≤μ+1.96 SE\mu-1.96\,SE\leq\bar{x}\leq\mu+1.96\,SE

這裡說「約」,是因為 1.96 本身是四捨五入後的數字。

那接下來呢?其實只是換個方向看。

如果樣本平均數離真正平均數,沒有超過 1.96 個標準誤,那反過來,以樣本平均數為中心,左右各留 1.96 個標準誤,也就能包含真正的平均數。

所以可以改寫成:

xˉ−1.96 SE≤μ≤xˉ+1.96 SE\bar{x}-1.96\,SE\leq\mu\leq\bar{x}+1.96\,SE

原本在看「樣本平均數會落在哪裡」,換個方向,就變成「怎麼用樣本平均數畫出一段區間」。

但實際計算時,標準誤通常也是估出來的,那些樣本平均數也不一定剛好形成常態分配。所以前面才一直說,這是近似公式,要先看適不適合用。

那實際計算時,都用 1.96 就好了嗎?

不一定。像我們想估計母體平均數,卻不知道母體標準差時,就常會改用 t 信賴區間:

xˉ±t0.975, n−1sn\bar{x}\pm t_{0.975,\,n-1}\frac{s}{\sqrt n}

這裡的 t0.975, n−1t_{0.975,\,n-1},是從自由度為 n−1n-1 的 t 分配查出來的臨界值。先把它想成:在這個公式裡,接替 1.96 的那個數字。樣本數大時,它會接近 1.96;樣本數小時,差別就比較明顯。

如果每筆資料互相獨立,而且都來自同一個常態母體,這個 t 區間就能做到前面說的 95% 涵蓋率。母體不是常態時,就得再看樣本數夠不夠、資料分布長什麼樣、有沒有離群值,才能判斷這樣近似合不合適。

這篇先用 1.96 把常態近似的想法講清楚。至於估計別的東西、換一種抽樣方式,或用其他統計方法時,信賴區間也可能長得不一樣,不一定都是左右「加減一段距離」。

3. 把數字放進去

好,終於把需要的東西湊齊了。我們用一組示意資料來算:

  • 隨機抽取 n=100n=100 個人。
  • 樣本平均身高 xˉ=173\bar{x}=173 公分。
  • 樣本標準差 s=20s=20 公分。

先估計標準誤:

SE^=20100=2 公分\widehat{SE}=\frac{20}{\sqrt{100}}=2\text{ 公分}

假設這份資料和抽樣方式,適合用前面說的常態近似,那就把數字放進去:

173±1.96×2=173±3.92173\pm1.96\times2=173\pm3.92

得到近似的 95% 信賴區間:

[169.08, 176.92] 公分[169.08,\ 176.92]\text{ 公分}

所以,根據這次抽樣,我們用 169.08~176.92 公分這段範圍,估計母體的平均身高。

那這裡的 95% 呢?一樣回到前面那台機器。只要需要的假設成立,常態近似也適合,一直重複抽樣、算區間,長期下來,約有 95% 的區間能包含真正的平均數。

到這裡,就把「估計值」「標準誤」和「信賴水準」接起來了。

五、回到一開始,我們多知道了什麼?

如果只告訴你平均身高是 173 公分,你知道的是一個估計值。

但如果再告訴你,95% 信賴區間是 169.08~176.92 公分,你就不只看到 173 這個數字,還能看出:用這套方法估計,範圍大概有多寬,我們還有多少不確定性。

這也是為什麼研究不會只看 p-value。除了問「如果虛無假設是對的,這個結果有多奇怪」,我們也想知道:到底估計出多大的效果?這個估計又有多準?

當然,區間很窄,也不代表研究就一定可靠。前面籃球隊的例子已經提醒過我們:抽樣或模型出了問題,光把區間算得很漂亮,也救不了它。

最後再挖個坑吧。我原本想把抽樣分配、常態分配,以及信賴區間的數學推導一起寫進來,但看了一下篇幅,感覺再繼續,大家就要被我送去修統計學了。

所以這篇先把直覺和基本算法接起來。至於為什麼抽樣平均數會接近常態、t 分配又是怎麼冒出來的,等先備概念補齊,再來整理比較完整的數學版本。

畢竟如果連常態分配都還沒介紹,就要大家直接接受這一整套,確實有一點強人所難。

參考資料

完

#學習筆記#信賴區間#統計#標準誤

客官怎麼看

看完有話想說,留在這裡。罵我也可以,罵別人更好。

可用 GitHub 登入,或以筆名題字;Email 選填。地區章依網路位置辨識,臺灣可顯示縣市;編號用來區分留言。