P-value 到底是什麼

從丟十次硬幣開始,理解 p-value 在問什麼,以及為什麼過了 0.05,也不代表事情就這樣定了。

與其先用定義來講解什麼是 p-value,不如我們直接用一個比較直觀的例子,去體會 p-value 是怎麼運作的。

假設有人拿一枚硬幣給你,說:

「這枚硬幣是公平的,正反面機率都是 50%。」

現在你連續丟 10 次,結果出現了 9 次正面、1 次反面。

你會不會開始懷疑硬幣不是公平的?

應該會吧!

因為如果硬幣真的公平,出現這樣的結果似乎不太尋常。

但問題來了:就算硬幣真的公平,也有可能因為運氣,剛好出現 9 次正面啊!

那麼,我們接下來就一定要問:

如果這枚硬幣真的公平,那出現像剛剛這樣極端,甚至更極端的結果,機率有多大?

這個機率就是 p-value。這裡先假設每次投擲互相獨立,而且我們是在丟之前,就決定好丟 10 次。

這裡應該先來開個小灶。我相信大家理解到這裡,已經有一點接受困難了,這確實是個很繞的概念。

其實我們丟十次硬幣,是想用結果判斷:正反面失衡到這個程度,在公平硬幣的假設下,到底有多不常見?

注意,我們現在不是在問「這枚硬幣公平的機率是多少」,也不是只問「剛好 9 次正面的機率是多少」。我們是在暫時接受「硬幣公平」之後,計算目前這麼極端,或更極端的結果有多容易出現。

至於多低才算統計顯著,還需要先訂一個門檻。這個等一下再說。

回到計算。

這次我們懷疑的是「硬幣不公平」,不管它偏向正面還是反面都算,所以使用雙尾檢定。

剛才丟出 9 次正面的例子,若我們把「9 正 1 反」「9 反 1 正」,甚至「10 次都是同一面」都算進去:

p=10+10+1+1210=221024≈0.0215p=\frac{10+10+1+1}{2^{10}}=\frac{22}{1024}\approx0.0215

也就是大約 2.15%。

分子裡的兩個 10,分別是那唯一一次反面或正面,可以出現在十次投擲中的哪個位置;兩個 1,則是全部正面與全部反面。公平且獨立投擲時,這 2102^{10} 種正反面序列出現的機率都相同。

意思是:假設硬幣真的公平,那麼丟 10 次,出現至少 9 次同一面的機率,大約只有 2.15%。

因為這種程度的失衡不常見,所以我們開始懷疑「硬幣公平」這個假設。但這不等於硬幣只有 2.15% 的機率是公平的。

公平硬幣投擲十次的二項分布:零、一次、九次和十次正面的四條紅色長條構成觀察到九次正面時的雙尾 p-value。
雙尾不是只看 9 次正面:另一端同樣極端的結果,也要一起加總。

如果一開始問的是「硬幣是否偏向正面」,只把偏向正面的方向算進去,那就是另一個單尾檢定,p-value 也會不同。不能看到結果之後,才挑比較容易顯著的問法。

好,舉完剛剛的例子後,我們可以用一句白話去介紹 p-value:

如果原本的假設是對的,那現在看到的結果有多不尋常?

那在 p-value 的正式介紹裡,應該要這樣說:

p-value 是在虛無假設(Null Hypothesis,H0H_0)及檢定模型的其他假設成立的前提下,觀察到檢定統計量像目前這麼極端或更極端的機率。

對,沒錯,就是這麼鬼話。

「檢定統計量」可以先理解成:我們用哪個數字,衡量結果偏離原本假設的程度。像剛剛的雙尾硬幣例子,就是看正面次數離預期的 5 次有多遠。

這裡其實藏了幾個重要設定,也就是:

  • H0H_0(虛無假設):拿來比較的基準,常見的是沒有效果、沒有差異。這裡是正面機率等於 50%。
  • H1H_1(對立假設):我們想檢驗的另一種情況。這裡是正面機率不等於 50%。

這兩個會是理解 p-value 的重要前提。它們也會影響我們怎麼界定「更極端」。

有趣的是,算 p-value 的時候,我們都是先用 H0H_0 去假設。

那為什麼呢?其實從上面的直觀例子來看,就很明確了:如果連公平硬幣丟出什麼結果算正常,都沒有一個比較標準,我們要怎麼判斷 9 次正面到底奇不奇怪?

這裡的基準是依照研究問題設定的,不一定是現實中最常見的情況,也不是指某種「常態分布」。

總結來說就是:

我們需要先有一個「比較的基準」,才能判斷實驗結果到底有沒有特別奇怪。

那好,上面其實用到了很多「這東西到底有多奇怪」的說法。這是一個極為口語化的說法,而如果實驗還需要做出決策,就得把判斷規則寫清楚。

於是這裡會用到另一個符號 α\alpha,叫做顯著水準。

簡單說,α\alpha 就是一個事先設定的門檻。當 p≤αp\leq\alpha,我們就稱結果在這個水準下具有統計顯著性,並依規則拒絕 H0H_0;沒有達到門檻,則不能宣稱顯著。後者也不等於已經證明 H0H_0 是對的。

門檻要先訂,是因為我們想控制誤判的風險:在 H0H_0 真的成立,而且檢定假設也成立時,長期重複做同樣的檢定,把它錯誤拒絕的機率,要控制在 α\alpha 以內。這叫做第一類錯誤。

所以 α=0.05\alpha=0.05,不是說「這次結論有 5% 的機率是錯的」。它管的是這套檢定規則長期下來的誤判率。

那其實這樣一看,問題就來了,也算是使用 p-value 時常見的兩個通病:

  • 門檻二分化。
  • 裁判兼球員。

先看門檻二分化。其實剛剛大家也會覺得怪怪的吧,所以只要 p 值低過 α\alpha 的門檻,就具有統計顯著性囉?

那要是只低一點點呢?例如 p=0.049p=0.049 和 p=0.051p=0.051,放在 α=0.05\alpha=0.05 的門檻兩邊,一個叫顯著,一個叫不顯著。但它們真的能支持兩種截然不同的結論嗎?

聽起來有點繞,白話就是:數字只差一點點,標籤卻突然換邊了。

門檻可以讓決策有一致的規則,但證據不會因為跨過 0.05,就突然從沒有變成有。統計顯著也不代表效果很大,或是實際上很重要。

看完門檻二分化,另一個問題才比較嚴重,也就是裁判兼球員。

什麼叫裁判兼球員呢?當然就是看完結果,才回頭改判斷規則囉。

我們剛剛說了,門檻可以依研究目的與誤判的代價而變動,但這件事應該在看結果之前決定。舉一個直觀的例子:

一個研究者一開始規定 α=0.05\alpha=0.05。

研究做完發現:

p=0.08p=0.08

這時研究者想:

「啊!不顯著耶!那我把 α\alpha 改成 0.10 好了!」

於是:

0.08<0.100.08<0.10

欸。

突然就變成統計顯著。

但你看,p 值明明還是 0.08,改變的是研究者的門檻。 如果看完結果才為了顯著而改規則,原本事先設定的誤判風險控制,也就不能照樣宣稱了。

另一種相關的做法,則是反覆換分析方法、刪樣本或多試幾個變數,直到找到夠小的 p 值,再只報告那個結果。這通常叫做 p-hacking(p 值操弄)。

事後改 α\alpha 和反覆分析到顯著,操作上不完全一樣,但都有同一個問題:看完比賽結果,才替自己改規則。當然,如果一開始就合理訂好 α=0.10\alpha=0.10,那是另一回事。

這裡再說個小趣聞。相信如果你有做研究,你可能會跳出來反駁我,說:

「嘿,你這樣說不對,不是都說 p<0.05p<0.05 就是具有統計顯著性嗎?這個 α\alpha 門檻可不是我自己定的,是學界公認的。」

那這確實值得拉出來解釋一下。先來 fact-check 一下喔:α=0.05\alpha=0.05 其實不是什麼自然法則,也不是數學證明出來的唯一正確標準。

更白話地說,0.05 的流行有歷史與使用習慣的原因。統計學家 Fisher 曾把它當成一個方便使用的顯著性標準,後來它逐漸成為常見慣例。不是數學突然發現,宇宙在 0.05 這裡有一條線。

蠻有趣的小故事,但這裡就不展開了。

那我們討論了 p-value 這麼多問題,難道就不應該廢除這個指標嗎?

其實也不能這麼一刀切。如果使用假設檢定的目的是做明確決策,例如某項治療的試驗是否達到事先規定的療效標準,訂好決策門檻就很有用,因為我們必須控制錯誤決策的風險。當然,要不要批准治療,還得看安全性、效果大小等其他證據。

但如果目的是理解世界、探索某個變因的影響,單靠 α=0.05\alpha=0.05 來決定一切,就可能過度簡化證據。

實務上,一個負責任的研究,不會只靠 p-value 這單一項統計指標,而是一起看效果大小、信賴區間、研究設計,以及其他研究的結果,再來解釋。

參考資料

完

#學習筆記#P-value#假設檢定#統計顯著性#p-hacking

客官怎麼看

看完有話想說,留在這裡。罵我也可以,罵別人更好。

可用 GitHub 登入,或以筆名題字;Email 選填。地區章依網路位置辨識,臺灣可顯示縣市;編號用來區分留言。