獨立同分布 i.i.d.
| 內容分類 | 學習筆記 |
|---|---|
| 筆記系列 | 統計學 |
| 筆記篇幅 | 短篇筆記 |
| 學習狀態 | 持續整理 |
| 本篇主題 | 獨立與同分布 |
從連續擲骰子開始,理解「獨立」和「同分布」各自在說什麼,以及為什麼統計學常把它們當成前提。
其實,我們之前介紹的概念裡,包含了許多還沒展開的統計學前提。
像信賴區間那篇,在介紹平均數的標準誤時,就提過資料要互相獨立、來自同一個分布;蒙地卡羅那篇,也在抽樣與取平均的地方,用到了類似的設定。
那今天,就來補上一個很重要,也經常作為後續計算與推論前提的概念:獨立同分布(Independent and Identically Distributed,i.i.d.)。
先說,並不是所有抽樣都一定符合 i.i.d.,也不是不符合就不能做統計。但它確實是一個很常見的起點。
一、先從擲骰子開始
說了這些,到底 i.i.d. 在說什麼,我們好像還不知道。
其實,它是在描述一組資料產生時的機率關係。很多時候,我們會把這種關係當成模型的前提假設。
舉個例子。想像你今天想研究:
「一顆骰子平均會擲出幾點?」
於是,你拿了一顆公平的骰子,連續擲了 100 次,並把每次的結果記錄下來。
如果每次都重新隨機投擲,前面的結果不影響後面,而且過程中的機率規則保持不變,那麼,這 100 次投擲結果,就可以用一個典型的 i.i.d. 模型來描述。
嗯。
這個例子好像很廢話。只有擲骰子的過程,怎麼就直接說是 i.i.d. 了?
因為我們要看的,正是結果怎麼產生,而不只是最後記下來的那 100 個數字。
不是擲完之後,算出某個指標,就自動拿到一張「符合 i.i.d.」的證書。我們還得繞回擲骰子這個動作,看看前面用了哪些假設。
它包含兩個條件,我們一個一個看。
二、Independent:獨立
先用白話說,就是每次結果互不影響。
假設你第一次擲出 6 點。
那麼,第二次擲骰子時,會不會因為剛剛出現過 6,所以比較不容易再出現 6?
不會!在前面那個模型裡,骰子沒有記憶,每一次都是重新開始。
所以:
- 第一次擲出什麼,不會改變第二次各個點數的機率。
- 知道前兩次的結果,也不會改變第三次各個點數的機率。
- 同樣的想法,延伸到這一整組投擲。
這就是這裡說的「獨立」。更準確一點,是知道其他次的結果,不會改變我們對這一次結果的機率判斷。
所以就算剛剛連續出現好幾次 6,下一次出現 6 的機率,仍然是 。骰子不會因為覺得自己剛剛太偏心,就突然開始補償你。
這裡的獨立,也不只是在說「相鄰兩次」沒有關係,而是整組結果的相互獨立。數學上怎麼完整定義,這篇先留著。
三、Identically Distributed:同分布
再來是第二個條件:每一次都遵循相同的機率分布。
假設每次都使用前面那顆公平的骰子,而且投擲條件維持穩定,那麼,每次擲骰子時:
- 出現 1 點的機率是 。
- 出現 2 點的機率是 。
- 其他點數也都是 。
也就是說,第一次、第二次,一直到第一百次,各個點數出現的機率規則都一樣。
這就叫做「同分布」。
注意,同分布說的是機率規則一樣,不是每次都要擲出一樣的數字。 第一次出現 2,第二次出現 6,當然也可以來自同一個分布。
而且,骰子也不一定要公平。即使它比較容易出現 6,只要這個偏向每次都相同,而且各次結果仍然相互獨立,一樣可以是 i.i.d.。
反過來,如果前 50 次用公平骰子,後 50 次換成一顆比較容易出現 6 的骰子,即使每次都獨立投擲,也不再是同分布。
所以,這兩個條件要分開看,不能只滿足一個,就把另一個順便打勾。
把它們合起來,就是名字直接告訴我們的意思:
Independent and Identically Distributed:各次結果相互獨立,而且遵循相同的機率分布。
四、為什麼統計學這麼喜歡 i.i.d.?
接下來,說一下它到底有什麼用。
想像你想知道:
「全台灣大學生平均每天睡幾小時?」
你不可能調查每一位大學生,所以決定隨機抽樣 1,000 人,詢問他們在同一段期間,平均每天睡多久。
如果抽樣方式讓這些觀測值可以合理視為相互獨立,而且都來自同一個目標母體的分布,那麼,就可以用 i.i.d. 模型來分析。
這裡的「同分布」,不是說每個學生的作息都一樣,而是說,每次隨機抽到一位學生時,他的睡眠時間都按照同一個母體分布產生。
那好處是什麼?
我們可以在這些假設與其他必要條件下,用一小群人的資料,推估整個群體的特徵,也能描述估計還有多少不確定性。
例如,在 i.i.d. 且變異數有限的條件下,樣本平均數的標準誤,會隨樣本數增加而縮小。這就接回了信賴區間那篇的內容:問更多人,平均數的估計通常會更穩定。
但還是一樣,這不是說每多問一個人,這次的答案就一定更接近真正的平均數。
這也是為什麼,大數法則、中央極限定理,以及信賴區間等概念,經常從 i.i.d. 的情況開始介紹。不過,各自還有需要的條件,例如常見版本的中央極限定理,還會要求有限且非零的變異數,不能只寫了 i.i.d.,就把所有結論一起帶走。
而且,現實的抽樣沒有這麼自動。
如果你主要找同一間宿舍的學生,他們可能受到共同的作息安排影響;如果只在熬夜讀書的社群裡發問卷,又可能根本沒抽到你想代表的那個母體。
所以,前面那句「可以合理視為」,其實很重要。i.i.d. 是需要依照資料產生方式來判斷的假設。
隨機抽 1,000 人,就一定獨立嗎?
也不一定。如果從有限的學生名單中抽人,而且同一個人不會重複被抽到,這叫做「不放回抽樣」。抽走一個人後,下一次能抽到的人就變了,所以嚴格來說,各次抽樣並不獨立。
當抽樣人數相對於母體很少時,這種依賴的影響可能很小,有時可以用獨立模型近似。實際分析仍要依照抽樣設計判斷,必要時使用對應的修正或方法。
這裡先補上這個區別,不然看到「隨機抽樣」,就直接把它和 i.i.d. 畫上等號,之後反而容易混淆。
五、這次先把數學留著吧
其實到這裡,i.i.d. 的大致概念就講完了。接下來如果要繼續深入,就會碰到數理定義與推導。
說實話,我原本是打算放進來的,也都寫到三分之一了。
但看著篇幅越擴越大,需要補的觀念也越來越多。原本只希望介紹「獨立」和「同分布」,卻一路延伸到隨機變數、機率符號、聯合機率(Joint Probability)、條件機率(Conditional Probability),以及獨立性的正式定義。
嗯,這讓我產生了一點小小的猶豫。
所以,我決定這篇先不放入數學推導。
那些概念單獨拎出來,都可以是一篇很厚實的學習筆記。為了把 i.i.d. 的定義完整推開,就在一篇裡把需要的機率論都塞進來,感覺有一點得不償失。
我認為,這篇最重要的,是先理解它的兩個概念特性,以及它為什麼會作為前提出現。
因此,先挖幾個坑吧。未來如果有時間和興趣,再慢慢補上。
目前先記住:當後面的計算寫著「假設資料為 i.i.d.」,它是在對資料的產生方式提出條件。我們得先看看,手上的資料是否適合這樣描述。
說到這裡,也該結尾了。
這麼短的學習筆記,絕對不是一開始的計畫。但考慮到篇幅,以及一個人的認知能力頻寬,我覺得,先把兩個核心概念講清楚,也不失為一個不錯的結尾。
畢竟坑可以先挖,總不能一次把大家埋進去吧。
參考資料
- NIST:Independent and Identically Distributed:i.i.d. 的定義,包括相互獨立與相同的機率分布。
- Penn State STAT 414:Several Independent Random Variables:隨機樣本、獨立同分布,以及樣本平均數的性質。
- UC Berkeley STAT 135:Estimation:抽樣與模型假設,以及不放回抽樣並非嚴格獨立的區別。
客官怎麼看
看完有話想說,留在這裡。罵我也可以,罵別人更好。
可用 GitHub 登入,或以筆名題字;Email 選填。地區章依網路位置辨識,臺灣可顯示縣市;編號用來區分留言。