獨立同分布 i.i.d.

從連續擲骰子開始,理解「獨立」和「同分布」各自在說什麼,以及為什麼統計學常把它們當成前提。

其實,我們之前介紹的概念裡,包含了許多還沒展開的統計學前提。

像信賴區間那篇,在介紹平均數的標準誤時,就提過資料要互相獨立、來自同一個分布;蒙地卡羅那篇,也在抽樣與取平均的地方,用到了類似的設定。

那今天,就來補上一個很重要,也經常作為後續計算與推論前提的概念:獨立同分布(Independent and Identically Distributed,i.i.d.)。

先說,並不是所有抽樣都一定符合 i.i.d.,也不是不符合就不能做統計。但它確實是一個很常見的起點。

一、先從擲骰子開始

說了這些,到底 i.i.d. 在說什麼,我們好像還不知道。

其實,它是在描述一組資料產生時的機率關係。很多時候,我們會把這種關係當成模型的前提假設。

舉個例子。想像你今天想研究:

「一顆骰子平均會擲出幾點?」

於是,你拿了一顆公平的骰子,連續擲了 100 次,並把每次的結果記錄下來。

如果每次都重新隨機投擲,前面的結果不影響後面,而且過程中的機率規則保持不變,那麼,這 100 次投擲結果,就可以用一個典型的 i.i.d. 模型來描述。

嗯。

這個例子好像很廢話。只有擲骰子的過程,怎麼就直接說是 i.i.d. 了?

因為我們要看的,正是結果怎麼產生,而不只是最後記下來的那 100 個數字。

不是擲完之後,算出某個指標,就自動拿到一張「符合 i.i.d.」的證書。我們還得繞回擲骰子這個動作,看看前面用了哪些假設。

它包含兩個條件,我們一個一個看。

二、Independent:獨立

先用白話說,就是每次結果互不影響。

假設你第一次擲出 6 點。

那麼,第二次擲骰子時,會不會因為剛剛出現過 6,所以比較不容易再出現 6?

不會!在前面那個模型裡,骰子沒有記憶,每一次都是重新開始。

所以:

  • 第一次擲出什麼,不會改變第二次各個點數的機率。
  • 知道前兩次的結果,也不會改變第三次各個點數的機率。
  • 同樣的想法,延伸到這一整組投擲。

這就是這裡說的「獨立」。更準確一點,是知道其他次的結果,不會改變我們對這一次結果的機率判斷。

所以就算剛剛連續出現好幾次 6,下一次出現 6 的機率,仍然是 1/61/6。骰子不會因為覺得自己剛剛太偏心,就突然開始補償你。

這裡的獨立,也不只是在說「相鄰兩次」沒有關係,而是整組結果的相互獨立。數學上怎麼完整定義,這篇先留著。

三、Identically Distributed:同分布

再來是第二個條件:每一次都遵循相同的機率分布。

假設每次都使用前面那顆公平的骰子,而且投擲條件維持穩定,那麼,每次擲骰子時:

  • 出現 1 點的機率是 1/61/6。
  • 出現 2 點的機率是 1/61/6。
  • 其他點數也都是 1/61/6。

也就是說,第一次、第二次,一直到第一百次,各個點數出現的機率規則都一樣。

這就叫做「同分布」。

注意,同分布說的是機率規則一樣,不是每次都要擲出一樣的數字。 第一次出現 2,第二次出現 6,當然也可以來自同一個分布。

而且,骰子也不一定要公平。即使它比較容易出現 6,只要這個偏向每次都相同,而且各次結果仍然相互獨立,一樣可以是 i.i.d.。

反過來,如果前 50 次用公平骰子,後 50 次換成一顆比較容易出現 6 的骰子,即使每次都獨立投擲,也不再是同分布。

所以,這兩個條件要分開看,不能只滿足一個,就把另一個順便打勾。

把它們合起來,就是名字直接告訴我們的意思:

Independent and Identically Distributed:各次結果相互獨立,而且遵循相同的機率分布。

四、為什麼統計學這麼喜歡 i.i.d.?

接下來,說一下它到底有什麼用。

想像你想知道:

「全台灣大學生平均每天睡幾小時?」

你不可能調查每一位大學生,所以決定隨機抽樣 1,000 人,詢問他們在同一段期間,平均每天睡多久。

如果抽樣方式讓這些觀測值可以合理視為相互獨立,而且都來自同一個目標母體的分布,那麼,就可以用 i.i.d. 模型來分析。

這裡的「同分布」,不是說每個學生的作息都一樣,而是說,每次隨機抽到一位學生時,他的睡眠時間都按照同一個母體分布產生。

那好處是什麼?

我們可以在這些假設與其他必要條件下,用一小群人的資料,推估整個群體的特徵,也能描述估計還有多少不確定性。

例如,在 i.i.d. 且變異數有限的條件下,樣本平均數的標準誤,會隨樣本數增加而縮小。這就接回了信賴區間那篇的內容:問更多人,平均數的估計通常會更穩定。

但還是一樣,這不是說每多問一個人,這次的答案就一定更接近真正的平均數。

這也是為什麼,大數法則、中央極限定理,以及信賴區間等概念,經常從 i.i.d. 的情況開始介紹。不過,各自還有需要的條件,例如常見版本的中央極限定理,還會要求有限且非零的變異數,不能只寫了 i.i.d.,就把所有結論一起帶走。

而且,現實的抽樣沒有這麼自動。

如果你主要找同一間宿舍的學生,他們可能受到共同的作息安排影響;如果只在熬夜讀書的社群裡發問卷,又可能根本沒抽到你想代表的那個母體。

所以,前面那句「可以合理視為」,其實很重要。i.i.d. 是需要依照資料產生方式來判斷的假設。

隨機抽 1,000 人,就一定獨立嗎?

也不一定。如果從有限的學生名單中抽人,而且同一個人不會重複被抽到,這叫做「不放回抽樣」。抽走一個人後,下一次能抽到的人就變了,所以嚴格來說,各次抽樣並不獨立。

當抽樣人數相對於母體很少時,這種依賴的影響可能很小,有時可以用獨立模型近似。實際分析仍要依照抽樣設計判斷,必要時使用對應的修正或方法。

這裡先補上這個區別,不然看到「隨機抽樣」,就直接把它和 i.i.d. 畫上等號,之後反而容易混淆。

五、這次先把數學留著吧

其實到這裡,i.i.d. 的大致概念就講完了。接下來如果要繼續深入,就會碰到數理定義與推導。

說實話,我原本是打算放進來的,也都寫到三分之一了。

但看著篇幅越擴越大,需要補的觀念也越來越多。原本只希望介紹「獨立」和「同分布」,卻一路延伸到隨機變數、機率符號、聯合機率(Joint Probability)、條件機率(Conditional Probability),以及獨立性的正式定義。

嗯,這讓我產生了一點小小的猶豫。

所以,我決定這篇先不放入數學推導。

那些概念單獨拎出來,都可以是一篇很厚實的學習筆記。為了把 i.i.d. 的定義完整推開,就在一篇裡把需要的機率論都塞進來,感覺有一點得不償失。

我認為,這篇最重要的,是先理解它的兩個概念特性,以及它為什麼會作為前提出現。

因此,先挖幾個坑吧。未來如果有時間和興趣,再慢慢補上。

目前先記住:當後面的計算寫著「假設資料為 i.i.d.」,它是在對資料的產生方式提出條件。我們得先看看,手上的資料是否適合這樣描述。

說到這裡,也該結尾了。

這麼短的學習筆記,絕對不是一開始的計畫。但考慮到篇幅,以及一個人的認知能力頻寬,我覺得,先把兩個核心概念講清楚,也不失為一個不錯的結尾。

畢竟坑可以先挖,總不能一次把大家埋進去吧。

參考資料

完

#學習筆記#獨立同分布#i.i.d.#統計#抽樣

客官怎麼看

看完有話想說,留在這裡。罵我也可以,罵別人更好。

可用 GitHub 登入,或以筆名題字;Email 選填。地區章依網路位置辨識,臺灣可顯示縣市;編號用來區分留言。