Pearson 相關係數
| 內容分類 | 學習筆記 |
|---|---|
| 筆記系列 | 統計學 |
| 筆記篇幅 | 長篇筆記 |
| 學習狀態 | 持續整理 |
| 本篇主題 | 相關與線性 |
來談談我們應該怎麼正經地談論相關性吧。
所以,之前已經介紹過 p-value 了,也介紹了用來描述估計不確定性的信賴區間。那今天就來補上另一個統計學裡很有意思的指標,也就是 Pearson 相關係數(Pearson Correlation Coefficient)。
畢竟我們平常很容易說:「這兩件事應該有關吧?」
但到底是什麼樣的關係?方向一樣,還是相反?又有多明顯?總不能全部都用「感覺有」帶過吧。
所以,今天就來談談,我們應該怎麼正經地談論相關性。
一、Pearson 到底在衡量什麼?
直入主題的話,Pearson 相關係數可以先這樣理解:
當一個變數比較高或比較低時,另一個變數是不是也傾向比較高或比較低?這種直線式的關係,又有多強?
那正經一點介紹,它通常用 表示,用來衡量:
兩個數值變數之間,線性關係的方向與強度。
例如,我們可能想研究:
- 讀書時間與考試成績。
- 身高與體重。
- 氣溫與冰淇淋銷售量。
這些都可以收集成一對一對的數值,再看看它們的線性關係。不過,先別急著替這幾組變數下結論,實際有什麼關係,還是得看資料。
在兩個變數都有變動、相關係數有定義的情況下,它的範圍是:
又出現一個數字範圍了。沒關係,我們先把它翻成白話。
假設現在研究的是「讀書時間」與「考試成績」:
- 正相關():在這組資料裡,讀書時間較長的人,成績也傾向較高。
- 負相關():在這組資料裡,讀書時間較長的人,成績反而傾向較低。
- 接近沒有線性相關():讀書時間長短與成績之間,看不出明顯的直線式關係。
越接近 ,正線性關係越強;越接近 ,負線性關係越強。也就是說,正負號看方向,絕對值看強弱。
所以 ,可不是因為它是負的,就比 還弱。前者描述的線性關係其實更強,只是方向相反。
還有,這裡一直重複的那兩個字,也就是「線性」,真的很重要。
Pearson 關心的是資料有多接近一條直線,不是所有你能想到的關係。這件事先記住,後面再回來看。
二、好了,還是得把公式請出來
介紹完定義,一樣要來接觸它的數學公式了。
這,就是樣本 Pearson 相關係數的寫法:
嗯。
剛剛還在講讀書時間,現在突然長這樣,確實很難接受。
但先別急著跑。我們還是照之前的方式,把它拆開,看看每一部分到底在做什麼。
這裡先把問題固定下來:我們想知道,每位學生讀書多久,和他考了幾分,有什麼關係?
所以,一位學生會提供兩個數字:讀書時間,以及考試成績。公式裡那些字母,就是替這些資料取的名字。
| 符號 | 放在學生的例子裡,就是…… |
|---|---|
| 總共記錄了幾位學生 | |
| 現在看到第幾位學生 | |
| 第 位學生的讀書時間 | |
| 同一位學生的考試成績 | |
| 這群學生的平均讀書時間 | |
| 這群學生的平均考試成績 |
例如,把學生 A 記作第一位。他讀了 1 小時、考了 60 分,就寫成 、。
所以,下標那個 1 只是說「這是第一位學生的資料」。時間和成績要來自同一位學生,配成一組來看。 這樣想,就比較不會被那一排字母繞暈了。
接下來,我們先看分子。
三、分子:兩個變數,有沒有一起偏離平均?
先把分子拿出來:
它想做的事情,可以先理解成:觀察兩個變數,是否傾向朝同一個方向偏離各自的平均值。
好,這句話聽起來還是很繞。我們再拆小一點。
| 符號 | 白話意思 |
|---|---|
| 這筆 ,比 的平均值高或低多少 | |
| 這筆 ,比 的平均值高或低多少 | |
| 把每筆資料的偏差相乘後,全部加起來 |
1. 為什麼要把兩個偏差相乘?
假設讀書時間的平均是 2 小時,考試成績的平均是 70 分。
那對某位學生來說,就可能遇到下面四種情況:
| 讀書時間相對於平均 | 成績相對於平均 | 兩個偏差相乘 | 這筆資料的方向 |
|---|---|---|---|
| 比較高(正) | 比較高(正) | 正 × 正=正 | 同方向偏離 |
| 比較低(負) | 比較低(負) | 負 × 負=正 | 同方向偏離 |
| 比較高(正) | 比較低(負) | 正 × 負=負 | 反方向偏離 |
| 比較低(負) | 比較高(正) | 負 × 正=負 | 反方向偏離 |
這時候,國中學過的正負號,終於又有工作了。
兩個都高於平均,乘起來是正的;兩個都低於平均,乘起來也是正的。一高一低,就會變成負的。如果其中一個剛好等於平均,乘積就是 0。
所以,相乘是把兩個變數偏離平均的方向,轉換成正負號,同時保留偏離的程度。 偏離得越多,乘積的絕對值也可能越大。
注意,這裡不是看「這個人的讀書時間有沒有比昨天增加」,而是在比較:這筆資料的兩個數字,各自位於平均值的哪一邊。
2. 直接算一次好了
假設有三位學生,資料如下。這裡故意選一組很整齊的數字,方便先看懂計算。
| 學生 | 讀書時間 (小時) | 考試成績 (分) |
|---|---|---|
| A | 1 | 60 |
| B | 2 | 70 |
| C | 3 | 80 |
平均數分別是:
先看學生 A:
讀書時間和成績,都低於各自的平均,所以得到正值。
再看學生 B:
兩個數字都剛好等於平均,這一項就是 0。
最後是學生 C:
兩個都高於平均,又是一個正值。
全部加起來:
分子是正的,代表在這組資料中,兩個變數整體傾向同方向偏離各自的平均。
3. 那為什麼還要加總?
因為我們想看的是整組資料,總不能只找到一個讀很久又考很高的人,就說大家都有這個關係吧。
把每一筆的乘積加起來,才能看整體往哪邊走:
- 正的乘積加起來占上風,分子就是正的,整體傾向同方向變動。
- 負的乘積加起來占上風,分子就是負的,整體傾向反方向變動。
- 正負乘積互相抵銷,分子就會接近 0,線性共變動不明顯。
這裡看的是乘積的總量,不是單純數「正的有幾筆、負的有幾筆」。一筆偏離平均很多的資料,可能就有很大的影響。
那好,既然分子都告訴我們方向了,為什麼不直接拿它當指標?
因為它還受到單位、變動幅度,以及資料筆數影響。分子變大,不一定代表線性關係變強。
例如把讀書時間從小時改成分鐘,偏差就全部變成原本的 60 倍,分子也跟著變成 60 倍。但我們明明沒有換任何一位學生啊。
這就輪到分母出場了。
四、分母:為什麼還要除以這一大串?
先把分母拿出來:
看起來很複雜,但操作上可以拆成三步:
- 計算 、 各自偏離平均值多少。
- 把偏差平方,再分別加總。
- 將兩組加總結果相乘,最後開根號。
「好,我知道要平方了。但為什麼?」
對,我們不能只是把步驟背起來。所以先看,如果不平方會怎樣。
1. 不平方,差距會自己消失
一樣是剛剛那三位學生,讀書時間分別是 1、2、3 小時,平均是 2 小時。
| 學生 | 讀書時間 | 與平均值的差距 |
|---|---|---|
| A | 1 小時 | 小時 |
| B | 2 小時 | 0 小時 |
| C | 3 小時 | 小時 |
如果直接把偏差加起來:
結果是 0。
但這三個人的讀書時間,明明就不一樣。不是資料沒有變動,是正負偏差互相抵銷了。其實,相對於樣本平均數的偏差,全部加起來本來就會是 0。
所以我們改成先平方:
這樣就不會讓正負號把差距抵銷掉,也能反映資料偏離平均值的程度。
前面分子要保留正負,是因為我們想知道兩者一起變動的方向;這裡各自平方,則是要衡量每個變數本身的變動程度。
兩邊想做的事情不一樣,所以處理方式也不一樣。
2. 把分母也算完
延續剛才的資料, 的平均是 2, 的平均是 70。
先算 的平方偏差和:
再算 的平方偏差和:
兩者相乘,再開根號:
好,分子是 20,分母也是 20。終於可以把它們放在一起了:
這組資料是完全正線性相關。
如果把三個點畫出來,它們剛好都在 這條直線上。這裡選的數字很整齊,才會剛好得到 1;真實資料通常不會這麼配合。
3. 分母最重要的工作:標準化
算完數字了,但分母到底解決什麼問題?
就是剛才那個「小時換成分鐘,分子突然變大」的問題。
當 的偏差全部變成 60 倍, 的平方偏差和就變成 倍。再經過分母的開根號,整個分母也變成 60 倍。
所以,分子、分母一起放大,最後的 不變。
身高用公分還是公尺,體重用公斤還是公克,也是一樣的道理。換個測量單位,不應該就換掉兩個變數的相關程度。
分母把各自的變動尺度一起考慮進來,讓最後的係數沒有單位,也把有定義的結果限制在 到 之間。
不過,沒有單位不代表所有研究都能只看 就直接比高下。實際在研究什麼、收集的是哪些人,還是得一起看。
那如果所有人的讀書時間都一樣呢?
假設每個人的讀書時間都是 2 小時,那 就全部是 0, 的平方偏差和也是 0。
分母因此變成 0,相關係數就沒有定義,不是等於 0。 完全沒有變動時,也是一樣的情況。
所以,計算這個樣本相關係數,需要至少兩筆成對資料,而且兩個變數都要有非零的變動。只是,兩筆資料只要兩邊都不同,就一定能連成一條直線,得到 或 。能算出數字,和有足夠資料支持結論,還是兩回事。
五、這不是之前看過的標準差嗎?
剛剛又是減平均,又是平方,最後還要開根號。有沒有覺得,這套流程好像在哪裡看過?
沒錯,就是之前信賴區間那篇提過的標準差。
但這裡先不要急著換成另一串公式。我們用剛剛已經算過的數字,把它們接起來。
1. 標準差:先看每一欄,自己有多分散
先把成績遮起來,只看讀書時間。三位學生分別讀了 1、2、3 小時,我們想知道的是:這些時間,離平均的 2 小時有多分散?
這就是標準差在描述的事情。現在把成績拿回來,也可以問同一個問題:60、70、80 分,離平均的 70 分有多分散?
所以,這裡會有兩個標準差:
- :讀書時間的樣本標準差,看時間有多分散。
- :考試成績的樣本標準差,看分數有多分散。
還記得前面算出的平方偏差和嗎?讀書時間是 2,成績是 200。我們總共有三位學生,按照樣本標準差的算法,把它們各自除以 ,再開根號:
好,現在我們知道,這兩欄資料各自的分散程度了。
但光看它們各自有多分散,還不知道兩者有沒有一起變動。這就要回到分子。
2. 共變異數:再看兩欄,有沒有一起變動
還記得分子算出的 20 嗎?那是把每位學生的「時間偏差」和「成績偏差」相乘,再全部加起來。
我們也把這個 20 除以 :
這個算出來的量,就叫做樣本共變異數(Covariance),這裡記成 。
名字很長,但先別被嚇到。它做的事情,還是前面已經理解過的:看兩個變數,是傾向一起高、一起低,還是一高一低。
所以這個例子的共變異數是正的,表示讀書時間和成績,傾向朝同一個方向偏離各自的平均。
「欸,那不就已經有相關了?為什麼還需要 Pearson?」
因為共變異數依然有剛才的問題:換個單位,數字就會變。 用小時算和用分鐘算,得到的共變異數會不一樣,不能只看它的數字大小,就說關係有多強。
所以,我們還要拿兩欄各自的標準差,來調整這個數字。
3. Pearson:把「一起變動」和「各自分散」放在一起看
現在,把剛剛的三個數字放在一起:
| 算出來的東西 | 數值 | 它在看什麼? |
|---|---|---|
| 讀書時間的標準差 | 1 小時 | 時間自己有多分散 |
| 考試成績的標準差 | 10 分 | 分數自己有多分散 |
| 共變異數 | 10 小時·分 | 時間與分數如何一起變動 |
Pearson 做的,就是把共變異數,除以兩個標準差的乘積:
是不是又回到前面算出的 1 了?
因為我們沒有換算法,只是把原本那串計算,改用「標準差」和「共變異數」來表達。上面的單位也會一起消掉,留下沒有單位的 。
所以,這裡真正想接起來的是:
標準差看每個變數各自有多分散,共變異數看兩個變數如何一起變動;Pearson 再用各自的分散程度做標準化,得到線性關係的方向與強度。
這樣看,應該就比較知道,那個分母到底在忙什麼了吧。
那它和前面的長公式,怎麼接起來?
前面先用三位學生的數字說明。如果換成一般的 筆資料,樣本標準差的寫法就是:
也是同樣的算法,只是把 換成 。因此,原本 Pearson 的分母,就等於 。
而樣本共變異數是:
所以,原本的分子就等於 。把兩邊放回去:
這裡都採用樣本版本,所以分子、分母的 剛好能消掉。至於樣本變異數為什麼使用 ,這篇先不展開;這裡要看懂的是,它們怎麼接回原本的 Pearson 公式。
六、算出相關了,然後呢?
好了,聊了這麼多計算,還是得回到最開始的問題:我們要怎麼正經地談論相關性?
總不能算出一個 ,就開始替世界下結論吧。
1. ,不代表完全沒有關係
前面一直強調「線性」,就是為了這件事。
舉一組很簡單的資料:
| 0 | 1 | 2 | |||
|---|---|---|---|---|---|
| 4 | 1 | 0 | 1 | 4 |
這兩者有沒有關係?當然有, 根本就是照著 算出來的。
但對這組左右對稱的資料,Pearson 相關係數是 0。因為這是一個 U 形關係,左半邊往下、右半邊往上,分子的正負乘積剛好互相抵銷。
所以,沒有線性相關,不等於沒有任何關係。 拿到資料時,先畫散佈圖,看一下它到底長什麼樣,通常會比只盯著 更有幫助。
2. 相關很強,也不代表誰造成了誰
就算讀書時間與成績真的呈現正相關,也不能只靠這個數字,就說「多讀一小時,一定會讓成績提高」。
還可能有其他因素,同時影響讀書時間與成績,例如學習動機、原本的基礎,或取得的學習資源。
而且 也不是斜率,不能拿來回答「多一小時,會多幾分」。
它描述的是線性關係的方向與強度,因果問題還需要研究設計與其他證據。
3. 一個很漂亮的數字,不一定撐得起很大的結論
還記得分子是把偏差相乘嗎?這也代表,一筆離平均值很遠的資料,就可能有很大的影響。
所以離群值可能把 拉高,也可能把它拉低。看到一個很強的相關,還是要回頭看看,是整群資料都有這個趨勢,還是主要被少數幾個點帶著走。
再來,這篇算的是手上這組樣本的 。如果想拿它估計母體的相關,依然會遇到抽樣的不確定性。前面那三位學生得到 ,也不代表全校、全台灣的學生都有完全正線性相關。
這時候,就可以接回之前的 p-value 和信賴區間:一個相關有多強、估計有多不確定,以及在某個虛無假設下資料有多不尋常,是相關但不同的問題。
至於 Pearson 相關的信賴區間與檢定,要用適合它的方法與假設,不能直接把之前估計平均數的公式搬過來。這部分先不展開,不然我們又要一路寫回統計學了。
好了,這篇的公式已經拆得夠細了。實際計算可以交給程式,但理解每個部分在做什麼,才比較不會拿到一個數字,就讓它回答根本不屬於它的問題。
如果最後濃縮成一句話,那就是:
Pearson 相關係數用正負號判斷線性關係的方向,用絕對值判斷線性關係的強弱;但它不能代表所有類型的關係,也不能單靠它判斷因果。
參考資料
- NIST:Correlation:相關係數的公式與線性關係。
- Penn State STAT 800:Correlation: What It Really Means:共變異數、標準差與相關係數的關係。
- Penn State STAT 200:Describing Data, Part 2:Pearson 相關係數的解讀、散佈圖、離群值與因果限制。
客官怎麼看
看完有話想說,留在這裡。罵我也可以,罵別人更好。
可用 GitHub 登入,或以筆名題字;Email 選填。地區章依網路位置辨識,臺灣可顯示縣市;編號用來區分留言。