Pearson 相關係數

來談談我們應該怎麼正經地談論相關性吧。

所以,之前已經介紹過 p-value 了,也介紹了用來描述估計不確定性的信賴區間。那今天就來補上另一個統計學裡很有意思的指標,也就是 Pearson 相關係數(Pearson Correlation Coefficient)。

畢竟我們平常很容易說:「這兩件事應該有關吧?」

但到底是什麼樣的關係?方向一樣,還是相反?又有多明顯?總不能全部都用「感覺有」帶過吧。

所以,今天就來談談,我們應該怎麼正經地談論相關性。

一、Pearson 到底在衡量什麼?

直入主題的話,Pearson 相關係數可以先這樣理解:

當一個變數比較高或比較低時,另一個變數是不是也傾向比較高或比較低?這種直線式的關係,又有多強?

那正經一點介紹,它通常用 rr 表示,用來衡量:

兩個數值變數之間,線性關係的方向與強度。

例如,我們可能想研究:

  • 讀書時間與考試成績。
  • 身高與體重。
  • 氣溫與冰淇淋銷售量。

這些都可以收集成一對一對的數值,再看看它們的線性關係。不過,先別急著替這幾組變數下結論,實際有什麼關係,還是得看資料。

在兩個變數都有變動、相關係數有定義的情況下,它的範圍是:

−1≤r≤1-1\leq r\leq1

又出現一個數字範圍了。沒關係,我們先把它翻成白話。

假設現在研究的是「讀書時間」與「考試成績」:

  • 正相關(r>0r>0):在這組資料裡,讀書時間較長的人,成績也傾向較高。
  • 負相關(r<0r<0):在這組資料裡,讀書時間較長的人,成績反而傾向較低。
  • 接近沒有線性相關(r≈0r\approx0):讀書時間長短與成績之間,看不出明顯的直線式關係。

越接近 +1+1,正線性關係越強;越接近 −1-1,負線性關係越強。也就是說,正負號看方向,絕對值看強弱。

所以 r=−0.9r=-0.9,可不是因為它是負的,就比 r=0.2r=0.2 還弱。前者描述的線性關係其實更強,只是方向相反。

還有,這裡一直重複的那兩個字,也就是「線性」,真的很重要。

Pearson 關心的是資料有多接近一條直線,不是所有你能想到的關係。這件事先記住,後面再回來看。

四組示意散佈圖呈現正相關、負相關、接近零的線性相關,以及 Pearson 相關為零的 U 形關係。
先看散佈圖,再看 r;U 形關係即使很明確,也可能沒有線性相關。

二、好了,還是得把公式請出來

介紹完定義,一樣要來接觸它的數學公式了。

這,就是樣本 Pearson 相關係數的寫法:

r=∑i=1n(xi−xˉ)(yi−yˉ)[∑i=1n(xi−xˉ)2][∑i=1n(yi−yˉ)2]\boxed{ r=\frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})} {\sqrt{\left[\sum_{i=1}^{n}(x_i-\bar{x})^2\right] \left[\sum_{i=1}^{n}(y_i-\bar{y})^2\right]}} }

嗯。

剛剛還在講讀書時間,現在突然長這樣,確實很難接受。

但先別急著跑。我們還是照之前的方式,把它拆開,看看每一部分到底在做什麼。

這裡先把問題固定下來:我們想知道,每位學生讀書多久,和他考了幾分,有什麼關係?

所以,一位學生會提供兩個數字:讀書時間,以及考試成績。公式裡那些字母,就是替這些資料取的名字。

符號放在學生的例子裡,就是……
nn總共記錄了幾位學生
ii現在看到第幾位學生
xix_i第 ii 位學生的讀書時間
yiy_i同一位學生的考試成績
xˉ\bar{x}這群學生的平均讀書時間
yˉ\bar{y}這群學生的平均考試成績

例如,把學生 A 記作第一位。他讀了 1 小時、考了 60 分,就寫成 x1=1x_1=1、y1=60y_1=60。

所以,下標那個 1 只是說「這是第一位學生的資料」。時間和成績要來自同一位學生,配成一組來看。 這樣想,就比較不會被那一排字母繞暈了。

接下來,我們先看分子。

三、分子:兩個變數,有沒有一起偏離平均?

先把分子拿出來:

∑i=1n(xi−xˉ)(yi−yˉ)\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})

它想做的事情,可以先理解成:觀察兩個變數,是否傾向朝同一個方向偏離各自的平均值。

好,這句話聽起來還是很繞。我們再拆小一點。

符號白話意思
xi−xˉx_i-\bar{x}這筆 xx,比 xx 的平均值高或低多少
yi−yˉy_i-\bar{y}這筆 yy,比 yy 的平均值高或低多少
∑\sum把每筆資料的偏差相乘後,全部加起來

1. 為什麼要把兩個偏差相乘?

假設讀書時間的平均是 2 小時,考試成績的平均是 70 分。

那對某位學生來說,就可能遇到下面四種情況:

讀書時間相對於平均成績相對於平均兩個偏差相乘這筆資料的方向
比較高(正)比較高(正)正 × 正=正同方向偏離
比較低(負)比較低(負)負 × 負=正同方向偏離
比較高(正)比較低(負)正 × 負=負反方向偏離
比較低(負)比較高(正)負 × 正=負反方向偏離

這時候,國中學過的正負號,終於又有工作了。

兩個都高於平均,乘起來是正的;兩個都低於平均,乘起來也是正的。一高一低,就會變成負的。如果其中一個剛好等於平均,乘積就是 0。

所以,相乘是把兩個變數偏離平均的方向,轉換成正負號,同時保留偏離的程度。 偏離得越多,乘積的絕對值也可能越大。

注意,這裡不是看「這個人的讀書時間有沒有比昨天增加」,而是在比較:這筆資料的兩個數字,各自位於平均值的哪一邊。

2. 直接算一次好了

假設有三位學生,資料如下。這裡故意選一組很整齊的數字,方便先看懂計算。

學生讀書時間 XX(小時)考試成績 YY(分)
A160
B270
C380

平均數分別是:

xˉ=2,yˉ=70\bar{x}=2,\qquad\bar{y}=70

先看學生 A:

(1−2)(60−70)=(−1)(−10)=+10(1-2)(60-70)=(-1)(-10)=+10

讀書時間和成績,都低於各自的平均,所以得到正值。

再看學生 B:

(2−2)(70−70)=0(2-2)(70-70)=0

兩個數字都剛好等於平均,這一項就是 0。

最後是學生 C:

(3−2)(80−70)=(+1)(+10)=+10(3-2)(80-70)=(+1)(+10)=+10

兩個都高於平均,又是一個正值。

全部加起來:

∑i=13(xi−xˉ)(yi−yˉ)=10+0+10=20\sum_{i=1}^{3}(x_i-\bar{x})(y_i-\bar{y}) =10+0+10=\boxed{20}

分子是正的,代表在這組資料中,兩個變數整體傾向同方向偏離各自的平均。

三位學生的讀書時間與成績散佈圖,以平均值二小時與七十分為交叉虛線,標出同方向偏差相乘為正、反方向相乘為負的區域。
同時高於平均或同時低於平均,偏差乘積都是正的;一高一低則是負的。

3. 那為什麼還要加總?

因為我們想看的是整組資料,總不能只找到一個讀很久又考很高的人,就說大家都有這個關係吧。

把每一筆的乘積加起來,才能看整體往哪邊走:

  • 正的乘積加起來占上風,分子就是正的,整體傾向同方向變動。
  • 負的乘積加起來占上風,分子就是負的,整體傾向反方向變動。
  • 正負乘積互相抵銷,分子就會接近 0,線性共變動不明顯。

這裡看的是乘積的總量,不是單純數「正的有幾筆、負的有幾筆」。一筆偏離平均很多的資料,可能就有很大的影響。

那好,既然分子都告訴我們方向了,為什麼不直接拿它當指標?

因為它還受到單位、變動幅度,以及資料筆數影響。分子變大,不一定代表線性關係變強。

例如把讀書時間從小時改成分鐘,偏差就全部變成原本的 60 倍,分子也跟著變成 60 倍。但我們明明沒有換任何一位學生啊。

這就輪到分母出場了。

四、分母:為什麼還要除以這一大串?

先把分母拿出來:

[∑i=1n(xi−xˉ)2][∑i=1n(yi−yˉ)2]\sqrt{\left[\sum_{i=1}^{n}(x_i-\bar{x})^2\right] \left[\sum_{i=1}^{n}(y_i-\bar{y})^2\right]}

看起來很複雜,但操作上可以拆成三步:

  1. 計算 XX、YY 各自偏離平均值多少。
  2. 把偏差平方,再分別加總。
  3. 將兩組加總結果相乘,最後開根號。

「好,我知道要平方了。但為什麼?」

對,我們不能只是把步驟背起來。所以先看,如果不平方會怎樣。

1. 不平方,差距會自己消失

一樣是剛剛那三位學生,讀書時間分別是 1、2、3 小時,平均是 2 小時。

學生讀書時間與平均值的差距
A1 小時−1-1 小時
B2 小時0 小時
C3 小時+1+1 小時

如果直接把偏差加起來:

−1+0+1=0-1+0+1=0

結果是 0。

但這三個人的讀書時間,明明就不一樣。不是資料沒有變動,是正負偏差互相抵銷了。其實,相對於樣本平均數的偏差,全部加起來本來就會是 0。

所以我們改成先平方:

(−1)2+02+12=2(-1)^2+0^2+1^2=2

這樣就不會讓正負號把差距抵銷掉,也能反映資料偏離平均值的程度。

前面分子要保留正負,是因為我們想知道兩者一起變動的方向;這裡各自平方,則是要衡量每個變數本身的變動程度。

兩邊想做的事情不一樣,所以處理方式也不一樣。

2. 把分母也算完

延續剛才的資料,XX 的平均是 2,YY 的平均是 70。

先算 XX 的平方偏差和:

∑i=13(xi−xˉ)2=(−1)2+02+12=2\sum_{i=1}^{3}(x_i-\bar{x})^2=(-1)^2+0^2+1^2=2

再算 YY 的平方偏差和:

∑i=13(yi−yˉ)2=(−10)2+02+102=200\sum_{i=1}^{3}(y_i-\bar{y})^2=(-10)^2+0^2+10^2=200

兩者相乘,再開根號:

2×200=400=20\sqrt{2\times200}=\sqrt{400}=\boxed{20}

好,分子是 20,分母也是 20。終於可以把它們放在一起了:

r=2020=1r=\frac{20}{20}=\boxed{1}

這組資料是完全正線性相關。

如果把三個點畫出來,它們剛好都在 Y=10X+50Y=10X+50 這條直線上。這裡選的數字很整齊,才會剛好得到 1;真實資料通常不會這麼配合。

3. 分母最重要的工作:標準化

算完數字了,但分母到底解決什麼問題?

就是剛才那個「小時換成分鐘,分子突然變大」的問題。

當 XX 的偏差全部變成 60 倍,XX 的平方偏差和就變成 60260^2 倍。再經過分母的開根號,整個分母也變成 60 倍。

所以,分子、分母一起放大,最後的 rr 不變。

身高用公分還是公尺,體重用公斤還是公克,也是一樣的道理。換個測量單位,不應該就換掉兩個變數的相關程度。

分母把各自的變動尺度一起考慮進來,讓最後的係數沒有單位,也把有定義的結果限制在 −1-1 到 +1+1 之間。

不過,沒有單位不代表所有研究都能只看 rr 就直接比高下。實際在研究什麼、收集的是哪些人,還是得一起看。

那如果所有人的讀書時間都一樣呢?

假設每個人的讀書時間都是 2 小時,那 xi−xˉx_i-\bar{x} 就全部是 0,XX 的平方偏差和也是 0。

分母因此變成 0,相關係數就沒有定義,不是等於 0。YY 完全沒有變動時,也是一樣的情況。

所以,計算這個樣本相關係數,需要至少兩筆成對資料,而且兩個變數都要有非零的變動。只是,兩筆資料只要兩邊都不同,就一定能連成一條直線,得到 r=+1r=+1 或 r=−1r=-1。能算出數字,和有足夠資料支持結論,還是兩回事。

五、這不是之前看過的標準差嗎?

剛剛又是減平均,又是平方,最後還要開根號。有沒有覺得,這套流程好像在哪裡看過?

沒錯,就是之前信賴區間那篇提過的標準差。

但這裡先不要急著換成另一串公式。我們用剛剛已經算過的數字,把它們接起來。

1. 標準差:先看每一欄,自己有多分散

先把成績遮起來,只看讀書時間。三位學生分別讀了 1、2、3 小時,我們想知道的是:這些時間,離平均的 2 小時有多分散?

這就是標準差在描述的事情。現在把成績拿回來,也可以問同一個問題:60、70、80 分,離平均的 70 分有多分散?

所以,這裡會有兩個標準差:

  • sXs_X:讀書時間的樣本標準差,看時間有多分散。
  • sYs_Y:考試成績的樣本標準差,看分數有多分散。

還記得前面算出的平方偏差和嗎?讀書時間是 2,成績是 200。我們總共有三位學生,按照樣本標準差的算法,把它們各自除以 n−1=2n-1=2,再開根號:

sX=22=1 小時s_X=\sqrt{\frac{2}{2}}=1\text{ 小時} sY=2002=10 分s_Y=\sqrt{\frac{200}{2}}=10\text{ 分}

好,現在我們知道,這兩欄資料各自的分散程度了。

但光看它們各自有多分散,還不知道兩者有沒有一起變動。這就要回到分子。

2. 共變異數:再看兩欄,有沒有一起變動

還記得分子算出的 20 嗎?那是把每位學生的「時間偏差」和「成績偏差」相乘,再全部加起來。

我們也把這個 20 除以 n−1=2n-1=2:

202=10\frac{20}{2}=10

這個算出來的量,就叫做樣本共變異數(Covariance),這裡記成 sXYs_{XY}。

名字很長,但先別被嚇到。它做的事情,還是前面已經理解過的:看兩個變數,是傾向一起高、一起低,還是一高一低。

所以這個例子的共變異數是正的,表示讀書時間和成績,傾向朝同一個方向偏離各自的平均。

「欸,那不就已經有相關了?為什麼還需要 Pearson?」

因為共變異數依然有剛才的問題:換個單位,數字就會變。 用小時算和用分鐘算,得到的共變異數會不一樣,不能只看它的數字大小,就說關係有多強。

所以,我們還要拿兩欄各自的標準差,來調整這個數字。

3. Pearson:把「一起變動」和「各自分散」放在一起看

現在,把剛剛的三個數字放在一起:

算出來的東西數值它在看什麼?
讀書時間的標準差 sXs_X1 小時時間自己有多分散
考試成績的標準差 sYs_Y10 分分數自己有多分散
共變異數 sXYs_{XY}10 小時·分時間與分數如何一起變動

Pearson 做的,就是把共變異數,除以兩個標準差的乘積:

r=sXYsXsY=101×10=1r=\frac{s_{XY}}{s_Xs_Y} =\frac{10}{1\times10}=1

是不是又回到前面算出的 1 了?

因為我們沒有換算法,只是把原本那串計算,改用「標準差」和「共變異數」來表達。上面的單位也會一起消掉,留下沒有單位的 rr。

所以,這裡真正想接起來的是:

標準差看每個變數各自有多分散,共變異數看兩個變數如何一起變動;Pearson 再用各自的分散程度做標準化,得到線性關係的方向與強度。

這樣看,應該就比較知道,那個分母到底在忙什麼了吧。

那它和前面的長公式,怎麼接起來?

前面先用三位學生的數字說明。如果換成一般的 nn 筆資料,樣本標準差的寫法就是:

sX=∑i=1n(xi−xˉ)2n−1s_X=\sqrt{\frac{\sum_{i=1}^{n}(x_i-\bar{x})^2}{n-1}}

sYs_Y 也是同樣的算法,只是把 xx 換成 yy。因此,原本 Pearson 的分母,就等於 (n−1)sXsY(n-1)s_Xs_Y。

而樣本共變異數是:

sXY=∑i=1n(xi−xˉ)(yi−yˉ)n−1s_{XY}=\frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{n-1}

所以,原本的分子就等於 (n−1)sXY(n-1)s_{XY}。把兩邊放回去:

r=(n−1)sXY(n−1)sXsY=sXYsXsYr=\frac{(n-1)s_{XY}}{(n-1)s_Xs_Y} =\frac{s_{XY}}{s_Xs_Y}

這裡都採用樣本版本,所以分子、分母的 n−1n-1 剛好能消掉。至於樣本變異數為什麼使用 n−1n-1,這篇先不展開;這裡要看懂的是,它們怎麼接回原本的 Pearson 公式。

六、算出相關了,然後呢?

好了,聊了這麼多計算,還是得回到最開始的問題:我們要怎麼正經地談論相關性?

總不能算出一個 rr,就開始替世界下結論吧。

1. r=0r=0,不代表完全沒有關係

前面一直強調「線性」,就是為了這件事。

舉一組很簡單的資料:

XX−2-2−1-1012
Y=X2Y=X^241014

這兩者有沒有關係?當然有,YY 根本就是照著 X2X^2 算出來的。

但對這組左右對稱的資料,Pearson 相關係數是 0。因為這是一個 U 形關係,左半邊往下、右半邊往上,分子的正負乘積剛好互相抵銷。

所以,沒有線性相關,不等於沒有任何關係。 拿到資料時,先畫散佈圖,看一下它到底長什麼樣,通常會比只盯著 rr 更有幫助。

2. 相關很強,也不代表誰造成了誰

就算讀書時間與成績真的呈現正相關,也不能只靠這個數字,就說「多讀一小時,一定會讓成績提高」。

還可能有其他因素,同時影響讀書時間與成績,例如學習動機、原本的基礎,或取得的學習資源。

而且 rr 也不是斜率,不能拿來回答「多一小時,會多幾分」。

它描述的是線性關係的方向與強度,因果問題還需要研究設計與其他證據。

3. 一個很漂亮的數字,不一定撐得起很大的結論

還記得分子是把偏差相乘嗎?這也代表,一筆離平均值很遠的資料,就可能有很大的影響。

所以離群值可能把 rr 拉高,也可能把它拉低。看到一個很強的相關,還是要回頭看看,是整群資料都有這個趨勢,還是主要被少數幾個點帶著走。

再來,這篇算的是手上這組樣本的 rr。如果想拿它估計母體的相關,依然會遇到抽樣的不確定性。前面那三位學生得到 r=1r=1,也不代表全校、全台灣的學生都有完全正線性相關。

這時候,就可以接回之前的 p-value 和信賴區間:一個相關有多強、估計有多不確定,以及在某個虛無假設下資料有多不尋常,是相關但不同的問題。

至於 Pearson 相關的信賴區間與檢定,要用適合它的方法與假設,不能直接把之前估計平均數的公式搬過來。這部分先不展開,不然我們又要一路寫回統計學了。

好了,這篇的公式已經拆得夠細了。實際計算可以交給程式,但理解每個部分在做什麼,才比較不會拿到一個數字,就讓它回答根本不屬於它的問題。

如果最後濃縮成一句話,那就是:

Pearson 相關係數用正負號判斷線性關係的方向,用絕對值判斷線性關係的強弱;但它不能代表所有類型的關係,也不能單靠它判斷因果。

參考資料

完

#學習筆記#Pearson 相關係數#統計#線性相關#共變異數

客官怎麼看

看完有話想說,留在這裡。罵我也可以,罵別人更好。

可用 GitHub 登入,或以筆名題字;Email 選填。地區章依網路位置辨識,臺灣可顯示縣市;編號用來區分留言。