雙重差分法

先算兩組各自的前後變化,再把變化拿來相減。從職業訓練開始,理解 DiD 怎麼估計介入效果,以及為什麼需要平行趨勢假設。

說實話,這個方法其實在我平常接觸的 Computer Science 研究裡,是相對少見的。

今天會寫這篇,還是因為我剛好有涉獵相關方面的知識,因此來介紹一下這個有趣的方法,也就是 雙重差分法(Difference-in-Differences,DiD)。

它通常出現在經濟學、政策評估等研究裡。但我們 CS 領域也可以用到的原因,其實很簡單,就是這套方法在因果推論(Causal Inference)裡,也是一個重要的 method。

我覺得,在正式介紹它之前,還是得先說明一下:為什麼這類方法,會比較常出現在社會科學的研究裡?

一、為什麼社會科學會需要它?

社會科學研究的核心對象,往往是「人」、「社群」與「制度」。在這些研究裡,有兩件事情通常很難做到。

1. 無法精準控制變數

你無法像在實驗室調控 CPU 頻率,或是調整輸入參數一樣,去控制一個人的生活背景、收入、心理狀態,或是社會關係。

而且,各種可能影響結果的因素,幾乎無處不在。

例如,我們想評估「提高最低工資對就業的影響」。某個城市實施政策後,就業率下降了,但你很難直接區分,這到底是政策本身造成的,還是剛好遇到經濟衰退、產業轉型,或是人口外移。

對,研究對象沒有義務乖乖待在那裡,只讓你想研究的變數發生變化。

2. 無法隨意進行隨機實驗

另一個問題,就是倫理與現實上的限制。

例如,為了研究「失業救濟金對再就業的影響」,研究者不能只為了實驗,就隨機指定一半原本有資格領取的失業人口「不准領救濟金」。

政府推出一項新政策,例如全縣實施免費幼兒園,也可能是全面性的。研究者沒有辦法只為了比較,就強制要求某些家庭被排除在外。

所以,很多時候,我們沒辦法像調整程式參數一樣,把條件安排好,再等結果出來。

但我想,大家應該也看出來了:這些問題,不是只有社會科學才會遇到。

近年來,像端到端模型(End-to-End Model)這類帶有黑箱(Black Box)特性的模型,在研究它們受到影響或刺激後的反應時,我們也會碰到一個問題:觀察到的變化,到底應該歸因給什麼?

當然,黑箱不代表實驗條件就一定不可控。但如果我們想研究介入造成的效果,因果推論裡的工具,就有機會派上用場。

我們其中幾篇做探針模型(Probe Models)的研究觀測實驗,也用到了 DiD。因此,今天就來介紹一下這個很有意思的方法。

介紹完這些前提知識,也該正式進入雙重差分法了。因為它在社會科學與政策評估裡比較常見,這篇也會先從這個角度來介紹。

二、DiD 到底在做什麼?

首先,DiD 的目的是:

在相關假設成立的前提下,估計某項政策或介入(Treatment)對結果變數 YY 的因果效果。

對,我們要看的是因果關係。

舉個例子。

假設政府在某個城市實施最低工資政策,而另一個城市沒有實施。我們想知道:

「最低工資政策,是否真的提高了工人的薪資?」

但有個問題:即使沒有政策,薪資也可能因為通膨或景氣而上升。

因此,我們不能單純比較政策前後的薪資,就把增加的部分全部算到政策頭上。

DiD 的解決方式是:

先算實驗組的前後變化,再扣掉控制組的前後變化。

這裡岔個話。其實我認為,DiD 展現了一個做研究時很重要、也很通用的想法:當結果受到多個因素共同影響時,我們不能只觀察端到端的結果,就替整個變化給出單一解釋,而是要盡力把已知可能影響結果的因素,納入評估與比較。

當然,不是說用了 DiD,所有不可控因素就會自動消失。只是我覺得,這種先去想「還有什麼可能造成變化」的思路,本身就很重要。

好,回到 DiD。

剛剛是一個比較白話、直覺的說法。接下來,我們用一組具體的數字,把它拆開來看。

假設政府推出一項政策,提供員工職業訓練,希望提高他們的薪水。

我們想研究的問題是:

「參加職業訓練,真的會讓薪水增加嗎?」

現在有兩群人:

  • Treatment group(實驗組,也稱處理組):有參加職業訓練的人。
  • Control group(控制組):沒有參加職業訓練的人。

這裡的分組,不代表研究者一定做了隨機分派。

我們在職業訓練開始前,以及結束後,分別觀察兩組人的平均薪水,得到下面這組示意資料:

組別訓練前訓練後
有參加訓練的人(Treatment)100140
沒參加訓練的人(Control)80100

這裡的數字,可以先想成兩組人的平均時薪。

1. 先只看參加訓練的人

接下來,我們暫時把控制組遮起來。

組別訓練前訓練後
有參加訓練的人100140

我們觀察到,訓練前的平均時薪是 100,訓練後是 140。

所以,薪水增加了:

140−100=40140-100=40

到這裡,都還只是簡單的減法。

但是,這個 40,真的是職業訓練造成的嗎?

不一定。

因為在這段期間,也可能發生其他事情,例如:

  • 整體經濟變好,大家的薪水都上漲。
  • 通貨膨脹,雇主普遍調薪。
  • 政府同時實施了其他提高薪資的政策。

所以,即使這些人沒有參加訓練,他們的薪水也可能上漲。

這就是為什麼,我們不能直接說:

「職業訓練讓薪水增加了 40。」

2. 再看看沒有參加訓練的人

剛剛我們已經知道,參加訓練的人,薪水從 100 增加到 140。但這個增加的 40,不一定全部來自職業訓練。

那現在,我們把沒有參加訓練的人拿回來看。

組別訓練前訓練後
沒參加訓練的人80100

他們的薪水也增加了:

100−80=20100-80=20

這就很有意思了。

因為這群人根本沒有參加職業訓練,薪水卻也上漲了 20。

這告訴我們什麼?

可能是這段時間整體經濟變好,或者大家的薪水普遍上漲。

因此,Treatment group 增加的 40 裡面,可能有一部分,即使沒有訓練也會發生。

3. 現在,來理解第二次減法

整理一下,目前我們知道兩件事:

組別薪水變化
Treatment group:參加訓練的人+40+40
Control group:沒有參加訓練的人+20+20

而我們真正想知道的是:

如果沒有參加職業訓練,Treatment group 的薪水,原本會增加多少?

這個問題沒辦法直接觀察,因為他們已經參加訓練了。

所以,DiD 會利用 Control group 的變化來推估。

假設沒有職業訓練時,兩組的平均薪水都會增加 20,那麼:

  • Treatment group 實際增加了 40。
  • 其中有 20,是我們估計即使沒有訓練,也會增加的部分。
  • 剩下的 20,才是我們想估計的訓練效果。

所以:

40−20=2040-20=\boxed{20}

這就是 Difference-in-Differences,雙重差分的直覺。

對了,這裡的「差分」,可以先理解成相減,不用懷疑自己。

那「雙重差分」,白話說就是減兩次囉。但注意喔,英文是 Difference-in-Differences,更準確地說,是「差異中的差異」。

其實很簡單,依然是減兩次,但這兩次是不同層次的減法。第一次,算出每一組的前後變化;第二次,再把兩組的變化拿來相減。從剛剛上面的示範,就可以看出來了。

嗯。

到這裡,說實話,已經把 DiD 的基本算法解釋完了。對,就是這麼簡單。

如果你只是想知道 DiD「在算什麼」,那其實可以先走了。

但接下來,才要進到 DiD 有趣的地方,也就是:為什麼這樣算,可以拿來估計因果效果?

三、為什麼需要平行趨勢假設?

接下來,要介紹的是 平行趨勢假設(Parallel Trends Assumption)。

我們慢慢來,先不急著看數學定義,也不急著直接介紹它。

先回答一個問題:為什麼需要這個假設?

回到剛才的職業訓練例子:

組別訓練前訓練後薪水變化
Treatment100140+40+40
Control80100+20+20

我們算出:

DiD=40−20=20\mathrm{DiD}=40-20=20

然後說:「職業訓練讓薪水增加了 20。」

但是,這裡其實有個問題。

為什麼我們可以把 Control group 的薪水成長 +20+20,當成 Treatment group 在沒有訓練時,也會發生的薪水成長?

萬一 Treatment group 本來就比較有競爭力,即使不接受訓練,薪水也會增加 30 呢?

這時候,剛才的 DiD 估計,就會出問題。

因此,我們需要一個假設,來支持這個推論。

這就是平行趨勢假設。

知道這個需求後,我們再來介紹,Parallel Trends 到底是什麼。

最直覺的定義是:

如果沒有政策介入,Treatment group 和 Control group 的結果變數,平均而言應該具有相同的變化趨勢。

注意這句話裡,最關鍵的部分:

「如果沒有政策介入」。

平行趨勢不是說,兩組實際觀察到的結果,一定要一直平行。

而是說,在「沒有政策」的假想世界裡,兩組的平均變化應該平行。

我們用圖來看。

Treatment 平均時薪從一百增加到一百四十,Control 從八十增加到一百;假設沒有訓練時 Treatment 也增加二十,虛線會到一百二十,與實際結果相差二十。
虛線表示沒有接受訓練時的假想路徑;平行趨勢成立時,實際結果與這條路徑的差距,就是這裡估計的訓練效果。

這裡需要特別觀察三件事:

  1. Treatment 和 Control 在政策前,可以有不同的薪水水準。
  2. 如果沒有政策,兩組應該具有相同的變化量,這是我們做的假設。
  3. Treatment 在政策後的實際結果,可以因為政策效果,偏離原本的平行路徑。

所以,平行趨勢不要求兩組起點相同,只要求沒有政策時的平均變化相同。

這個差別很重要,接下來我們用兩個情境,把它看得更清楚一點。

四、平行趨勢成立,和不成立,差在哪裡?

1. 情境 A:平行趨勢成立

假設沒有職業訓練時,兩組原本會這樣變化:

組別訓練前訓練後,假設沒有訓練
Treatment100120
Control80100

兩組都增加 20。

所以,即使 Treatment 的起點比 Control 高 20,也不影響平行趨勢成立。

而 Treatment 接受訓練後,實際變成了 140。

那麼:

訓練效果=140−120=20\text{訓練效果}=140-120=20

在這個例子裡,DiD 正確估計了訓練效果。

因為我們用 Control 的變化,推估 Treatment 沒有接受訓練時的變化,剛好就是對的。

2. 情境 B:平行趨勢不成立

現在,假設 Treatment group 的人,本來就處於快速成長的產業。

即使沒有職業訓練,他們的薪水也會增加 30。

組別訓練前訓練後,假設沒有訓練
Treatment100130
Control80100

Treatment 本來就會增加 30,Control 卻只會增加 20。

這時候,如果 Treatment 接受訓練後,實際薪水是 140,那真正的訓練效果應該是:

140−130=10140-130=10

但我們用 DiD 算出來的是:

(140−100)−(100−80)=20(140-100)-(100-80)=20

把兩個結果放在一起看:

要比較的結果數值
真正的訓練效果10
DiD 估計值20

DiD 高估了 10,因為兩組原本就有不同的成長趨勢。

也就是說,Treatment 本來就會多成長的那一部分,被我們一起算成了職業訓練的效果。

這就是為什麼,平行趨勢假設這麼重要。

剛才看起來只是減兩次,但如果我們對「原本會怎麼變」的推估有問題,減完的數字,也就不能照原本的方式解釋了。

五、那研究者怎麼知道,平行趨勢成立?

但我相信,大家看到這裡,應該會有一個更深的問題。

「那研究者怎麼知道,平行趨勢假設成立?」

答案是:我們通常無法直接證明它成立。

因為我們觀察不到,Treatment group 在同一個時間、同一個世界裡,「沒有接受政策」的結果。

他們已經接受政策了,沒有另一個同時發生、卻沒有接受政策的版本,可以拿出來直接比較。

所以,我們通常會透過政策實施前的歷史資料,觀察兩組原本的走勢是否相似,再結合政策背景,判斷這個假設是否合理。

例如,我們有政策實施前三年的資料:

組別202020212022
Treatment708090
Control506070

這三年,兩組都是每年增加 10。

這是支持平行趨勢合理性的證據,但不能保證政策實施後,如果沒有介入,兩組也一定繼續平行。

所以,歷史資料可以幫我們判斷,卻沒有辦法直接把那個沒有發生的結果變出來。

這也是使用 DiD 時,需要把研究背景一起考慮進去的原因。除了平行趨勢,實際研究也還要注意,政策是否提前影響了行為,以及控制組有沒有同樣受到政策波及等問題。這篇先不展開,先把最核心的假設理解清楚。

六、好了,這次真的要結尾了

介紹了這麼多,也該做個結尾了。

說實話,這次的筆記非常社會科學化。

嗯,這也是我沒想到的。

但畢竟 DiD 發光發熱的地方,本來就有很大一部分是在經濟學、政策評估這些領域裡。用這些例子介紹,確實也比較容易看懂,它到底想解決什麼問題。

那我自己也認為,如果未來我們更多地去探索神經網路模型的 Black Box 機制,研究各種介入到底造成了什麼影響,也有可能會更常用到這個 method。

當然,具體還是得看研究設計,不能因為模型是黑箱,就直接把 DiD 套上去。

但這畢竟也需要時間,去推動學界從不斷拼 SOTA,到真正願意坐下來,慢慢拆解模型裡到底發生了什麼。

也因此,未來會不會普及,大概還是只能等待時間的推動了。

完

#學習筆記#雙重差分法#DiD#因果推論#平行趨勢

客官怎麼看

看完有話想說,留在這裡。罵我也可以,罵別人更好。

可用 GitHub 登入,或以筆名題字;Email 選填。地區章依網路位置辨識,臺灣可顯示縣市;編號用來區分留言。