機率密度函數

哪裡比較容易抽到?抽得不平均,為什麼還能算對?用兩張圖和一個例子理解 PDF。

學 Path Tracing 的時候,一直看到 PDF 這個詞。

這裡的 PDF 是 Probability Density Function,機率密度函數。

我覺得理解它最有用的切入點,就是先分清楚這兩個東西:

f(x)⏟我們想積分的東西p(x)⏟我們如何選擇樣本\underbrace{f(x)}_{\text{我們想積分的東西}} \qquad \underbrace{p(x)}_{\text{我們如何選擇樣本}}

白話說,f(x)f(x) 是「我要算什麼」,p(x)p(x) 是「我要怎麼抽」。

要算的東西不變,但抽樣方式可以由我們選擇。這就是重要性抽樣的出發點。

接下來先看 p(x)p(x)。它要回答的是:

我在一個範圍裡隨機抽數字,哪裡比較容易被抽到?

PDF 就是用來描述這件事的。曲線比較高的地方,附近一小段區間就比較容易被抽到。

而在重要性抽樣裡,我們還可以主動選擇這條曲線,安排樣本要多抽哪裡、少抽哪裡。

一、先讓大家機會一樣

假設我要從 0 到 1 之間抽一個數字,而且希望每個地方都一樣容易被抽到。

那就選 p(x)=1p(x)=1,範圍是 0≤x≤10\leq x\leq1,範圍外的密度是 0。

均勻分布 p(x)=1:左側與右側寬度同為 0.2 的區間,機率都是 20%。

這條線是平的,所以相同寬度的區間,機會也相同:

  • 抽到 0 到 0.2 之間的機率,是 20%。
  • 抽到 0.8 到 1 之間的機率,也是 20%。

這就是均勻抽樣。

注意,這裡比較的是「一段區間」。對連續分布來說,抽到某個精確數字的機率是 0;我們說某個位置比較容易抽到,是在說它附近那一小段。

二、那我想多抽右邊呢?

可以,換一條曲線就好。

這次選 p(x)=2xp(x)=2x,抽樣範圍仍然是 0 到 1,範圍外的密度一樣是 0。

遞增分布 p(x)=2x:左側 0 到 0.2 的面積為 4%,右側 0.8 到 1 的面積為 36%。

這條線越往右越高,所以右邊比較容易被抽到。

同樣拿剛才那兩段來看:

怎麼抽左邊:0 到 0.2右邊:0.8 到 1
p(x)=1p(x)=1,平均抽20%20%
p(x)=2xp(x)=2x,偏向右邊4%36%

區間一樣寬,抽到的機率卻差很多。右邊現在是左邊的九倍。

這就是我覺得理解重要性抽樣時,很重要的一點:

我們可以主動選擇怎麼抽。 如果知道右邊對答案比較重要,就可以讓更多樣本落在右邊。

PDF 本身只是描述分布的工具;「主動選擇」是我們在這個積分問題裡做的事。

三、曲線的高度,不是百分比

看圖的時候,要分清楚兩件事:

  • 高度:這裡有多密,叫做機率密度。
  • 某段曲線下的面積:抽到那段區間的機率。

所以剛才的 4% 和 36%,都是看面積算出來的。

像 p(x)=2xp(x)=2x,在 x=0.8x=0.8 的高度是 1.6。這不是說有 160% 的機率,只是在說這個位置的密度。

另外,PDF 也不能隨便畫。它不能低於 0,而且整條曲線下的總面積必須是 1,也就是 100%。畢竟抽出來的數字,總得落在某個地方。

那 4% 和 36% 怎麼算?

算曲線下的面積,就是積分:

P(0≤X≤0.2)=∫00.22x dx=0.22=0.04P(0\leq X\leq0.2)=\int_0^{0.2}2x\,dx=0.2^2=0.04 P(0.8≤X≤1)=∫0.812x dx=12−0.82=0.36P(0.8\leq X\leq1)=\int_{0.8}^{1}2x\,dx=1^2-0.8^2=0.36

整個範圍的面積也剛好是 1:

∫012x dx=1\int_0^1 2x\,dx=1

四、可是多抽右邊,不會把答案算歪嗎?

如果直接把抽到的值拿來平均,會。

你都刻意多抽右邊了,結果當然會比較偏向右邊的值。所以要做一個補償:每次算到的貢獻,都除以那個位置的 PDF。

先認識兩個符號就好:

  • f(x)f(x):抽到 xx 時,我們要計算的貢獻。
  • p(x)p(x):我們用來抽樣的機率密度。

每次抽樣真正拿來平均的,是:

f(x)p(x)\frac{f(x)}{p(x)}

直覺上就是:比較常抽到的地方,每次少算一點;比較少抽到的地方,抽到時就多算一點。

同樣的原始貢獻,PDF 越大,除完就越小。這樣才能補償「有些地方抽得多、有些地方抽得少」的差別。

例如,要計算 f(x)=xf(x)=x 在 0 到 1 之間的積分,並且用 p(x)=2xp(x)=2x 抽樣:

抽到哪裡原本貢獻PDF補償後
x=0.1x=0.10.10.20.5
x=0.8x=0.80.81.60.5

左邊不太容易抽到,原本的貢獻又小;右邊比較容易抽到,原本的貢獻比較大。除以各自的 PDF 之後,兩次算出來竟然一樣。

其實,在這個例子裡,只要抽到的 x>0x>0,結果都是:

x2x=12\frac{x}{2x}=\frac12

而 f(x)=xf(x)=x 在 0 到 1 下方的面積,剛好就是 1/21/2。這裡每次都能得到答案,是因為我們選的 PDF 和 ff 的形狀剛好完全對上。

同樣積分 f(x)=x,均勻採樣的單次貢獻隨位置變動;使用 p(x)=2x 時,x 大於 0 的單次貢獻都是二分之一。
對這個特例,PDF 的形狀剛好對上被積函數,補償後每次都得到相同的貢獻。

一般問題通常沒這麼剛好,單次估計還是會有誤差。不偏(unbiased)的意思,是想像把整套估計重做很多次,這些估計值的平均會趨近真正的答案。

還有一個前提:有貢獻的地方,要保留抽到它的機會。如果一整塊有貢獻的區域都永遠抽不到,就沒辦法靠補償救回來。

想看完整估計式與推導

我們要算的是 I=∫Df(x) dxI=\int_D f(x)\,dx。依照 pp 獨立抽出 NN 個樣本 XiX_i,把補償後的貢獻平均:

I^N=1N∑i=1Nf(Xi)p(Xi),Xi∼p\hat I_N=\frac1N\sum_{i=1}^N\frac{f(X_i)}{p(X_i)}, \qquad X_i\sim p

不偏的精確意思,是 E[I^N]=I\mathbb E[\hat I_N]=I。它成立的原因是,期望值裡的抽樣密度,剛好和分母抵消:

E ⁣[f(X)p(X)]=∫{x∈D:p(x)>0}f(x)p(x)p(x) dx=∫Df(x) dx=I\mathbb E\!\left[\frac{f(X)}{p(X)}\right] =\int_{\{x\in D:p(x)>0\}}\frac{f(x)}{p(x)}p(x)\,dx =\int_D f(x)\,dx=I

前提是 ff 絕對可積分,樣本真的依照 pp 產生,分母使用相同的密度,而且在 f≠0f\neq0 的區域,pp 幾乎處處為正。白話說,就是不能漏掉有貢獻的一整塊區域;少數零測度位置不影響積分。

剛才 x=0x=0 時的 x/(2x)x/(2x) 沒有定義,但理想的連續抽樣抽到恰好 0 的機率為 0,因此不影響例子的結論。

五、所以為什麼要這樣抽?

因為我們通常沒辦法把每個地方都算一遍,只能抽一些樣本來估計。

如果某些地方對答案的貢獻很大,我們就希望多花一些樣本在那裡。再用 PDF 補償,讓結果仍然不偏。

選得好的話,每次算出的加權貢獻就比較接近,答案比較不會忽大忽小。放到渲染裡,通常就能在相同樣本數下減少雜訊。

多抽重要的地方,抽完再補償。 這就是重要性抽樣的核心想法。

不過,重要的是「對答案有貢獻」,不是「右邊」。如果貢獻明明集中在左邊,卻拼命抽右邊,估計反而可能更不穩。

用符號說,我們希望 p(x)p(x) 的形狀盡量貼近 ∣f(x)∣|f(x)|。絕對值是因為 ff 可能有負值,但 PDF 不能是負的。若 ff 有正有負,就算形狀對上了,加權結果仍可能一正一負,未必像剛才的例子那麼穩。

六、放到 Path Tracing 裡呢?

在 Path Tracing 裡,我們常常是在抽「光線往哪個方向走」。

你可以把下面這些方法,看成不同的選方向方式:

  • Uniform Hemisphere Sampling:在半球上,面積相同的方向區域有相同的抽樣機會。
  • Cosine-weighted Sampling:比較常抽接近表面法線的方向,也就是比較朝向表面正上方。
  • BSDF Sampling:看材質比較容易把光往哪裡散射,就偏向抽那些方向。
  • Light Sampling:先選光源,再抽光源上的位置或朝向它的方向。

它們各自利用不同的資訊,去猜哪裡值得多抽。實際渲染也常把幾種方法搭配起來,叫做 MIS,之後可以再整理。

如果開始寫程式,還要注意 PDF 是「對哪種範圍」定義的:對光源表面面積算的密度,和對方向(立體角)算的密度,需要轉換後才能一起使用。

先記住這三個角色,就比較不容易混在一起:

  • f(x)f(x):我要算什麼。
  • p(x)p(x):我要怎麼抽。
  • f(x)/p(x)f(x)/p(x):抽到以後,這次要算多少。

延伸閱讀

完

#學習筆記#機率密度函數#重要性抽樣#Monte Carlo#Path Tracing

客官怎麼看

看完有話想說,留在這裡。罵我也可以,罵別人更好。

可用 GitHub 登入,或以筆名題字;Email 選填。地區章依網路位置辨識,臺灣可顯示縣市;編號用來區分留言。