關於旺宏科展

一次科展參賽後的失落與疑問:比起更多後續實驗,我更想知道現有論證具體不足在哪裡。

今年七月初,第二十五屆旺宏科學獎的結果出來了。

佳作。

說真的,我當時看到結果的時候滿失落的。

我對自己的作品是有信心的。不是說做了很多實驗就一定該拿獎,而是我確實花了不少時間把研究問題、實驗設計、統計分析和物理解釋整理成一套完整的論證。

所以,佳作和我原本的期待確實有落差。

好吧,那我至少想知道評審覺得哪裡還不夠好。

然後我就去看評審意見。

看完之後,有些建議我能理解,但原本的疑問並沒有得到太多解答。

先講一下背景。

這次參賽的作品是《路徑追蹤合成立體資料的跨視角變異場相關性:一條被忽視的訓練捷徑》。

名字有點長,簡單來說,我發現在 path tracing 生成的雙目影像裡,左右視角的雜訊雖然是獨立取樣的,但雜訊的變異結構其實有很強的跨視角相關性。

這件事可能讓 stereo network 學到一條原本不應該依賴的匹配線索,而真實相機的感測器雜訊又沒有相同的生成機制,因此可能造成一種以前沒被注意到的 sim-to-real gap。

我做了跨場景統計、不同取樣數的測試、材質分析,還有干預實驗。我不想只停在量出一個相關係數,而是試著回答這個訊號為什麼存在、是否穩定,以及破壞它之後匹配表現會怎麼變化。

研究當然還有沒做完的地方,所以我也另外寫了研究限制和後續工作。

然後,來看看評審怎麼說。

本作品在原創性、實驗設計的均屬優質,然而目前論證仍停在「強烈暗示」而非「直接證明」。

看到這句,我第一個反應是:

等等,那干預實驗的結果應該怎麼看?

這也是我最想從評審意見裡得到解答的地方。

我把跨視角的雜訊結構刻意打散,保留乾淨影像,再觀察匹配指標的變化。這當然還不能證明一個真正訓練完成的 stereo network,在真實資料上會受到多大的影響。

這個限制,我也已經在報告裡寫出來了。

我從來沒說已經完整證明這個機制對所有 stereo network 的實際影響。

如果評審認為目前的實驗不足以支持某個具體主張,我希望能知道不足在哪裡。是干預設計有問題?控制變因不夠?還是哪個推論跳太遠?這些對我來說,會比「尚未直接證明」更有幫助。

再往下看,評審提出了幾個後續實驗的建議。

包括在其他渲染器上重現結果,例如 Blender Cycles;拿真實 stereo 資料進行對照;真正訓練 stereo network,測試這個訊號對 sim-to-real gap 的影響;以及在玻璃與非玻璃之外,加入更多材質。

這些方向,我在第五章的研究限制和後續工作裡都寫了。

所以讀到這裡,我有點失落。

我知道這些實驗重要。

也正因為知道重要,才會把它們列進後續工作。

而且我的後續規劃甚至不只這些。我還提出 noise injection 的構造性實驗,想直接測試這個訊號是否足以造成 sim-to-real gap。

這當然是下一步值得做的事情。

我理解,把限制寫出來,不代表這些限制就不會影響評價;評審再次指出,也不一定沒有意義。但如果主要建議和我已經列出的方向重疊,我更想知道的是:

哪些是支撐目前主張必須補上的證據,哪些是讓研究更完整的下一步?

另外,這畢竟是一個高中生的科學競賽。

我不是說高中生的研究就應該隨便做,或是評審看到高中生就要降低科學標準。

但我也想問,這個競賽對研究完整度的期待,究竟到哪裡?

我已經提出研究問題、設計實驗、量化結果、分析物理機制,也清楚交代了目前證據能支持什麼、哪些問題還沒回答。

讀完建議,我卻不太確定:是要再換渲染器、再測真實資料、再訓練完整模型、再補更多材質,現有的結果才算有足夠的說服力嗎?

我希望能更清楚知道,競賽如何衡量一份仍有後續工作、但已經得到部分結果的研究。

畢竟,就算是 peer review,也需要區分哪些實驗是驗證當前結論所必要,哪些是研究可以繼續延伸的方向。

研究是可以無限往下做的。

換了 Blender Cycles,還可以再測 PBRT。做了真實資料對照,還可以再測更多相機。訓練一個 stereo network,也還有其他模型和 benchmark 可以驗證。

這些都有價值,但總得有一個範圍,讓我們能討論目前完成的部分。

我在意的,還是這份作品提出了什麼問題、用了什麼方法,以及證據能不能支持它實際做出的主張。

如果某項研究限制已經影響目前結論的成立,我很希望評審能說明兩者之間的關係。

只列出還沒完成的實驗,對我理解現有論證的問題,幫助還是有限。

我接受研究被用高標準檢視,也期待回饋能更具體地說明,現有證據和結論之間還缺了什麼。

例如某個統計方法是否適合、干預實驗的控制條件是否充分,或是物理推論哪裡不夠嚴謹。

這些我都很願意看。

對我來說,「還可以再做什麼」和「目前哪裡做得不夠好」,是兩個都值得回答的問題。這次的意見比較偏向前者,而我最需要的其實是後者。

還有一種說法,我也想談談。

就是「不像高中生做的」這種說法。

我對這種評價一直有點介意。

高中生的研究,應該用年級來預設它能做到什麼程度嗎?

我會擔心,研究做得簡單,可能被認為沒有深度;做得完整一點,又被覺得不像高中生。這樣一來,反而不知道該怎麼回應了。

我不覺得研究能力應該跟年級綁在一起。

遇到不懂的東西就去學,數學不夠就補,文獻沒看懂就繼續讀。這些事情本來就是做研究的一部分。

如果一個高中生真的有能力把題目做到這個程度,那不是很好嗎?

「不像高中生做的」或許有時是稱讚,但它也容易讓討論從研究本身,轉向對年齡的想像。比起這句話,我更想聽到作品具體好在哪裡、還有哪些不足。

而且說真的,我沒有因為自己是高中生,就要求評審特別放水。

我也希望,研究能做到什麼程度,可以由作品本身來說明。

回到這次的結果。

讓我最失落的,其實不只是結果和期待有落差。

而是我花了這麼多時間做研究,也試著把自己知道的限制交代清楚,最後卻還是不太知道,評審認為現有成果最需要改進的是哪一部分。

更不用說,這還是一個以鼓勵高中生科學研究為目的的競賽。

如果回饋除了指出更多實驗方向,也能說明現有研究的具體不足,我想參賽者會更知道怎麼往前走。

高標準之外,具體的回饋也同樣重要。

我原本真的很期待能從這個比賽得到一些有價值的回饋。

這次收到的建議和我原本列出的 Future Work 重疊不少,所以讀完之後,難免還是有些失落。

這件事都過了幾個月了,我現在回頭看,還是想把這些疑問寫下來。

下一步可以做什麼,我已經列了不少。

我更想知道的,是這一步到底站穩了沒有;如果還沒有,問題出在哪裡。

完

#科展

客官怎麼看

看完有話想說,留在這裡。罵我也可以,罵別人更好。

可用 GitHub 登入,或以筆名題字;Email 選填。地區章依網路位置辨識,臺灣可顯示縣市;編號用來區分留言。