2017年2月23日 星期四

「照本宣科」型的實驗結果解釋

當我們提出了一個新的設計方法,採用了一個新的技術(假設叫A技術好了),推估效能會比原有已存在的方法來的好時,下一步就是要進行進一步的效能驗證。

如果方法的效能優勢可以單純經由推理證明得到,那就不需要特別的效能驗證。很多演算法領域的研究就是如此,只需要理論的效能(如運算複雜度)分析即可。不過大多數系統或網路協定中的研究,是絕對需要經由實驗或電腦模擬來驗證所提方法的效能的。

當實驗或電腦模擬的結果顯示,新方法效能的確比原有的方法好時,有些人會覺得這樣就夠了,可以收工了,卻忽略了還必須對實驗或模擬結果提出合理的解釋。

有些人雖提出了解釋,卻是「照本宣科」型的,單純交代而已。例如:「因為我們的方法採用了A技術,所以在效能項目x上表現比原有的方法好」。這種說法空泛而不具體,可以完全不用看原始數據而照樣套用在其他效能項目y,z,...的解釋上。

「照本宣科」型的解釋完全行不通。這是因為我們對結果所提出的解釋,必須建立在廣為接受的知識基礎上,依據具有邏輯性的敘述進一步說服讀者實驗結果是合理的,並沒有出現我們所知道或不知道的差錯。這樣的作法是同時面對作者與讀者的。

舉例來說,假設我們的實驗設定有誤,或模擬程式中藏了一個邏輯錯誤,那麼我們仍然可以得到(錯誤的)結果。萬一這個錯誤的結果又剛好顯示新方法的效能比較好時,「照本宣科」型的效能解釋仍然可以複製貼上,無論是作者或讀者皆無法看出有任何問題。但如果作者要用符合邏輯性的敘述,追根究柢地說明為何會得到這樣的結果時,很可能就會發現無法自圓其說,進而發現實驗或程式出了問題。

沒有留言:

張貼留言