2021年10月3日 星期日

倒扣機制對分數的影響

採用單選題且無倒扣的測驗方式,可以讓胡亂選答的考生獲得一定的分數。採用答錯倒扣的機制,目的在於讓心存僥倖的亂答考生無利可圖,甚至得不償失,不過倒扣的機制也同時改變了分數的分佈。採用傳統的調分機制也許可以還原原始分數的分佈。

舉例而言,胡亂選答的考生在四選一單選且不倒扣的考試中,可望得到25分,顯然無法反應出考生真正的程度。如果要讓這類考生的期望分數降為0,可以設計成答對時每題得x分但答錯時每題要扣y分,且滿足 0.25x<0.75y。例如x=4時,y要大於4/3 (如1.5)。這樣胡亂選答的考生的期望得分會是負的,所以沒有動機亂答。

不過倒扣的機制也同時改變了分數的分佈。例如原本有1/2與1/3答題成功機率的考生,所得到的分數會從沒有倒扣時的50分和33分,降到有倒扣時的31.25分和8.33分(以答對一題得4分答錯扣1.5分計)。雖然全對的考生分數仍然是滿分100,滿分考生和有1/2與1/3答題成功機率的考生的分數比例會從原始的6比3比2,改變成約14比4比1。顯然中等程度考生的分數被倒扣機制拉低了。

以前唸書時,老師會用的一個調分機制是原始分數開根號再乘以10。雖然這個調分規則有戲謔的成分在,但似乎可以用來校正倒扣機制所造成的分數分佈。上述例子的分數31.25分和8.33分,經過這個規則處理後,會各變成55.9分與28.68分,比較接近無倒扣機制時的分數。至於胡亂選答考生的分數則不受影響。

2021年10月1日 星期五

時間不夠時準備考試的一種策略

記得以前考試前夕,常常會發現時間不夠,不可能唸得完全部要考的範圍內容。那時常常在兩個策略間掙扎。一是利用剩餘的時間將全部要考的範圍全部掃過一遍,這樣至少不會看不懂題目。另一個策略是穩扎穩打,務必確保看過部分的出題都會答,雖然這樣可能只看到考試範圍一半的內容。

到底哪種策略比較好呢。這應該跟題目的題型(選擇題還是計算題)、出題範圍涵蓋的完整度(每個單元都有出題還是偏重少數幾個單元)以及計分方式(有無倒扣、是否有部分分數)有關。

如果是選擇題(如單選四選一)、不倒扣、且出題涵蓋完整均勻的話,我的推論是第二種策略較好。我的推論基於下面幾項假設。一、將要考的範圍內容全部掃過一遍的話,因為沒辦法看得仔細,在考試時無法讓你確定問題的答案,只能讓你縮小答案的範圍(例如刪除那些你沒看過、顯然是亂入的答案選項)。二、只精讀考試範圍一半的內容的話,會讓你答對此範圍的全部題目,但剩下一半的題目你完全都不會。

我假設第一種策略的效應是每一題都可以讓你在兩個選項中挑一個(而且其中一個選項是正確的),如此一來的分數期望值會是50分。至於第二種策略,會讓你拿到一半題目札實的50分,還有剩下一半題目亂猜的期望分數12.5分(四選一單選不倒扣),總共是62.5分。所以結論是,第二種策略比較好。

事實上,就算是答錯會倒扣分數,仍然是第二種策略較佳。原因是第一種策略有50%的機率會答錯倒扣,而第二種策略答錯倒扣的機率只有37.5%。