表演、口語、寫作、工作坊成果或實作評量常由多位評分者給分。若評分者嚴格度不同,受評者的觀察分數就同時混合表現與評分者傾向。MFRM 可以將評分者當作一個面向估計,但前提是評分設計包含足夠交叉評分與共同參照作品。

這類分析適合用來改善評分規準與培訓,而不是給評分者貼上好壞標籤。評分者可能因任務、準則或作品類型而呈現不同模式,應回看具體評分證據。

思與行

  • 設計評量時加入共同錨定作品,讓不同評分者的評分可連結。
  • 用評分者嚴格度、評分者×準則互動與作品討論來改善培訓。

參考