Many-Facet Rasch Measurement(MFRM,多面向 Rasch 測量)將傳統人員與題目之外的評分者、任務、評分準則或測量時間等面向納入模型。以作文評分為例,模型可估計學生能力、作文題目難度、評分者嚴格度與評分準則難度,讓觀察分數中的不同來源有機會被拆解。

多面向分析並不能自動消除評分偏差。評分者是否經過訓練、評分設計是否交叉、是否有足夠共同評分資料,都會影響各面向能否被識別與比較。模型結果應與評分者討論、錨定樣本及評分規準改進連結。

思與行

  • 設計評分研究時安排部分共同作品由多位評分者評分,建立可識別的連結結構。
  • 針對異常嚴格或寬鬆的評分者,回看具體作品與評分規準,不只將其標成「偏差」。

參考