Many-Facet Rasch Measurement(MFRM,多面向 Rasch 測量)將傳統人員與題目之外的評分者、任務、評分準則或測量時間等面向納入模型。以作文評分為例,模型可估計學生能力、作文題目難度、評分者嚴格度與評分準則難度,讓觀察分數中的不同來源有機會被拆解。
多面向分析並不能自動消除評分偏差。評分者是否經過訓練、評分設計是否交叉、是否有足夠共同評分資料,都會影響各面向能否被識別與比較。模型結果應與評分者討論、錨定樣本及評分規準改進連結。
思與行
- 設計評分研究時安排部分共同作品由多位評分者評分,建立可識別的連結結構。
- 針對異常嚴格或寬鬆的評分者,回看具體作品與評分規準,不只將其標成「偏差」。
參考
- 語言評量回顧:語言評量文獻顯示Rasch研究常未完整報告核心假設檢查。
- 應用案例:語言作文評分的評分者效應可用多面向Rasch分析(見下方構想延伸與資料線索)。
- 相關概念:評分者嚴格度是多面向模型中的一種可估計面向、評分規準需要在評分者之間保持可理解與可執行。