Modzuka、Long 與 Machaba 以 Rasch 分析南非 2012 年六年級年度國家評量的數學測驗,使用 546 名學生的作答資料。研究指出,該測驗對這一群受試者而言 targeting 不佳,亦即題目難度平均位置與學生能力平均位置未能適切對應。這會限制測驗對該群體的測量精度與可解釋性。

這個案例突顯一個容易被總分掩蓋的問題:測驗不只是題目是否合理,也包括題目難度範圍是否涵蓋受測者。若題目大多太難或太簡單,仍可能計算出分數,但分數在某些能力區段會缺乏足夠資訊。

思與行

  • 在測驗設計階段用預試樣本檢視 person-item map,並依預期受測者能力調整題目難度分布。
  • 報告 ceiling/floor 風險與量尺未涵蓋的區段,不只呈現整體平均與信度。

參考