Aryadoust、Ng 與 Sayama 回顧 21 本應用語言學期刊中的 215 篇 Rasch 研究,整理出七種 Rasch 模型與 23 種軟體的使用情況。多面向 Rasch 測量與 Facets 在樣本中相當常見;寫作是被研究最多的語言技能。值得注意的是,只有 57 篇報告單向度檢查,只有 19 篇報告局部獨立性檢查,顯示研究報告可能偏重輸出指標,卻沒有充分交代模型前提。
這篇回顧的重要訊息是:使用 Rasch 軟體不等於完成 Rasch 分析。若沒有交代構念界定、維度、局部獨立性、適配、評分者與類別功能,讀者便無法判斷量尺的解釋是否站得住腳。
思與行
- 建立 Rasch 報告檢核表,將單向度、局部獨立性、類別功能、DIF、適配與 targeting 列為必要項目。
- 閱讀語言測驗論文時,記錄研究有沒有報告不符合模型的結果,而不只摘錄成功的信效度結論。
參考
- 研究回顧:Vahid Aryadoust, Li Ying Ng & Hiroki Sayama, “A comprehensive review of Rasch measurement in language assessment: Recommendations and guidelines for research,” Language Testing(2021;線上先刊 2020)。DOI
- 延伸概念:Rasch分析必須同時檢驗模型假設與資料適配、模型適配不等於整體效度已獲證明。