Chang、Su 與 Liu 於 2024 年以 Rasch 模型分析聊天機器人在臺灣精神科醫師執照考試中的表現。研究以考題作為測量框架，將不同聊天機器人的答題結果放入共同題目難度尺度下理解。這類研究把 Rasch 的「人—題」比較架構延伸到人類專業考生與人工智慧系統的表現比較。
解讀這類研究時必須小心：聊天機器人不是與人類相同的受試者族群，輸入提示、模型版本、抽樣策略、工具使用與考試條件都可能改變結果。Rasch 的題目校準可提供共同參照，但不能單憑量尺位置就宣稱兩種系統具有相同的知識、推理或臨床能力。
思與行
- 對 AI 測驗研究完整記錄模型版本、提示詞、重試規則、工具權限與題目洩漏控制。
- 將 Rasch 的測量結果與錯誤類型、內容分析及外部效標並列，不以單一能力估計取代完整評估。
參考
- 研究全文：Yu Chang, Chu-Yun Su & Yi-Chun Liu, “Assessing the Performance of Chatbots on the Taiwan Psychiatry Licensing Examination Using the Rasch Model,” Healthcare（2024）。PMC 全文；DOI
- 延伸概念：Rasch模型提供共同題目尺度但不會自動保證構念相同、測量設計必須與實際使用情境相符。