將人工智慧系統與人類放在同一套測驗中比較時,題目難度可提供共同參照,但 AI 的輸出會受到模型版本、提示詞、工具存取、重試策略與測驗環境影響。若這些條件未被固定,估計到的差異未必只反映系統能力。

Rasch 可以協助校準題目與分析反應,但無法單獨回答 AI 是否具備人類相同的理解、推理或情境責任。應同步分析錯誤類型、解釋品質、穩定性與外部效標。

思與行

  • 每次 AI 測驗記錄模型版本、日期、提示詞、工具、抽樣與重試規則。
  • 將系統作答變異納入研究設計,避免把一次輸出當作固定能力。

參考