模型在訓練環境中表現良好,不代表它能在新使用者、新文化、新制度或新任務中維持相同品質。訓練資料與部署情境的差異,會暴露原本未被察覺的假設,例如語言慣例、資源條件或對「成功」的定義。穩健對齊需要在多種情境中測試,並允許系統在超出能力範圍時停下來。
思與行
- 將部署地區、語言、使用者群體與任務型態列成情境矩陣,找出測試空白。
- 對高風險情境設定拒答、轉介或人工覆核的觸發門檻。
參考
- 文獻來源:Concrete_Problems_in_AI_Safety_Amodei_et_al_2016把 distributional shift 列為核心安全問題;Inverse_Reward_Design_HadfieldMenell_et_al_2017說明訓練情境會影響對獎勵設計的解讀。
- 延伸脈絡:不同地區的治理框架反映不同的公共目標、多語言公平必須檢查語料代表性與錯誤成本。