當組織把單一指標當成最終目標,工作者與系統就會學會優化指標本身,而非指標原本要代表的公共利益。教育分數、客服滿意度、犯罪預測分數或內容互動率都可能偏離其原始目的。這不只是演算法的特殊問題,也是制度設計與績效管理的普遍風險。
思與行
- 對每個指標建立多面向檢查:結果品質、分配公平、外部性、長期影響與使用者自主。
- 定期檢視指標是否引發操弄、排除或不當激勵,並允許停用失真的指標。
參考
- 文獻來源:Specification_Gaming_DeepMind_2020展示規格遊戲;Concrete_Problems_in_AI_Safety_Amodei_et_al_2016提出避免 reward hacking。
- 延伸脈絡:獎勵函數只是意圖的代理指標而不是意圖本身、對齊既有制度可能讓不正義更有效率。