逆向獎勵設計（Inverse Reward Design, IRD）指出，設計者提供的獎勵函數並不等於其真正想要的目標；它更像是設計者在特定訓練環境下所留下的一項觀察。系統應結合設計情境，推論獎勵函數背後的真實意圖，並在陌生情境中保持風險敏感。這個想法把「規格可能不完整」納入學習架構，而不是假設工程師能一次寫出完美目標。
思與行
- 對關鍵獎勵函數建立「設計情境說明」：哪些案例曾被考慮、哪些副作用未被測試、哪些假設可能失效。
- 當系統遇到訓練範圍外的新情境時，測試它能否降低信心、尋求確認或採取可逆行動。
參考
- 原始論文：Inverse Reward Design，Hadfield-Menell et al., NeurIPS 2017。
- 延伸研究：獎勵函數只是意圖的代理指標而不是意圖本身、分布偏移會暴露訓練目標的隱藏假設。