Amodei 等人把機器學習系統的事故風險整理為五項可研究問題：避免負面副作用、避免獎勵駭客、可擴展監督、安全探索，以及對分布偏移保持穩健。這篇論文的重要性，在於它把「AI 可能做壞事」轉化成具體工程問題，讓安全研究不必等到超級智慧出現才開始。它也提醒讀者：在設計目標、回饋與測試環境時，人類很容易漏掉系統可能利用的漏洞。
思與行
- 選一個日常 AI 應用，逐一檢查五種失敗模式，特別注意未被明確寫進規格的副作用。
- 將每種風險配上可觀察的失敗案例、偵測方法、責任人與緩解措施。
參考
- 原始論文：Concrete Problems in AI Safety，Amodei et al., 2016。
- 延伸研究：獎勵函數只是意圖的代理指標而不是意圖本身、分布偏移會暴露訓練目標的隱藏假設。