讓AI系統保留拒絕與暫停的能力

一個好的 AI 系統不應被設計成無論如何都要給出答案或完成任務。當證據不足、目標衝突、權限不足或可能造成不可逆傷害時，暫停、拒絕或轉交人工可能是更符合使用者與公共利益的行動。這需要產品介面與組織 KPI 支持，否則系統即使技術上可以拒絕，也可能被商業壓力逼著繼續執行。

思與行

• 行動：為高風險任務定義暫停條件，並測試系統能否清楚說明原因與下一步。
• 行動：將「安全暫停」納入產品成功指標，而非只計算完成率。
• 延伸：研究拒絕權是否應被視為基本的可修正性保障。

參考

• 概念依據：人類相容性需要機器對人類偏好保持不確定、可修正性是AI接受人類監督的制度與技術條件。
• 研究依據：Cooperative_Inverse_Reinforcement_Learning_HadfieldMenell_et_al_2016、Book_Human_Compatible_Stuart_Russell_2019。