人類相容性需要機器對人類偏好保持不確定

若系統假設自己完全知道人類目標，便可能在規格不完整時自信地採取有害行動。保留不確定性讓系統有動機觀察、詢問、接受修正並避免不可逆的過度承諾。這並不等於讓 AI 隨意猜測，也不代表它能自動解決價值衝突；不確定性必須與適當的詢問程序、權限界線與人類治理配合。

思與行

• 設計任務澄清流程，對含糊、互相矛盾或高風險要求優先提問。
• 評估系統是否能誠實呈現不知道，而不是以流暢語言填補證據缺口。

參考

• 文獻來源：Cooperative_Inverse_Reinforcement_Learning_HadfieldMenell_et_al_2016、Interview_Stuart_Russell_Quanta_2015與Book_Human_Compatible_Stuart_Russell_2019。
• 延伸脈絡：人類偏好只是價值的局部證據、可修正性是AI接受人類監督的制度與技術條件。