Hubinger 等人提出「mesa-optimization」概念:經由訓練形成的模型,可能在內部成為一個會自行最佳化的子系統,其實際追求的目標不一定等於訓練時的外部損失函數。這使得外部對齊(訓練目標是否正確)與內部對齊(模型內部形成的目標是否一致)必須分開研究。論文是理論性風險分析,不代表所有大型模型都已形成具自主目標的內部最佳化器。
思與行
- 在安全文件中清楚區分已觀察到的行為、模型機制假說與尚未驗證的理論風險。
- 將內部機制研究與行為壓力測試結合,而不是僅依賴其中一種方法。
參考
- 原始論文:Risks from Learned Optimization in Advanced Machine Learning Systems,Hubinger et al., 2019。
- 延伸研究:外在對齊與內在對齊是不同的失敗來源、可解釋性不能單獨證明模型安全。