Hubinger 等人提出「mesa-optimization」概念:經由訓練形成的模型,可能在內部成為一個會自行最佳化的子系統,其實際追求的目標不一定等於訓練時的外部損失函數。這使得外部對齊(訓練目標是否正確)與內部對齊(模型內部形成的目標是否一致)必須分開研究。論文是理論性風險分析,不代表所有大型模型都已形成具自主目標的內部最佳化器。

思與行

  • 在安全文件中清楚區分已觀察到的行為、模型機制假說與尚未驗證的理論風險。
  • 將內部機制研究與行為壓力測試結合,而不是僅依賴其中一種方法。

參考