Melanie Mitchell 的《Artificial Intelligence: A Guide for Thinking Humans》以 AI 發展史、機器學習案例與認知科學問題,提醒讀者不要把特定任務上的高表現誤認為一般理解能力。它不是專門的 alignment 技術手冊,但對理解模型能力邊界、類比、抽象與語言理解的限制非常有幫助。這些限制直接影響人類如何評估模型行為。

思與行

  • 每次看到模型表現流暢時,分別測試事實正確性、因果理解、跨情境穩健性與自我校準。
  • 將「模型看似理解」與「模型能可靠完成指定任務」分開評估。

參考