Emily Bender、Timnit Gebru、Angelina McMillan-Major 與 Shmargaret Shmitchell 於 2021 年發表〈On the Dangers of Stochastic Parrots〉,探討大型語言模型能否只靠規模擴張而持續進步,以及其環境、財務、資料與社會風險。作者建議先評估研究目的與成本,重視資料集策展與文件化,並鼓勵超越「越大越好」的研究方向。

文章提出的「隨機鸚鵡」比喻提醒讀者,語言模型可以生成看似流暢的文字,卻不等於具有人類式理解或對內容負責。它是重要批判文本,但也應與後續模型能力、安全研究及不同技術路徑並讀,避免把一篇論文當成所有模型的定論。

思與行

  • 在提出擴大模型規模前,先寫清楚研究目的、替代方案、資料品質與環境成本。
  • 將此文與後續模型能力、安全研究並讀,區分作者的批判主張與今日已更新的實證。

參考