Fan Liu 等,2024,〈Few-shot adaptation of multi-modal foundation models: a survey〉,Artificial Intelligence Review。Fan Liu 等人的 2024 年調查回顧多模態基礎模型的少樣本適應,聚焦視覺—語言模型如何從大規模圖文資料學習可遷移表徵,並應用於下游任務。作者指出,模型在一般網路圖文資料上可能表現良好,但在醫學影像、遙測等細分領域,效能仍可能不足。大量預訓練資料並不保證模型掌握專門領域的概念、影像慣例與錯誤成本。
思與行
- 在評估多模態模型時,將一般網路影像與專業領域資料分開測試,特別檢查少樣本與分布轉移情境。
- 把「能描述圖片」和「能在專業情境正確判斷」視為不同能力。