Chandio、Pirwani Dar 與 Nithyanand(2024)研究 YouTube 推薦系統的計算稽核方法,指出研究者做出的推論會受到多項設計選擇影響,例如是否使用登入帳號、如何建立測試使用者、如何安排觀看行為,以及如何蒐集推薦結果。這篇論文的主要貢獻不是宣稱某種推薦偏誤普遍存在,而是指出:若稽核設計不充分,研究者可能把方法造成的差異誤認為平台演算法的穩定特徵。
對過濾氣泡研究而言,這是一個方法論上的關鍵提醒。推薦系統是動態、依情境調整的服務,稽核只能在明確的測試條件下描述觀察結果,不能直接把一次測試外推成平台的永久特性。
思與行
- 建立一份稽核紀錄表,至少記錄日期、地區、登入狀態、帳號年齡、觀看歷史、搜尋詞、裝置與蒐集時間。
- 將研究結論寫成「在這組測試條件下觀察到……」,而非「平台一定會……」。
- 以推薦系統稽核必須公開情境與可重現步驟作為未來閱讀演算法研究的檢核清單。
參考
- 研究原文:How Audit Methods Impact Our Understanding of YouTube’s Recommendation Systems,Sarmad Chandio、Muhammad Daniyal Pirwani Dar、Rishab Nithyanand,Proceedings of the International AAAI Conference on Web and Social Media,18(1),2024,241–253。
- 延伸脈絡:YouTube 錯假資訊推薦氣泡可能形成也可能被反證內容打破、平台推薦系統的效果必須依目標函數與平台脈絡評估。