演算法公平並不存在一個可以在所有情境通用的數學指標。不同公平定義可能衝突,整體準確率也可能掩蓋某些群體承受的嚴重錯誤。公平評估至少要交代:系統要公平地分配什麼、比較哪些群體、錯誤成本落在誰身上,以及誰有權決定可接受的取捨。Gender Shades研究證明人臉分類錯誤會沿種族與性別交織分布清楚展示平均表現不足以描述群體差異。

技術團隊可以報告多組指標與不確定性,但指標選擇必須由受影響者、領域專家與公共制度共同審議。公平是實質正義問題,不是把一個分數調到及格。

思與行

  • 邀請受影響群體排序假陽性、假陰性與延遲處理的傷害程度。
  • 公開報告指標衝突,避免只呈現最有利的單一統計結果。

參考