模型可以忠實執行機構目標,卻仍延續制度本身的歧視或權力不平等。例如,若歷史資料反映過去排除,系統追求預測準確可能把這些差異再次固定。因而,公平不只問模型是否忠實複製既有決策,也要問制度目標是否正當、錯誤如何分配、被分類者是否有權挑戰。

思與行

  • 對高影響應用進行制度層次審查,評估是否應該自動化,而不只如何降低偏差。
  • 將錯誤成本、申訴成功率與實際受益分布納入評估,而不只報告總體準確率。

參考