當預測模型被用於分流、風險評估或資源排序時,錯誤不再只是統計誤差,而會影響誰先獲得服務、誰被過度監控以及誰被忽略。應同時檢查各群體的校準、錯誤率、資料缺口、申訴程序,以及模型是否讓原有資源不平等更加嚴重。
思與行
- 為模型列出不同錯誤類型的實際後果,與服務使用者共同排序。
- 比較各語言、年齡、性別與社會經濟群體的效能與校準;在資料不足時明確限制用途。
- 將模型拒用與人工覆核設計為正式流程,而非臨時例外。
當預測模型被用於分流、風險評估或資源排序時,錯誤不再只是統計誤差,而會影響誰先獲得服務、誰被過度監控以及誰被忽略。應同時檢查各群體的校準、錯誤率、資料缺口、申訴程序,以及模型是否讓原有資源不平等更加嚴重。