Reward model:從人類偏好比較或其他回饋資料學習、用來估計某個輸出或行為有多好的一種模型。獎勵模型是偏好式訓練的重要環節,但會繼承標註偏差與代理指標的限制。 雙向連結:AI回饋強化學習、RLAIF、RLHF、人類偏好、人類回饋強化學習、弱到強泛化、獎勵駭客、逆向獎勵設計。