Anthropic 的 Constitutional AI 研究以一組明確原則作為模型自我批評與修訂的依據，再使用 AI 回饋建立偏好模型，降低每個訓練步驟都需要人工標註的程度。這條路線常稱為 RLAIF（以 AI 回饋進行強化學習）。它讓規範文件可以進入訓練流程，但「憲章由誰制定、是否能代表受影響者、原則衝突時如何裁決」仍是無法由訓練技術本身解決的治理問題。
思與行
- 將憲章視為可版本管理、可公開討論的治理文件，標記每條原則的來源、適用範圍與衝突處理方式。
- 評估模型是否只學會引用原則，還是真正能在邊界情境中遵循原則並承認不確定性。
參考
- 原始研究：Constitutional AI: Harmlessness from AI Feedback，Bai et al., 2022。
- 延伸研究：價值多元要求可爭議而非假裝一致的治理程序、價值多元要求可爭議而非假裝一致的治理程序。