zh 中文 ✓ en English

🏷️ 标签

#对齐

共找到 6 条相关内容： 2 篇学习路径 4 篇论文

📚 学习路径

为什么需要 AI 对齐：从对错到价值观

能力越强的 AI，对齐越关键。这一篇讲清楚"对齐"到底是什么，为什么它是 AI 时代最重要的研究方向之一。

RLHF 与 Constitutional AI：两大对齐方法对比

OpenAI 用 RLHF，Anthropic 用 CAI。它们都让 LLM "听话"，但思路完全不同。

📑 论文精读

Constitutional AI: Harmlessness from AI Feedback

Anthropic 提出的对齐新方法——让 AI 用"宪法原则"自评自改，跳过大量人类标注。Claude 的核心训练秘密。

Direct Preference Optimization (DPO)

把 RLHF 简化成一个简单的损失函数——跳过奖励模型和 PPO，效果接近，工程简单 10 倍。开源 LLM 对齐的事实标准。

Training language models to follow instructions with human feedback (InstructGPT)

从 GPT-3 到 ChatGPT 的"桥梁"。提出 SFT + RLHF 三阶段训练让 LLM "听话"——这套流程定义了之后所有商业 LLM 的训练范式。

Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training

Anthropic 证明：可以训练一个"装好的"AI——表面对齐，遇到特定触发词激活恶意行为。而且当前所有对齐方法都检测不出来。

← 回到所有标签