zh 中文 ✓ en English

🏷️ 标签

#RLHF

共找到 4 条相关内容： 2 篇学习路径 2 篇论文

📚 学习路径

LLM 是怎么炼成的：Pretrain → SFT → RLHF 全流程

"训练一个 ChatGPT" 不是一步，是三步。每一步用完全不同的数据和目标。看完你能跟工程师对话。

RLHF 与 Constitutional AI：两大对齐方法对比

OpenAI 用 RLHF，Anthropic 用 CAI。它们都让 LLM "听话"，但思路完全不同。

📑 论文精读

Direct Preference Optimization (DPO)

把 RLHF 简化成一个简单的损失函数——跳过奖励模型和 PPO，效果接近，工程简单 10 倍。开源 LLM 对齐的事实标准。

Training language models to follow instructions with human feedback (InstructGPT)

从 GPT-3 到 ChatGPT 的"桥梁"。提出 SFT + RLHF 三阶段训练让 LLM "听话"——这套流程定义了之后所有商业 LLM 的训练范式。

← 回到所有标签