🦅 大模型 · 6 分钟
LLM 怎么"选下一个词"
LLM 每次都给你一个 候选词的概率分布。
选哪个？由 temperature / top-k / top-p 这几个参数决定。
调一下，看它对输出"多样性"的影响。
提示词（看模型怎么续写）
候选词及概率（已按 temperature 缩放）
连续采样输出（每次都按当前分布抽一次）：
📌 经验值
• 严谨任务（代码、SQL）：T=0.0-0.3
• 通用对话：T=0.7
• 创意写作：T=0.9-1.2
• 实验性：T > 1.5（会胡言乱语）
🌡
temperature
把 logits 除以 T 再 softmax。T < 1 让分布更尖锐（最高概率词更可能被选）；T > 1 让分布更平（罕见词也有机会）。
🔢
top-k
只保留概率最高的 k 个词，其它的概率清零。k=1 退化为"贪婪"（永远选最高）。
📊
top-p (nucleus)
按概率从高到低累加，累加到 p（如 0.9）时停止。常被认为比 top-k 更鲁棒——分布尖锐时自动收紧，分布平时自动放宽。