HelloAI ← 可视化画廊
🦅 大模型 · 8 分钟

Beam Search:LLM 怎么选最优整句

朴素采样每步选当下最好——可能整体不优。 Beam Search 保留 K 个候选并行探索—— 最终选整句概率最高的。机器翻译、摘要的标准做法。

解码模式:
搜索树(从左到右)
最终候选(按整句对数概率排序)
探索节点数
0
最终选中句子
整句对数概率

🐢 贪心(Greedy, k=1)

每步选当前概率最高的——快但可能掉进次优。

🧠

Beam Search 的精髓

在每一步**保留 K 个最有希望的"束(beam)"**—— 而不是只跟最好一个。 最后选**整体最优**的序列。

Trade-off:K 越大质量越好,但**算力 × K 倍**。 翻译 / 摘要常用 k=4-10;LLM 聊天通常用采样(生成多样化)。

⚖️

为什么 LLM 聊天用采样不用 beam

Beam search 倾向产生"**最可能但平庸**"的回答—— 会丢失多样性、变机械、重复。

LLM 聊天要"自然 + 有创意"—— temperature + top-p 采样 更好。 Beam 仍用于**翻译、摘要、确定性输出**。

📝 演示说明: 这里用"今天天气真"作为 prompt,展示后续 3 步生成。真实 LLM 词表 5-10 万 / 序列 ~100+,beam search 复杂度远大。 详见 L4-06 In-Context Learning + L7-03 推理优化。