Mistral 7B

为什么这篇重要

2023 年 9 月 —— Mistral AI 横空出世：

一个 7B 模型，性能超过 LLaMA-2 13B，许多任务上接近 LLaMA-2 70B。

而且 Apache 2.0——商用无障碍。

这彻底改变了开源 LLM 格局：

• 小公司能跑得起
• 个人能微调能部署
• “70B 才能商用”的认知被打破

三个关键工程优化

1. Grouped-Query Attention（GQA）

标准 Multi-Head Attention 每个 head 都有自己的 K、V → 推理时 KV cache 巨大。

GQA 让多个 Q head 共享一组 K、V：

普通 MHA：32 Q head + 32 KV head
GQA：    32 Q head +  8 KV head  ← Mistral

效果：

• KV cache 缩小 4×
• 推理速度提升明显
• 质量几乎无损

2. Sliding Window Attention（SWA）

每个 token 只看前 4096 个 token —— 不是全序列。

标准 attention：O(n²) ← 长序列爆炸
SWA：         O(n × w) ← w=4096

虽然单层只看窗口内，但层数叠加让信息传得更远（类似 CNN 感受野）。

• 8 层 × 4096 窗口 ≈ 实际感受野 32k token
• 推理时内存 / 计算大幅省

3. Rolling Buffer KV Cache

配合 SWA 的内存管理 trick —— KV cache 不会无限增长，循环覆盖旧的。

内存固定 = 窗口大小 × layers
不管输入多长，开销恒定。

性能数据

模型	MMLU	HumanEval	GSM8K	通用
LLaMA-2 7B	44.4	12.8	14.6	—
Mistral 7B	60.1	30.5	52.1	大胜
LLaMA-2 13B	55.6	18.3	28.7	—
LLaMA-2 70B	69.7	30.5	56.8	—

7B 干翻 13B，逼近 70B——这是开源界的”质变”。

为什么这么强？社区分析认为：

1. 更好的数据混合（更多代码、数学、多语言）
2. GQA + SWA 工程优化让训练更稳
3. 更长的 context 训练（8k）
4. 可能还有未公开的 tricks

后续：Mistral 家族

模型	时间	特点
Mistral 7B	2023-09	起点，开源
Mixtral 8x7B	2023-12	MoE，激活 13B，效果接近 70B
Mistral 7B v0.2	2024-03	32k context
Mistral Large	2024-02	闭源，对标 GPT-4
Mistral Large 2	2024-07	123B，开源 weights
Codestral	2024-05	代码专用 22B
Mistral Nemo	2024-07	12B + NVIDIA 合作
Mistral Small 3	2025-01	24B，多模态

Mistral 从”小公司发布开源杀手”逐渐转向闭源 + 开源混合战略。

Mixtral 8x7B —— Mistral 的封神之作

2023 年 12 月 Mistral 发布 Mixtral —— MoE（混合专家）开源。

8 个 7B 专家
每个 token 选 2 个专家激活
总参数 46.7B
激活参数 12.9B

→ 推理速度 = 13B 模型
→ 质量 ≈ 70B 模型

详见 L3-08 / 论文精读 DeepSeek V3 / R1。

工业采用

Mistral 7B 是最广泛部署的开源 LLM 之一：

• HuggingFace 下载量 #1
• 微调版本：数千个
• 商业产品大量用它做内核（特别是欧洲公司，GDPR 友好）
• 个人开发者首选（消费级 GPU 跑得动）

推荐配套阅读

• HelloAI: L4-01 LLM 训练 + L3-07 注意力变体
• Mixtral 论文（2401.04088）
• LLaMA 3 论文 —— Meta 的反击
• DeepSeek V3 —— 中国版的 MoE 顶峰