model · 2025/4/5 12:00:00
Meta 开源 Llama 4：原生多模态 MoE，Scout 上下文达 1000 万 token
Meta 发布 Llama 4 Scout 与 Maverick——首批开放权重的原生多模态 MoE 模型。Scout 上下文达 1000 万 token，万亿级的 Behemoth 仍在训练中。
来源：Meta
查看原文 →
Meta 发布 Llama 4 系列——首批「开放权重的原生多模态」MoE（混合专家）模型，可在 llama.com 与 Hugging Face 下载。
三款模型：
- Llama 4 Scout：17B 激活 / 109B 总参数、16 个专家，1000 万 token 上下文
- Llama 4 Maverick：17B 激活 / 400B 总参数、128 个专家
- Llama 4 Behemoth（预览，仍在训练）：288B 激活 / 近 2 万亿总参数、16 个专家
编辑批注：把「原生多模态 + MoE + 超长上下文」一次性带进开源阵营，是 Llama 4 最大的看点。