The Llama 4 Herd: Scout, Maverick, Behemoth — Meta 的首个 MoE 家族
Meta 2025-04-05 发布 Llama 4 家族——Scout（17B 激活 / 16 专家 / 10M 上下文）、Maverick（17B 激活 / 128 专家）、Behemoth（288B 激活 / 16 专家 / 总 2T 参数）。Meta 首次用 MoE 架构，10M context 超越所有同期模型。Behemoth 作为 teacher model 用 codistillation 训出前两者。