#前沿

DeepSeek 用 $5.6M 训出接近 GPT-4 的开源模型——震动了整个行业。证明"开源 + 高效工程 + 创新算法" 能挑战美国巨头。

Mamba 团队的反击——证明 Transformer 和 SSM 在数学上等价，并提出更快的 Mamba 2 架构。SSM 路线的关键升级。

挑战 Transformer 霸权的"选择性状态空间模型"——线性复杂度处理超长序列，理论上能取代 Transformer。2024 年最热的架构研究之一。

推理时计算的范式转变——让 LLM 在回答前花更多时间"思考"，复杂问题准确率从 20% 升到 80%。开启了"推理模型"时代。

Phi-3 mini 仅 3.8B 参数——但在多项 benchmark 上接近 GPT-3.5。证明了"小模型 + 极致数据质量"是另一条路。

OpenAI 的视频生成模型 Sora——把视频切成"时空 patch"用 Transformer 做扩散。1 分钟高质量视频成为可能，"AI 世界模拟器"露端倪。