research · 2026/5/25 12:00:00
DeepMind 提出 Titan-Mem 架构：把无穷记忆装进 Transformer
Google DeepMind 发布新架构 Titan-Mem，通过显式记忆模块在不重训的情况下持续学习，可视为对 RAG 的根本性替代。
来源：Google DeepMind
查看原文 →
Google DeepMind 团队提出 Titan-Mem 架构，把传统 Transformer 的”无状态”特性彻底改写——
核心思想是引入一个可在推理时持续更新的外部记忆模块：
- 训练时分离”短期注意力”（处理当前上下文）和”长期记忆”（持久化存储）
- 推理时新输入会自动写入记忆，下次同主题对话时可以”想起”
- 记忆可被显式清空、迁移到另一个模型
测试结果在 Long Range Arena 上比 Llama-3 70B 提升 11.3%，在 NeedleInHaystack 32M 测试上准确率 99.8%。
编辑批注：这是把”注意力”和”记忆”做了显式区分——类似人脑的工作记忆和长期记忆。如果工程化得好，可能让 RAG 这种”外挂检索”的方案显得过时。