zh 中文 ✓ en English

🏷️ 标签

#Transformer

共找到 5 条相关内容： 3 篇学习路径 2 篇论文

📚 学习路径

注意力机制详解：从直觉到完整推导

Attention is all you need. 这一篇带你从"它到底在干嘛"到"它的每行公式"，一次性吃透 Transformer 的核心。

完整 Transformer 架构：把所有积木组合起来

注意力是核心，但 Transformer 还有位置编码、FFN、残差连接、LayerNorm。这一篇把它们组合成一个完整可跑的模型。

BERT vs GPT：两大 LLM 流派的本质区别

都是 Transformer，为啥一个做"理解"一个做"生成"？两者的训练目标差一个根本性的设计选择。

📑 论文精读

Attention Is All You Need

提出 Transformer 架构——完全抛弃 RNN，只用注意力机制。这篇 8 页的论文催生了今天所有大模型。被引 12 万+。

Video generation models as world simulators (Sora)

OpenAI 的视频生成模型 Sora——把视频切成"时空 patch"用 Transformer 做扩散。1 分钟高质量视频成为可能，"AI 世界模拟器"露端倪。

← 回到所有标签