🏷️ 标签
#NLP
共找到 3 条相关内容： 3 篇论文
📑 论文精读
2017 🏆 2018 🏆 2013 🏆
Attention Is All You Need
提出 Transformer 架构——完全抛弃 RNN，只用注意力机制。这篇 8 页的论文催生了今天所有大模型。被引 12 万+。
BERT: Pre-training of Deep Bidirectional Transformers
2018 年的 NLP 核爆。提出 Masked Language Modeling + 双向 Transformer，让"预训练 + 微调"成为 NLP 主流范式。
Word2Vec: Efficient Estimation of Word Representations in Vector Space
Google 2013 年的 Word2Vec 让"词 → 向量"实用化。king - man + woman = queen 这种向量算术成为可能。是 NLP 一切现代工作的奠基性一步。