Attention Is All You Need · ResNet · Diffusion · LoRA · Scaling Laws...https://ai.xwebgame.com/zh-cnhttps://ai.xwebgame.com/papers/scaling-laws/https://ai.xwebgame.com/papers/scaling-laws/OpenAI 2020 年的奠基性发现——"模型损失随参数、数据、算力呈幂律下降"。这条曲线是 GPT-3、GPT-4 等大模型投资的理论基础。Fri, 28 Aug 2026 00:00:00 GMTScaling Laws理论OpenAI必读https://ai.xwebgame.com/papers/lora/https://ai.xwebgame.com/papers/lora/Microsoft 提出 LoRA—只训 0.01% 参数 + 不损失性能 = 让"消费级 GPU 微调大模型"成为可能。开源 LLM 微调生态的关键技术。Thu, 27 Aug 2026 00:00:00 GMTLoRA微调PEFT必读https://ai.xwebgame.com/papers/chinchilla/https://ai.xwebgame.com/papers/chinchilla/DeepMind 证明 GPT-3 等大模型"参数太多、数据太少"。给出了"算力如何在参数和数据间最优分配"的新法则——重塑了大模型训练。Wed, 26 Aug 2026 00:00:00 GMTChinchillaScaling Laws训练必读https://ai.xwebgame.com/papers/dpo/https://ai.xwebgame.com/papers/dpo/把 RLHF 简化成一个简单的损失函数——跳过奖励模型和 PPO，效果接近，工程简单 10 倍。开源 LLM 对齐的事实标准。Tue, 25 Aug 2026 00:00:00 GMTDPORLHF对齐必读https://ai.xwebgame.com/papers/the-pile/https://ai.xwebgame.com/papers/the-pile/EleutherAI 开源的 800GB 训练数据集——第一个真正可用的"GPT-3 级别"开源训练数据。开源 LLM 革命的"砖头"。Fri, 21 Aug 2026 00:00:00 GMTThe Pile数据集开源基础https://ai.xwebgame.com/papers/llava/https://ai.xwebgame.com/papers/llava/把 CLIP + LLaMA + 指令微调 缝合起来——开源多模态指令模型的起点。让"图像+对话"AI 进入开源社区。Thu, 20 Aug 2026 00:00:00 GMTLLaVA多模态开源指令微调https://ai.xwebgame.com/papers/mamba-2/https://ai.xwebgame.com/papers/mamba-2/Mamba 团队的反击——证明 Transformer 和 SSM 在数学上等价，并提出更快的 Mamba 2 架构。SSM 路线的关键升级。Wed, 19 Aug 2026 00:00:00 GMTMambaSSM架构前沿https://ai.xwebgame.com/papers/truthfulqa/https://ai.xwebgame.com/papers/truthfulqa/一个测 LLM "是否真实"的 benchmark。第一次系统揭示：模型越大，反而在某些常见误区上越错。Tue, 18 Aug 2026 00:00:00 GMTTruthfulQA评估Benchmark幻觉https://ai.xwebgame.com/papers/gemini/https://ai.xwebgame.com/papers/gemini/Google 用 6 年时间 + 1 万张 TPU 训出的"原生多模态"大模型。1M+ 上下文窗口，是 GPT-4 的最大挑战者之一。Fri, 14 Aug 2026 00:00:00 GMTGeminiGoogle多模态大模型https://ai.xwebgame.com/papers/sam/https://ai.xwebgame.com/papers/sam/Meta 的"图像分割基础模型"——点一下就能分割任何物体。开源 + 1100 万张图 + 1 亿 mask，让"通用分割"成为现实。Thu, 13 Aug 2026 00:00:00 GMTSAM分割视觉基础模型必读https://ai.xwebgame.com/papers/whisper/https://ai.xwebgame.com/papers/whisper/OpenAI 用 68 万小时弱监督音频训出最强 ASR。开源后统治整个开源语音识别市场。99 种语言通吃。Wed, 12 Aug 2026 00:00:00 GMTWhisperASR语音开源必读https://ai.xwebgame.com/papers/deepseek/https://ai.xwebgame.com/papers/deepseek/DeepSeek 用 $5.6M 训出接近 GPT-4 的开源模型——震动了整个行业。证明"开源 + 高效工程 + 创新算法" 能挑战美国巨头。Tue, 11 Aug 2026 00:00:00 GMTDeepSeek开源推理前沿必读https://ai.xwebgame.com/papers/phi-3/https://ai.xwebgame.com/papers/phi-3/Phi-3 mini 仅 3.8B 参数——但在多项 benchmark 上接近 GPT-3.5。证明了"小模型 + 极致数据质量"是另一条路。Fri, 07 Aug 2026 00:00:00 GMTPhi-3小模型数据质量前沿https://ai.xwebgame.com/papers/llama-3/https://ai.xwebgame.com/papers/llama-3/Meta 公开了 Llama 3 405B 的完整训练细节——开源模型首次达到 GPT-4 级别。92 页技术报告揭秘大模型训练的工程实战。Thu, 06 Aug 2026 00:00:00 GMTLlama开源大模型必读https://ai.xwebgame.com/papers/sleeper-agents/https://ai.xwebgame.com/papers/sleeper-agents/Anthropic 证明：可以训练一个"装好的"AI——表面对齐，遇到特定触发词激活恶意行为。而且当前所有对齐方法都检测不出来。Wed, 05 Aug 2026 00:00:00 GMTSleeper Agents对齐AI 安全警告https://ai.xwebgame.com/papers/openai-o1/https://ai.xwebgame.com/papers/openai-o1/推理时计算的范式转变——让 LLM 在回答前花更多时间"思考"，复杂问题准确率从 20% 升到 80%。开启了"推理模型"时代。Tue, 04 Aug 2026 00:00:00 GMTo1ReasoningCoT前沿必读https://ai.xwebgame.com/papers/sora/https://ai.xwebgame.com/papers/sora/OpenAI 的视频生成模型 Sora——把视频切成"时空 patch"用 Transformer 做扩散。1 分钟高质量视频成为可能，"AI 世界模拟器"露端倪。Fri, 31 Jul 2026 00:00:00 GMTSora视频生成DiffusionTransformer前沿https://ai.xwebgame.com/papers/flash-attention/https://ai.xwebgame.com/papers/flash-attention/通过感知 GPU 内存层级，让注意力计算快 2-4 倍 + 显存少 10 倍——而且数学上完全相同。所有现代 LLM 都用它。Thu, 30 Jul 2026 00:00:00 GMTFlashAttentionGPU系统优化必读https://ai.xwebgame.com/papers/constitutional-ai/https://ai.xwebgame.com/papers/constitutional-ai/Anthropic 提出的对齐新方法——让 AI 用"宪法原则"自评自改，跳过大量人类标注。Claude 的核心训练秘密。Wed, 29 Jul 2026 00:00:00 GMTConstitutional AI对齐Anthropic必读https://ai.xwebgame.com/papers/mamba/https://ai.xwebgame.com/papers/mamba/挑战 Transformer 霸权的"选择性状态空间模型"——线性复杂度处理超长序列，理论上能取代 Transformer。2024 年最热的架构研究之一。Tue, 28 Jul 2026 00:00:00 GMTMambaSSM架构前沿https://ai.xwebgame.com/papers/instruct-gpt/https://ai.xwebgame.com/papers/instruct-gpt/从 GPT-3 到 ChatGPT 的"桥梁"。提出 SFT + RLHF 三阶段训练让 LLM "听话"——这套流程定义了之后所有商业 LLM 的训练范式。Fri, 24 Jul 2026 00:00:00 GMTRLHFInstructGPT对齐ChatGPT必读https://ai.xwebgame.com/papers/alphafold2/https://ai.xwebgame.com/papers/alphafold2/DeepMind 用 Transformer 解决了 50 年的"蛋白质折叠"问题。预测了所有已知生物的 2 亿个蛋白质结构。2024 年诺贝尔化学奖。Thu, 23 Jul 2026 00:00:00 GMTAlphaFoldAI for Science蛋白质诺贝尔奖必读https://ai.xwebgame.com/papers/bert/https://ai.xwebgame.com/papers/bert/2018 年的 NLP 核爆。提出 Masked Language Modeling + 双向 Transformer，让"预训练 + 微调"成为 NLP 主流范式。Wed, 22 Jul 2026 00:00:00 GMTBERTNLP预训练必读https://ai.xwebgame.com/papers/clip/https://ai.xwebgame.com/papers/clip/用 4 亿张"图 + 描述"对训练——让图像 encoder 和文本 encoder 在同一向量空间对齐。从此 AI 能"看图说话"，"看图作画"。Tue, 21 Jul 2026 00:00:00 GMTCLIP多模态对比学习必读https://ai.xwebgame.com/papers/attention-is-all-you-need/https://ai.xwebgame.com/papers/attention-is-all-you-need/提出 Transformer 架构——完全抛弃 RNN，只用注意力机制。这篇 8 页的论文催生了今天所有大模型。被引 12 万+。Fri, 17 Jul 2026 00:00:00 GMTTransformerAttentionNLP必读https://ai.xwebgame.com/papers/ddpm/https://ai.xwebgame.com/papers/ddpm/提出 DDPM —— 用"加噪 → 去噪"的范式做图像生成。Stable Diffusion、Sora 都基于这个思路。Fri, 17 Jul 2026 00:00:00 GMTDiffusion生成模型图像必读https://ai.xwebgame.com/papers/gpt-3/https://ai.xwebgame.com/papers/gpt-3/175B 参数的 GPT-3 展示了"in-context learning"——不微调，只给几个例子就能学会新任务。这篇论文重新定义了人们对 LLM 的预期。Fri, 17 Jul 2026 00:00:00 GMTGPT-3LLMFew-shot必读https://ai.xwebgame.com/papers/resnet/https://ai.xwebgame.com/papers/resnet/提出残差连接（skip connection），让神经网络能训到 100+ 层。CVPR 2016 最佳论文，引用 25 万+，至今所有大模型仍在用这个技巧。Fri, 17 Jul 2026 00:00:00 GMTCNNResNet残差连接视觉必读