PAPERS

论文阅读清单

45 篇经典与前沿论文,每篇附中文一句话总结与 arXiv 链接。建议按主题读、配合代码复现,不要从头背到尾。

共 45 篇论文

Attention Is All You Need · 注意力机制就是你需要的一切arXiv ↗Transformer大模型

提出 Transformer,用自注意力取代循环与卷积,训练更易并行,成为现代大模型乃至多模态模型的通用骨架。

Vaswani et al. · 2017 · NeurIPS

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding · BERT:深度双向 Transformer 预训练arXiv ↗预训练NLP

用掩码语言模型做双向预训练,加一个输出层微调就能横扫多项 NLP 任务,开启预训练加微调范式,是理解大模型的第一块基石。

Devlin et al. · 2019 · NAACL

Language Models are Few-Shot Learners · 语言模型是少样本学习者arXiv ↗大模型上下文学习

1750 亿参数、不做梯度更新的上下文学习即可完成翻译、问答与算术,系统展示规模扩展带来的能力涌现,是 GPT 时代的宣言。

Brown et al. · 2020 · NeurIPS

Scaling Laws for Neural Language Models · 神经语言模型的缩放定律arXiv ↗缩放定律大模型

用大量实验总结损失随参数量、数据量与算力的幂律关系,并给出固定预算下的最优分配方案,是理解大模型训练与算力规划的必读。

Kaplan et al. · 2020 · arXiv

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models · 思维链提示激发大模型推理能力arXiv ↗思维链推理

只需在提示中给出几条带中间步骤的示例,就能让大模型在数学、常识与符号推理上大幅提升,是推理研究与应用的共同起点。

Wei et al. · 2022 · NeurIPS

Training language models to follow instructions with human feedback · 用人类反馈训练语言模型遵循指令arXiv ↗RLHF对齐

先用人类示范做监督微调,再用偏好排序做强化学习,让 13 亿参数模型比 1750 亿的 GPT-3 更受欢迎,奠定 RLHF 对齐范式。

Ouyang et al. · 2022 · NeurIPS

LLaMA: Open and Efficient Foundation Language Models · LLaMA:开放高效的基础语言模型arXiv ↗开源模型LLaMA

只用公开数据训练 7B 到 65B 模型,13B 就在多数基准上超过 175B 的 GPT-3,说明数据与训练充分性比参数量更关键,引爆开源生态。

Touvron et al. · 2023 · arXiv

DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning · DeepSeek-R1:用强化学习激励大模型推理arXiv ↗推理模型强化学习

用大规模强化学习让模型自发产生长思维链,推理能力逼近闭源最强模型,并开源权重与训练细节,是国产推理模型的关键里程碑。

DeepSeek-AI · 2025 · Nature

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks · 面向知识密集任务的检索增强生成arXiv ↗RAG检索增强

把预训练模型与外部稠密向量索引结合,先检索再生成,显著降低幻觉并支持知识实时更新,是今天所有 RAG 系统绕不开的奠基论文。

Lewis et al. · 2020 · NeurIPS

ReAct: Synergizing Reasoning and Acting in Language Models · ReAct:让语言模型协同推理与行动arXiv ↗Agent工具调用

让模型交替输出思考轨迹与工具动作,边推理边调用搜索或环境接口,大幅提升问答与决策表现,是 Agent 范式的奠基工作。

Yao et al. · 2023 · ICLR

Toolformer: Language Models Can Teach Themselves to Use Tools · Toolformer:语言模型自学使用工具arXiv ↗工具调用Agent

让模型自己标注何时该调用计算器、搜索或翻译接口,再用这些自监督样本微调,几乎不损语言能力就学会用工具,是工具学习经典。

Schick et al. · 2023 · NeurIPS

Reflexion: Language Agents with Verbal Reinforcement Learning · Reflexion:带语言强化学习的语言智能体arXiv ↗Agent自我反思

不更新权重,而是让智能体用自然语言复盘失败原因并写入记忆,后续尝试据此改进,HumanEval 通过率反超 GPT-4,是无梯度自我改进代表作。

Shinn et al. · 2023 · NeurIPS

Generative Agents: Interactive Simulacra of Human Behavior · 生成式智能体:人类行为的交互式模拟arXiv ↗Agent多智能体

用记忆流、反思与规划让 25 个 LLM 智能体在小镇中自发社交、传播消息并协调聚会,展示可信社会模拟架构,是 Agent 社会实验开山作。

Park et al. · 2023 · UIST

Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection · Self-RAG:通过自我反思学会检索、生成与批判arXiv ↗RAG自我反思

用反思标记让模型自主决定何时检索、评估段落相关性并检查自身输出,兼顾事实性与引用准确性,是进阶 RAG 系统的重要设计参考。

Asai et al. · 2024 · ICLR

ImageNet Classification with Deep Convolutional Neural Networks · 基于深度卷积网络的 ImageNet 分类arXiv ↗CNN计算机视觉

用 GPU 训练深层卷积网络,在 ImageNet 上把错误率大幅拉低并夺冠,直接引爆深度学习浪潮,是理解现代视觉与算力竞赛的历史起点。

Krizhevsky et al. · 2012 · NeurIPS

Deep Residual Learning for Image Recognition · 用于图像识别的深度残差学习arXiv ↗CNN残差连接

提出残差连接解决深层网络退化难题,152 层网络拿下 ILSVRC 冠军,跳连接思想后来渗入 Transformer 与扩散模型,属必学基本功。

He et al. · 2016 · CVPR

You Only Look Once: Unified, Real-Time Object Detection · YOLO:统一的实时目标检测arXiv ↗目标检测实时

把目标检测建模为单次回归,一个网络直接输出框与类别,速度达到实时且泛化出色,开启单阶段检测路线,工程落地引用率极高。

Redmon et al. · 2016 · CVPR

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale · 一张图等于 16×16 个词:面向大规模图像识别的 TransformerarXiv ↗ViT计算机视觉

把图像切成 16×16 的 patch 当词序列喂给纯 Transformer,大数据预训练后反超 CNN,打通视觉与语言架构,是 ViT 与多模态模型的起点。

Dosovitskiy et al. · 2021 · ICLR

Learning Transferable Visual Models From Natural Language Supervision · 从自然语言监督中学习可迁移视觉模型arXiv ↗多模态对比学习

用 4 亿图文对做对比学习,把图像与文本映射到同一语义空间,实现强大零样本分类与检索,是图文多模态与开放词表视觉的基础模型。

Radford et al. · 2021 · ICML

Segment Anything · Segment Anything:可提示的通用分割模型arXiv ↗图像分割基础模型

构建 10 亿掩码超大数据集,训练可提示的通用分割模型,零样本迁移到新场景常胜过专门训练的模型,推动分割进入基础模型时代。

Kirillov et al. · 2023 · ICCV

Efficient Estimation of Word Representations in Vector Space · 词向量表示的高效估计arXiv ↗词向量NLP

提出 CBOW 与 Skip-gram 两种轻量结构,一天内即可在十亿级语料上学到高质量词向量,并揭示语义线性关系,是 NLP 深度化的起点。

Mikolov et al. · 2013 · ICLR Workshop

Sequence to Sequence Learning with Neural Networks · 用神经网络做序列到序列学习arXiv ↗Seq2SeqNLP

用多层 LSTM 把输入序列编码成定长向量再解码,端到端完成英法翻译并超过统计机器翻译,奠定编码器-解码器范式,是生成式模型源头。

Sutskever et al. · 2014 · NeurIPS

Neural Machine Translation by Jointly Learning to Align and Translate · 通过联合学习对齐与翻译实现神经机器翻译arXiv ↗注意力机制机器翻译

首次在编码器-解码器中引入注意力,让模型软对齐源句片段,突破定长向量瓶颈,是注意力机制与后来 Transformer 的直接前身。

Bahdanau et al. · 2015 · ICLR

Playing Atari with Deep Reinforcement Learning · 用深度强化学习玩 Atari 游戏arXiv ↗深度强化学习DQN

直接用原始像素训练卷积 Q 网络,在 7 款 Atari 游戏中 6 款超过此前方法、3 款超过人类,首次打通深度强化学习的感知到决策链路。

Mnih et al. · 2013 · NIPS Workshop

Proximal Policy Optimization Algorithms · 近端策略优化算法arXiv ↗强化学习PPO

用裁剪的重要性采样比率约束每次策略更新幅度,兼顾训练稳定与调参简单,成为 RLHF 与机器人训练的事实标准算法,工程实现必读。

Schulman et al. · 2017 · arXiv

Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm · 用通用强化学习算法通过自我对弈精通国际象棋与将棋arXiv ↗强化学习自我对弈

不依赖人类棋谱,仅凭规则从零自我对弈,24 小时内超越国际象棋、将棋与围棋最强程序,展示搜索加学习的通用威力,范式影响深远。

Silver et al. · 2018 · Science

Generative Adversarial Networks · 生成对抗网络arXiv ↗生成模型GAN

用生成器与判别器做极小极大博弈来逼近数据分布,无需马尔可夫链即可采样,开创对抗式生成路线,是理解生成模型思想史的必读。

Goodfellow et al. · 2014 · NeurIPS

Denoising Diffusion Probabilistic Models · 去噪扩散概率模型arXiv ↗扩散模型生成模型

通过逐步加噪再学习去噪来恢复数据分布,在 CIFAR-10 上取得当时最优 FID,奠定扩散模型数学框架,是 Stable Diffusion 的理论源头。

Ho et al. · 2020 · NeurIPS

High-Resolution Image Synthesis with Latent Diffusion Models · 用潜空间扩散模型实现高分辨率图像合成arXiv ↗扩散模型文生图

把扩散过程搬到预训练自编码器的潜空间,算力大降而画质不降,并支持文本、布局等条件控制,是 Stable Diffusion 的直接前身。

Rombach et al. · 2022 · CVPR

Scalable Diffusion Models with Transformers · 基于 Transformer 的可扩展扩散模型arXiv ↗扩散模型Transformer

用 Transformer 替换 U-Net 作为扩散骨干,证明算力越大 FID 越低,成为 Sora 等视频生成模型采用的主干架构,前沿方向必读。

Peebles & Xie · 2023 · ICCV

Do As I Can, Not As I Say: Grounding Language in Robotic Affordances · 能做什么就说什么:用机器人可供性为语言奠基arXiv ↗机器人LLM 规划

让 LLM 拆解高层指令、价值函数判断动作可行性,两者相乘选出可执行计划,首次把大模型的语义规划能力接到真实机器人上。

Ahn et al. · 2022 · CoRL

Diffusion Policy: Visuomotor Policy Learning via Action Diffusion · 扩散策略:通过动作扩散学习视觉运动策略arXiv ↗机器人模仿学习

把机器人策略建模为条件去噪扩散过程,擅长多峰动作分布且训练稳定,在多个操作基准上大幅超越此前方法,是模仿学习新范式。

Chi et al. · 2023 · RSS

Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware · 用低成本硬件学习精细双臂操作arXiv ↗机器人双臂操作

设计低成本双臂平台 ALOHA 与动作分块 Transformer,仅用少量示范就完成插线、开盖等精细任务,把双臂操作门槛降到个人实验室。

Zhao et al. · 2023 · RSS

PaLM-E: An Embodied Multimodal Language Model · PaLM-E:具身多模态语言模型arXiv ↗具身智能多模态

把图像、连续状态与文本交织成多模态句子输入大模型,端到端训练后能做机器人规划、视觉问答与描述,并出现跨任务正迁移。

Driess et al. · 2023 · ICML

RT-1: Robotics Transformer for Real-World Control at Scale · RT-1:面向真实世界规模化控制的机器人 TransformerarXiv ↗机器人Transformer

在 13 万台机器人演示上训练 Transformer 策略,验证数据规模、模型容量与多样性共同决定泛化,为 VLA 路线打下数据与架构基础。

Brohan et al. · 2022 · arXiv

RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control · RT-2:视觉-语言-动作模型把网络知识迁移到机器人控制arXiv ↗VLA机器人

把动作编码成文本 token,与视觉问答数据联合微调,使模型获得未见物体泛化与语义推理能力,正式确立 VLA 范式,前沿必读。

Brohan et al. · 2023 · CoRL

OpenVLA: An Open-Source Vision-Language-Action Model · OpenVLA:开源视觉-语言-动作模型arXiv ↗VLA开源模型

基于 Llama 2 与 DINOv2、SigLIP 融合视觉,在 97 万真实演示上训练 7B 开源 VLA,性能超过 55B 闭源模型,大幅降低复现门槛。

Kim et al. · 2024 · CoRL

π0: A Vision-Language-Action Flow Model for General Robot Control · π0:面向通用机器人控制的视觉-语言-动作流模型arXiv ↗VLA流匹配

用流匹配生成连续动作块,结合大规模跨本体数据预训练,可零样本或少量微调完成叠衣、装箱等长程任务,代表通用机器人策略前沿。

Black et al. · 2025 · RSS

Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World · 域随机化:把深度网络从仿真迁移到现实arXiv ↗Sim2Real域随机化

在仿真中随机化纹理、光照与相机等参数,让模型把真实世界当作又一种随机变化,仅用合成 RGB 图像就实现真实抓取,Sim2Real 开山作。

Tobin et al. · 2017 · IROS

Learning Dexterous In-Hand Manipulation · 学习灵巧手内操作arXiv ↗Sim2Real灵巧操作

在仿真中随机化摩擦与外观,用大规模分布式 RL 训练 Shadow 灵巧手完成物体重定向,零人类演示迁移到真机并涌现多指协调。

OpenAI et al. · 2018 · arXiv

RMA: Rapid Motor Adaptation for Legged Robots · RMA:面向足式机器人的快速运动自适应arXiv ↗Sim2Real足式机器人

用基础策略加在线自适应模块,让四足机器人几百毫秒内适应新地形与新负载,全程仿真训练零微调上真机,是足式机器人落地关键方法。

Kumar et al. · 2021 · RSS

ImageNet Large Scale Visual Recognition Challenge · ImageNet 大规模视觉识别挑战赛arXiv ↗数据集计算机视觉

系统介绍 ILSVRC 的数据构建、评测协议与五年技术突破,是理解深度学习如何在视觉领域爆发、基准如何驱动研究的最佳史料。

Russakovsky et al. · 2015 · IJCV

SQuAD: 100,000+ Questions for Machine Comprehension of Text · SQuAD:十万级机器阅读理解问答数据集arXiv ↗数据集问答

基于维基百科构建十万级抽取式阅读理解题,答案限定为原文片段,长期作为问答系统主基准,也是数据集与评测设计的经典范例。

Rajpurkar et al. · 2016 · EMNLP

Measuring Massive Multitask Language Understanding · 大规模多任务语言理解评测arXiv ↗评测基准

覆盖 57 个学科、约 1.4 万道选择题,用于衡量模型的世界知识与推理广度,至今仍是模型能力对比的核心基准,理解评测必读。

Hendrycks et al. · 2021 · ICLR

SWE-bench: Can Language Models Resolve Real-World GitHub Issues? · SWE-bench:语言模型能否解决真实 GitHub 问题?arXiv ↗评测编程智能体

从 12 个 Python 仓库收集 2294 个真实 issue,要求模型改代码并跑通测试,成为衡量编程智能体真实能力的关键基准,前沿评测必读。

Jimenez et al. · 2024 · ICLR