PAPERS
论文阅读清单
45 篇经典与前沿论文,每篇附中文一句话总结与 arXiv 链接。建议按主题读、配合代码复现,不要从头背到尾。
共 45 篇论文
提出 Transformer,用自注意力取代循环与卷积,训练更易并行,成为现代大模型乃至多模态模型的通用骨架。
Vaswani et al. · 2017 · NeurIPS
用掩码语言模型做双向预训练,加一个输出层微调就能横扫多项 NLP 任务,开启预训练加微调范式,是理解大模型的第一块基石。
Devlin et al. · 2019 · NAACL
1750 亿参数、不做梯度更新的上下文学习即可完成翻译、问答与算术,系统展示规模扩展带来的能力涌现,是 GPT 时代的宣言。
Brown et al. · 2020 · NeurIPS
用大量实验总结损失随参数量、数据量与算力的幂律关系,并给出固定预算下的最优分配方案,是理解大模型训练与算力规划的必读。
Kaplan et al. · 2020 · arXiv
只需在提示中给出几条带中间步骤的示例,就能让大模型在数学、常识与符号推理上大幅提升,是推理研究与应用的共同起点。
Wei et al. · 2022 · NeurIPS
先用人类示范做监督微调,再用偏好排序做强化学习,让 13 亿参数模型比 1750 亿的 GPT-3 更受欢迎,奠定 RLHF 对齐范式。
Ouyang et al. · 2022 · NeurIPS
只用公开数据训练 7B 到 65B 模型,13B 就在多数基准上超过 175B 的 GPT-3,说明数据与训练充分性比参数量更关键,引爆开源生态。
Touvron et al. · 2023 · arXiv
用大规模强化学习让模型自发产生长思维链,推理能力逼近闭源最强模型,并开源权重与训练细节,是国产推理模型的关键里程碑。
DeepSeek-AI · 2025 · Nature
把预训练模型与外部稠密向量索引结合,先检索再生成,显著降低幻觉并支持知识实时更新,是今天所有 RAG 系统绕不开的奠基论文。
Lewis et al. · 2020 · NeurIPS
让模型交替输出思考轨迹与工具动作,边推理边调用搜索或环境接口,大幅提升问答与决策表现,是 Agent 范式的奠基工作。
Yao et al. · 2023 · ICLR
让模型自己标注何时该调用计算器、搜索或翻译接口,再用这些自监督样本微调,几乎不损语言能力就学会用工具,是工具学习经典。
Schick et al. · 2023 · NeurIPS
不更新权重,而是让智能体用自然语言复盘失败原因并写入记忆,后续尝试据此改进,HumanEval 通过率反超 GPT-4,是无梯度自我改进代表作。
Shinn et al. · 2023 · NeurIPS
用记忆流、反思与规划让 25 个 LLM 智能体在小镇中自发社交、传播消息并协调聚会,展示可信社会模拟架构,是 Agent 社会实验开山作。
Park et al. · 2023 · UIST
用反思标记让模型自主决定何时检索、评估段落相关性并检查自身输出,兼顾事实性与引用准确性,是进阶 RAG 系统的重要设计参考。
Asai et al. · 2024 · ICLR
用 GPU 训练深层卷积网络,在 ImageNet 上把错误率大幅拉低并夺冠,直接引爆深度学习浪潮,是理解现代视觉与算力竞赛的历史起点。
Krizhevsky et al. · 2012 · NeurIPS
提出残差连接解决深层网络退化难题,152 层网络拿下 ILSVRC 冠军,跳连接思想后来渗入 Transformer 与扩散模型,属必学基本功。
He et al. · 2016 · CVPR
把目标检测建模为单次回归,一个网络直接输出框与类别,速度达到实时且泛化出色,开启单阶段检测路线,工程落地引用率极高。
Redmon et al. · 2016 · CVPR
把图像切成 16×16 的 patch 当词序列喂给纯 Transformer,大数据预训练后反超 CNN,打通视觉与语言架构,是 ViT 与多模态模型的起点。
Dosovitskiy et al. · 2021 · ICLR
用 4 亿图文对做对比学习,把图像与文本映射到同一语义空间,实现强大零样本分类与检索,是图文多模态与开放词表视觉的基础模型。
Radford et al. · 2021 · ICML
构建 10 亿掩码超大数据集,训练可提示的通用分割模型,零样本迁移到新场景常胜过专门训练的模型,推动分割进入基础模型时代。
Kirillov et al. · 2023 · ICCV
提出 CBOW 与 Skip-gram 两种轻量结构,一天内即可在十亿级语料上学到高质量词向量,并揭示语义线性关系,是 NLP 深度化的起点。
Mikolov et al. · 2013 · ICLR Workshop
用多层 LSTM 把输入序列编码成定长向量再解码,端到端完成英法翻译并超过统计机器翻译,奠定编码器-解码器范式,是生成式模型源头。
Sutskever et al. · 2014 · NeurIPS
首次在编码器-解码器中引入注意力,让模型软对齐源句片段,突破定长向量瓶颈,是注意力机制与后来 Transformer 的直接前身。
Bahdanau et al. · 2015 · ICLR
直接用原始像素训练卷积 Q 网络,在 7 款 Atari 游戏中 6 款超过此前方法、3 款超过人类,首次打通深度强化学习的感知到决策链路。
Mnih et al. · 2013 · NIPS Workshop
用裁剪的重要性采样比率约束每次策略更新幅度,兼顾训练稳定与调参简单,成为 RLHF 与机器人训练的事实标准算法,工程实现必读。
Schulman et al. · 2017 · arXiv
不依赖人类棋谱,仅凭规则从零自我对弈,24 小时内超越国际象棋、将棋与围棋最强程序,展示搜索加学习的通用威力,范式影响深远。
Silver et al. · 2018 · Science
用生成器与判别器做极小极大博弈来逼近数据分布,无需马尔可夫链即可采样,开创对抗式生成路线,是理解生成模型思想史的必读。
Goodfellow et al. · 2014 · NeurIPS
通过逐步加噪再学习去噪来恢复数据分布,在 CIFAR-10 上取得当时最优 FID,奠定扩散模型数学框架,是 Stable Diffusion 的理论源头。
Ho et al. · 2020 · NeurIPS
把扩散过程搬到预训练自编码器的潜空间,算力大降而画质不降,并支持文本、布局等条件控制,是 Stable Diffusion 的直接前身。
Rombach et al. · 2022 · CVPR
用 Transformer 替换 U-Net 作为扩散骨干,证明算力越大 FID 越低,成为 Sora 等视频生成模型采用的主干架构,前沿方向必读。
Peebles & Xie · 2023 · ICCV
让 LLM 拆解高层指令、价值函数判断动作可行性,两者相乘选出可执行计划,首次把大模型的语义规划能力接到真实机器人上。
Ahn et al. · 2022 · CoRL
把机器人策略建模为条件去噪扩散过程,擅长多峰动作分布且训练稳定,在多个操作基准上大幅超越此前方法,是模仿学习新范式。
Chi et al. · 2023 · RSS
设计低成本双臂平台 ALOHA 与动作分块 Transformer,仅用少量示范就完成插线、开盖等精细任务,把双臂操作门槛降到个人实验室。
Zhao et al. · 2023 · RSS
把图像、连续状态与文本交织成多模态句子输入大模型,端到端训练后能做机器人规划、视觉问答与描述,并出现跨任务正迁移。
Driess et al. · 2023 · ICML
在 13 万台机器人演示上训练 Transformer 策略,验证数据规模、模型容量与多样性共同决定泛化,为 VLA 路线打下数据与架构基础。
Brohan et al. · 2022 · arXiv
把动作编码成文本 token,与视觉问答数据联合微调,使模型获得未见物体泛化与语义推理能力,正式确立 VLA 范式,前沿必读。
Brohan et al. · 2023 · CoRL
基于 Llama 2 与 DINOv2、SigLIP 融合视觉,在 97 万真实演示上训练 7B 开源 VLA,性能超过 55B 闭源模型,大幅降低复现门槛。
Kim et al. · 2024 · CoRL
用流匹配生成连续动作块,结合大规模跨本体数据预训练,可零样本或少量微调完成叠衣、装箱等长程任务,代表通用机器人策略前沿。
Black et al. · 2025 · RSS
在仿真中随机化纹理、光照与相机等参数,让模型把真实世界当作又一种随机变化,仅用合成 RGB 图像就实现真实抓取,Sim2Real 开山作。
Tobin et al. · 2017 · IROS
在仿真中随机化摩擦与外观,用大规模分布式 RL 训练 Shadow 灵巧手完成物体重定向,零人类演示迁移到真机并涌现多指协调。
OpenAI et al. · 2018 · arXiv
用基础策略加在线自适应模块,让四足机器人几百毫秒内适应新地形与新负载,全程仿真训练零微调上真机,是足式机器人落地关键方法。
Kumar et al. · 2021 · RSS
系统介绍 ILSVRC 的数据构建、评测协议与五年技术突破,是理解深度学习如何在视觉领域爆发、基准如何驱动研究的最佳史料。
Russakovsky et al. · 2015 · IJCV
基于维基百科构建十万级抽取式阅读理解题,答案限定为原文片段,长期作为问答系统主基准,也是数据集与评测设计的经典范例。
Rajpurkar et al. · 2016 · EMNLP
覆盖 57 个学科、约 1.4 万道选择题,用于衡量模型的世界知识与推理广度,至今仍是模型能力对比的核心基准,理解评测必读。
Hendrycks et al. · 2021 · ICLR
从 12 个 Python 仓库收集 2294 个真实 issue,要求模型改代码并跑通测试,成为衡量编程智能体真实能力的关键基准,前沿评测必读。
Jimenez et al. · 2024 · ICLR
没有匹配结果,换个关键词或筛选条件试试。