强化学习

在试错中学习:从 Q-learning 到 RLHF

强化学习(Reinforcement Learning,RL)研究智能体如何通过与环境交互、根据奖励信号调整策略,以最大化长期回报。它既像控制问题,也像统计学习问题。它与监督学习最大的区别在于:没有标准答案,只有延迟的反馈,而且智能体的行动会改变之后看到的数据。这种「行动影响数据」的特性,让训练与评估都比监督学习复杂。

为什么它出现在大模型时代

RLHF 让语言模型学会遵循人类偏好,是 ChatGPT 类产品成立的关键一步;在机器人控制、游戏、推荐与调度中,RL 也持续产出成果,在数据昂贵、反馈延迟的场景里很难被替代。理解 RL,能帮你看懂对齐算法(PPO、DPO)的动机,也能判断一个问题到底该用规则、监督学习还是强化学习。同时,它也是理解推理模型如何被训练的关键背景。

核心概念与技术路线

从建模到落地,通常要经过下面几个环节。

  • 建模:马尔可夫决策过程(MDP)、状态、动作、奖励与折扣因子。
  • 价值方法:Q-learning、DQN,用价值函数间接得到策略。
  • 策略方法:策略梯度、Actor-Critic、PPO,直接优化策略本身。
  • 工程要点:奖励设计、探索与利用、样本效率、随机种子与训练稳定性。

怎么学

RL 的教程很多,建议只选一条主线。先用 Sutton 与 Barto 的教材建立概念,配合 Spinning Up 读代码;然后手写一个表格型 Q-learning 跑通小游戏,再用 Stable-Baselines3 在 Gymnasium 环境里训练 PPO,观察超参数与随机种子带来的波动。同一实验至少跑三个种子,是理解 RL 不稳定性的最快方式。实验记录要包含奖励曲线、成功率与随机种子,否则无法判断改动是否有效。

常见误区:奖励设计拍脑袋;只跑一次实验就下结论;在已有高质量标注数据的问题上硬上 RL;忽视仿真环境与现实任务的差异。

RL 很迷人,但要先问一句:这个问题真的需要试错学习吗?很多时候监督学习或规则更划算。先用最简单的 baseline 验证可行性,再考虑复杂算法。稳定比先进更重要,先跑通再调优。

这个专题要回答的问题

  • 强化学习和监督学习最根本的区别是什么?
  • Q-learning 和策略梯度,什么时候用哪个?
  • PPO 为什么在 LLM 对齐和机器人控制里都被广泛使用?
  • 奖励函数设计不好会怎样?
  • 训练不收敛、曲线抖动,一般从哪里排查?
  • 做推荐或调度问题,值得上强化学习吗?

精选资源

ARTICLES

相关文章

全部文章 →