One Forth

A10 · 第 3 章 · 第二编 控制与策略

Q-learning

从 Bellman 最优方程推导表格 Q-learning 的一步时序差分目标，区分行为策略与贪心目标策略，分析 epsilon-greedy 探索、表格收敛条件、最大化偏差以及函数逼近下的自举与分布风险。

难度 4/5约 230 分钟最近修订 2026-07-14
报告页面错误
预备知识动态规划、Monte Carlo 与时序差分随机梯度下降过拟合与泛化

本章目标

  1. 从最优动作价值定义写出Bellman最优方程，并正确处理终止转移。
  2. 计算一步TD目标、误差和表格Q更新，解释步长与重复访问的作用。
  3. 区分产生数据的epsilon-greedy行为策略与更新中贪心最大化的目标策略。
  4. 陈述表格Q-learning收敛所需的有限性、覆盖、步长和稳定环境条件。
  5. 解释最大化偏差以及函数逼近、off-policy和自举结合后的不稳定风险。
页面阅读位置0% · 仅保存在此浏览器
章节未开始
本册完成进度0/6 章 · 0%
本页目录

动作价值把当前选择和后续控制连接起来

在马尔可夫决策过程中，状态为 St=sS_t=s、动作 At=aA_t=a，环境给出奖励 Rt+1R_{t+1} 与下一状态 St+1S_{t+1}。折扣回报定义为

Gt=Rt+1+γRt+2+γ2Rt+3+⋯ ,0≤γ<1.G_t=R_{t+1}+\gamma R_{t+2}+\gamma^2R_{t+3}+\cdots, \qquad 0\le\gamma<1.

策略 π\pi 的动作价值是 qπ(s,a)=Eπ[Gt∣St=s,At=a]q_\pi(s,a)=\mathbb E_\pi[G_t\mid S_t=s,A_t=a]。最优动作价值 q∗(s,a)=max⁡πqπ(s,a)q_*(s,a)=\max_\pi q_\pi(s,a) 表示先执行 aa，随后采用最佳可行策略时的期望回报。若已知 q∗q_*，每个状态选择其最大动作即可得到一个最优贪心策略；并列最大动作可按固定规则或随机打破。

奖励的时间索引和终止语义必须固定。这里 Rt+1R_{t+1} 是执行 AtA_t 后收到的奖励。终止后没有后续动作价值，不能把重置后新一局状态误接到旧一局目标中。时间上限造成的截断是否等同真正终止，要由任务定义决定。

Bellman最优方程是固定点条件

把第一步奖励与余下回报分开，最优动作价值满足

q∗(s,a)=E[Rt+1+γmax⁡a′q∗(St+1,a′)∣St=s,At=a].q_*(s,a)=\mathbb E\left[ R_{t+1}+\gamma\max_{a'}q_*(S_{t+1},a') \mid S_t=s,A_t=a \right].

右侧先对下一状态采用最优动作，再对环境随机性取期望。若转移到终止状态，最大值项定义为零。已知转移概率和奖励模型时可做完整动态规划备份；Q-learning不知道模型，用观测到的一次 (s,a,r,s′)(s,a,r,s') 构造随机近似。

对有限状态动作、奖励有界且 γ<1\gamma<1 的折扣问题，Bellman最优算子在最大范数下是 γ\gamma 压缩，因此有唯一固定点。这个结论支持表格算法的目标，却不表示任意神经网络参数化后的优化仍是压缩映射。

例 1：两状态问题的Bellman最优值

状态 uu 有两个动作：停止立即获得奖励二并终止；继续立即奖励零并确定转移到 vv。状态 vv 只有一个动作，获得奖励三后终止。取 γ=0.9\gamma=0.9。

先从终点向前算：q∗(v,结束)=3q_*(v,\text{结束})=3。于是 q∗(u,继续)=0+0.9×3=2.7q_*(u,\text{继续})=0+0.9\times3=2.7，而 q∗(u,停止)=2q_*(u,\text{停止})=2。最优策略在 uu 选择继续，最优状态价值为 2.72.7。若错误地在 vv 终止后再自举一次，会凭空增加不存在的未来奖励。

一条经验产生一次表格更新

给定转移 (St,At,Rt+1,St+1)(S_t,A_t,R_{t+1},S_{t+1})，Q-learning目标和TD误差为

Yt=Rt+1+γ(1−dt)max⁡a′Qt(St+1,a′),δt=Yt−Qt(St,At),Y_t=R_{t+1}+\gamma(1-d_t)\max_{a'}Q_t(S_{t+1},a'), \qquad \delta_t=Y_t-Q_t(S_t,A_t),

其中真正终止时 dt=1d_t=1。表格更新是

Qt+1(St,At)=Qt(St,At)+αtδt,Q_{t+1}(S_t,A_t)=Q_t(S_t,A_t)+\alpha_t\delta_t,

其他表项保持不变。αt=1\alpha_t=1 完全替换为单次目标，较小步长在多次随机目标间平滑。目标本身包含当前Q表的估计，所以属于自举；它不是一条完整轨迹的实际总回报。

例 2：一步非终止Q更新

当前 Q(s,a)=1.2Q(s,a)=1.2，观测奖励 r=0.5r=0.5，下一状态最大动作价值为二，γ=0.9\gamma=0.9，α=0.25\alpha=0.25。先算目标 Y=0.5+0.9×2=2.3Y=0.5+0.9\times2=2.3，再算误差 δ=2.3−1.2=1.1\delta=2.3-1.2=1.1。

更新后 Q(s,a)=1.2+0.25×1.1=1.475Q(s,a)=1.2+0.25\times1.1=1.475。其余动作值不变。若这条转移终止，目标应为 0.50.5，更新会变成 1.2+0.25(0.5−1.2)=1.0251.2+0.25(0.5-1.2)=1.025；终止标志使两种语义产生相反方向的更新。

off-policy来自行为和目标的分离

行为策略 μ\mu 决定实际采取什么动作、因而决定采到哪些状态动作对。Q-learning目标中的 max⁡a′Q(s′,a′)\max_{a'}Q(s',a') 则对应当前贪心目标策略，不使用行为策略在下一步实际选中的动作。因此即使数据由探索性策略产生，更新仍朝贪心控制固定点推进，这就是其off-policy性质。

off-policy不等于可以忽略数据覆盖。若行为策略从未执行某动作，该动作的Q值没有直接证据；最大化仍可能选中一个由初始化或函数外推抬高的动作。行为分布变化、经验重放和离线数据都要统计访问频数与支持，不能只看损失。

epsilon-greedy在利用和覆盖间分配概率

有 mm 个动作时，一种epsilon-greedy规则以概率 1−ε1-\varepsilon 选择一个贪心动作，并以概率 ε\varepsilon 从全部 mm 个动作均匀抽取。若贪心动作唯一，其总概率为 1−ε+ε/m1-\varepsilon+\varepsilon/m，其他每个动作概率为 ε/m\varepsilon/m。实现若只从非贪心动作中探索，概率公式不同，必须明确。

并列最大时可先在并列集合均匀选贪心动作，再混合均匀探索；固定取第一个最大索引会产生无意偏置。训练回报包含探索动作的代价，评价时常另用冻结的贪心策略；两条曲线回答不同问题。

例 3：行为概率与off-policy目标

某状态四个动作值为 (3,1,2,0)(3,1,2,0)，ε=0.2\varepsilon=0.2。唯一贪心动作一的行为概率为 0.8+0.2/4=0.850.8+0.2/4=0.85，其余每个动作为 0.050.05。假设探索实际选了动作二并到达下一状态，收到奖励一。

更新当前动作二时，下一状态的Q值若为 (4,2,3,1)(4,2,3,1)，γ=0.9\gamma=0.9，则目标使用最大值四：Y=1+0.9×4=4.6Y=1+0.9\times4=4.6，而不是使用行为策略下一次可能抽到的动作值。行为决定样本，贪心最大化决定目标，两者在同一次更新中职责不同。

表格收敛结论附带一组条件

经典表格Q-learning的几乎必然收敛结论需要有限马尔可夫决策过程、奖励有界、折扣小于一、环境转移稳定、每个状态动作对被访问无限多次，并且每一对自己的步长序列满足

∑kαk(s,a)=∞,∑kαk(s,a)2<∞.\sum_k\alpha_k(s,a)=\infty, \qquad \sum_k\alpha_k(s,a)^2<\infty.

第一项防止学习过早停止，第二项让随机噪声影响可衰减。按访问次数使用 1/N(s,a)1/N(s,a) 是典型形式。固定正步长一般在随机目标附近持续波动，适合跟踪非平稳环境，却不满足精确收敛条件。

epsilon随时间降到零若同时保证每对仍被无限访问，可形成“无限探索且最终贪心”的条件；下降太快会失去覆盖，恒定epsilon则保持探索但行为策略不会变成完全贪心。有限训练预算下只能检查访问数、误差和独立回报，不能从渐近定理直接声称已经到达 q∗q_*。

例 4：按访问次数衰减的三次更新

同一表项初值为零，三次观测到的TD目标依次为四、二、五，使用第 nn 次访问步长 αn=1/n\alpha_n=1/n。第一次更新为 0+1(4−0)=40+1(4-0)=4；第二次为 4+12(2−4)=34+\tfrac12(2-4)=3；第三次为 3+13(5−3)=11/3≈3.6673+\tfrac13(5-3)=11/3\approx3.667。

结果正好是三个目标的算术平均。实际Q-learning目标会随整张Q表变化，通常不是独立同分布常数，因此该例只解释步长平滑。它仍显示每个状态动作对必须维护自己的访问次数，不能用全局步数代替稀有动作的更新计数。

最大化会放大估计噪声

即使各动作估计误差均值为零，E[max⁡aQ^a]\mathbb E[\max_a\widehat Q_a] 通常不小于 max⁡aE[Q^a]\max_a\mathbb E[\widehat Q_a]。选择和评价使用同一组带噪估计，使偶然偏高的动作更容易进入目标，产生最大化偏差。动作越多、噪声越大时问题可能更明显。

双重Q思想用一套估计选择最大动作、另一套估计评价它，降低选择与评价噪声的耦合。它不是所有环境中的无偏保证，也不能修复覆盖不足。诊断可比较普通最大目标、双重目标和蒙特卡洛回报，并按动作访问量分组。

例 6：分离动作选择与价值评价

下一状态有两个动作，估计器甲给出 (6,4)(6,4)，估计器乙给出 (4.5,5.2)(4.5,5.2)。普通甲估计直接取最大值得六。双重更新先由甲选择动作一，再由乙评价同一动作，目标中的下一价值为 4.54.5，而不是乙自己的最大值 5.25.2。

若奖励为一、γ=0.9\gamma=0.9，两种TD目标分别为 1+0.9×6=6.41+0.9\times6=6.4 与 1+0.9×4.5=5.051+0.9\times4.5=5.05。单次较低不能证明更准确；关键是选择噪声与评价噪声被分开，并应在重复样本上检查偏差和方差。

函数逼近会让一次更新影响许多状态

大状态空间用 Qθ(s,a)Q_\theta(s,a) 共享参数。常见半梯度损失把目标暂时视为常数：

L(θ)=12(Y−Qθ(s,a))2,θ←θ+α(Y−Qθ(s,a))∇θQθ(s,a).L(\theta)=\frac12\left(Y-Q_\theta(s,a)\right)^2, \qquad \theta\leftarrow\theta+\alpha\left(Y-Q_\theta(s,a)\right)\nabla_\theta Q_\theta(s,a).

目标又由估计函数自举，数据由不同于目标的行为策略产生，函数还会在状态间泛化。函数逼近、off-policy和自举结合时，表格压缩映射证明不再直接适用，参数可能振荡或发散。目标网络、经验重放、梯度限制和双重估计常用于改善数值行为，但都不是普遍收敛证明。

经验重放改变样本相关性和访问频率：均匀抽样会让常见转移占主导，优先重放又会改变经验分布并需要相应权重解释。目标网络把自举参数在若干步内冻结，使回归目标较慢移动，但同步间隔过长会带来陈旧目标。两者都是明确的算法状态，恢复训练时要连同缓冲区、采样器、目标参数和同步计数保存。

奖励缩放也会传到Q值、TD误差和梯度。把所有奖励乘常数会在理想固定策略下同比缩放价值，却可能改变梯度限制、优化器有效步长和探索行为。不同实验比较前应冻结奖励定义、折扣和终止处理；否则看似算法差异可能只是目标尺度不同。

例 5：共享参数造成未访问状态变化

设一个动作的估计为 Qθ(s1)=θQ_\theta(s_1)=\theta、Qθ(s2)=2θQ_\theta(s_2)=2\theta，初值 θ=1\theta=1。只访问 s1s_1，TD目标为四，半平方损失梯度为 (Q−Y)∂Q/∂θ=(1−4)×1=−3(Q-Y)\partial Q/\partial\theta=(1-4)\times1=-3。学习率 0.10.1 后 θ=1.3\theta=1.3。

被访问值从一升到 1.31.3，但从未访问的 s2s_2 也从二升到 2.62.6。若后续最大化选择 s2s_2 的该动作，外推变化会进入新的自举目标。共享可以传递有益规律，也会传播错误；必须按访问支持检查Q值，而不能只在训练批量上看均方TD误差。

训练诊断与策略评价分开

记录每个状态动作访问数、TD目标与误差分布、Q值范围、最大动作切换频率、终止比例和梯度范数。Q值绝对尺度应与奖励界和有效时域相容；若每步奖励绝对值不超过 Rmax⁡R_{\max}，持续任务的最优值通常受 Rmax⁡/(1−γ)R_{\max}/(1-\gamma) 量级约束，远超该范围提示终止、折扣或发散问题。

策略评价要冻结Q参数，用规定的贪心或部署探索策略运行独立回合，报告回报分布、成功率、长度和约束违例。训练中的epsilon回报较低可能只是探索代价；训练TD损失下降也可能只是拟合偏置目标。多个环境种子和算法种子应分开，避免把环境容易程度当成更新稳定性。

练习

练习 1：Bellman最优备份
所属知识
最优方程
难度
3/5
写出动作价值的Bellman最优方程并说明终止处理。
查看提示
先写即时奖励，再对下一状态动作价值取最大并乘折扣。
查看解答
q∗(s,a)=E[R+γmax⁡a′q∗(S′,a′)∣s,a]q^{*}(s,a)=E[R+\gamma \max_a' q^{*}(S',a')|s,a]；真正终止转移的自举项为零，随机转移还需按概率求期望。
练习 2：表格数值更新
所属知识
TD误差
难度
3/5
完成一条非终止与终止转移的Q更新。
查看提示
按目标、误差、旧值加步长乘误差三步计算。
查看解答
若Q=2、r=-1、γ=0.8\gamma=0.8、下一最大值3、α=0.5\alpha=0.5，则Y=1.4、δ=−0.6\delta=-0.6，新Q=1.7；若终止则Y=-1、新Q=0.5。
练习 3：off-policy区别
所属知识
行为与目标
难度
3/5
解释Q-learning为何是off-policy。
查看提示
问谁选择当前动作，谁决定下一状态目标。
查看解答
epsilon-greedy行为策略产生访问和转移；Q-learning目标始终使用下一状态最大Q，对应贪心目标策略，不使用行为策略实际下个动作，因此是off-policy，但仍要求行为数据覆盖。
练习 4：探索概率
所属知识
epsilon-greedy
难度
3/5
计算五动作、epsilon为0.1时的行为概率。
查看提示
探索分支从全部动作均匀取样时，贪心动作会同时得到两部分概率。
查看解答
m个动作且唯一贪心时，贪心概率为1−ϵ+ϵ/m1-\epsilon+\epsilon/m，每个其他动作为ϵ/m\epsilon/m；并列最大还需明确并列打破规则。
练习 5：收敛条件
所属知识
随机逼近
难度
4/5
陈述表格Q-learning结论不能省略的条件。
查看提示
同时列出有限性、覆盖、步长和环境稳定性。
查看解答
有限稳定MDP、奖励有界、γ\gamma小于一，每个状态动作无限访问，每对步长和发散而平方和收敛；固定步长或探索过早消失不满足经典精确收敛条件。
练习 6：函数逼近风险
所属知识
稳定性
难度
4/5
说明表格证明为何不能直接推广到神经Q网络。
查看提示
一次共享参数更新会改变未采样Q值，而这些值又进入max自举。
查看解答
函数逼近造成状态间干扰，off-policy数据可能缺少目标动作支持，自举和max会反复使用自身误差；目标网络、重放和双重估计可改善实践，但需独立稳定性与策略评价。

概念关系

资源

书籍 · 2018

Reinforcement Learning: An Introduction, Second Edition

Richard S. Sutton, Andrew G. Barto

用于核对 A10 的定义、Bellman 推导、经典算法与收敛条件；高级离线与多智能体内容另标研究边界。

打开官方来源