强化学习综合复习：证据、稳定性与部署

贯穿任务：仓储机器人不是一个回报数字

考虑机器人从货架取货并送到工作台。观测可含位置、电量、是否载货、局部障碍和拥堵估计；动作可含移动、取放、等待和充电。目标既有配送效率，也有碰撞、电量耗尽、禁区进入和人工接管等约束。

一个候选状态 $S_t$ 必须让给定状态和动作后的下一状态—奖励分布不再依赖更早历史。若“拥堵估计”没有包含移动人员的趋势，单帧观测可能不满足 Markov 性；可加入历史、过滤后的信念状态，或明确按部分可观测问题处理。不能因为网络接收一个向量就声称状态充分。

奖励可写为配送收益减时间与能耗，但安全代价不宜只靠一个可被抵消的有限负数。机器人若通过更快碰撞换取更多配送，数值回报可能上升而系统不可接受。硬动作屏蔽、速度范围、停止距离和人工接管应独立于学习奖励。

MDP 合同先固定时间与终止

任务可写成 $\mathcal M=(\mathcal S,\mathcal A,p,\rho_0,\gamma)$。执行 $A_t$ 后收到 $R_{t+1}$ 和 $S_{t+1}$，折扣回报为

一趟配送完成可是真终止；仿真器时间上限通常只是截断。真终止后不再自举，截断处若环境本可继续，则是否自举取决于持续任务定义。把两者都存成一个完成标志会系统改变价值目标。

初始分布也属于任务。只从充满电、空走廊开始训练，不能代表低电量和拥堵部署。应按班次、地图、负载和设备版本定义训练与评价初始分布。

已知模型时，动态规划给出完整期望备份

若转移和奖励已知且状态动作可枚举，策略评估反复应用

策略改进对动作价值取更优动作；价值迭代把评估与改进合并。它利用所有下一状态的概率做期望，不需要通过随机轨迹等待稀有转移，却要求模型可信并能完成备份。

仓库地图大、人员运动随机时，完整枚举可能不可行。可用异步备份、搜索或函数逼近，但“动态规划”不再意味着精确遍历。停止阈值、扫描顺序与误差范数要记录。

只有样本时，Monte Carlo 与 TD 交换偏差和方差

Monte Carlo 等到轨迹结束，用实际 return-to-go 更新；它不自举，但长轨迹回报方差可能大。一步 TD 用

可以在线更新，却把当前价值估计带入目标。资格迹在多步回报之间建立连续折中。比较时必须统一折扣索引、终止掩码和步长。

Q-learning 把探索数据用于贪心目标

Q-learning 的样本目标为

行为策略可为 $\epsilon$-greedy，目标却对下一状态取贪心最大值，因此是离策略方法。表格收敛结论要求有限稳定 MDP、充分访问和适当步长；函数逼近、自举和离策略数据同时出现时，不继承简单表格保证。

最大化会选择噪声高估动作，回放数据又改变训练分布。目标网络、双估计与梯度裁剪可改善某些数值问题，却不修复错误奖励、遗漏状态或分布外动作。应记录 TD 误差、Q 值尺度、动作频率、回放年龄和目标更新。

策略梯度直接优化动作分布

参数化策略 $\pi_\theta(a\mid s)$ 可处理随机或连续动作。REINFORCE 使用

与动作无关的基线不改变理想期望，却可降方差。actor–critic 用评论器估计价值或优势，使 actor 更频繁更新；评论器自举偏差会进入策略方向。on-policy 更新要求数据与当前策略足够接近，旧日志不能无权重地反复当当前样本。

策略熵可保持随机性，但更高熵不是自动安全探索。连续动作的高斯策略还需限制方差与动作边界，并正确处理裁剪后概率。部署策略若改成确定性均值，评价分布也随之改变。

模型与离线路径改变证据来源

学习动力学可在模型中规划或产生 Dyna 模拟更新，减少真实交互需求；模型误差会沿轨迹累积，策略还会寻找模型漏洞。仓储任务可从真实日志状态启动短滚动，并用模型集成分歧限制范围，但仍需真实受控验证。

只有历史日志时，离线强化学习必须留在行为支持附近。行为克隆是关键基线；保守 Q、策略偏离约束和悲观模型可抑制无证据动作。若日志从未在低电量拥堵时尝试绕行，离线算法不能凭函数外推建立绕行安全性。

离线策略评估可使用直接价值模型、重要性采样或组合估计。它们分别依赖模型正确性、行为概率与覆盖。长轨迹权重会高方差，未知行为策略需估计。多种估计一致能增加证据，却不等于在线保证。

探索覆盖必须服从独立约束

没有覆盖，价值和策略无法区分未试动作；无约束随机探索又可能造成不可接受事件。可在仿真中扩大探索，在真实系统中限制动作集合、速度、区域和操作时段，由人工或经过验证的控制器接管边界状态。乐观值、熵奖励和内在奖励都是探索启发，不是安全证明。

探索数据的评价要记录状态动作占用、每类事件数和策略版本。只给 $\epsilon$ 值看不出访问了哪些低电量或拥堵状态。多个机器人同时更新还会使环境相对单个策略非平稳，应冻结版本或显式记录联合策略。

奖励投机从指标缝隙进入

若奖励只计算单位时间配送数，机器人可能忽略能耗、阻塞其他通道或频繁请求人工完成困难部分。把每个问题加一个负权重仍可能留下新缝隙。应把业务目标拆成回报、硬约束、审计指标和人工责任。

训练期间监测奖励组成、真实业务指标和行为视频或轨迹。建立反事实场景，例如传感器失真、任务取消、拥堵突增和奖励延迟。策略若利用重置、时间上限或计数器漏洞，应修复环境合同并重新训练，不能把漏洞所得高回报当算法提升。

学习曲线和多种子是主证据

强化学习结果随环境随机性、探索、初始化、回放采样和并行时序变化。报告最终最好一次回报会产生选择偏差。应预先固定独立种子集合，画出随真实环境步数与墙钟时间的曲线，报告每种子的回报、成功率、约束事件和样本效率。

同一策略的多回合评价若共享地图和随机种子，不一定是独立样本。置信区间应按真正独立单位重采样。超参数若在评价种子上选择，会污染区间；需要独立调参和最终评价种子。

可复现性是一条版本化轨迹

至少保存环境和奖励版本、状态动作定义、终止与截断、算法和网络、优化器、折扣与步长、探索日程、回放设置、归一化、所有随机种子、训练步数、硬件软件版本、检查点选择规则和原始逐回合日志。离线任务还要保存数据来源、行为策略版本和划分哈希。

评价脚本应从冻结检查点独立运行，不复用训练中的探索状态。确定性评价和随机策略评价回答不同问题，都要注明。恢复训练时需保存优化器、回放缓冲区、随机数状态和环境进度；只有权重文件可能无法复现后续曲线。

算法比较要给相同真实交互预算、调参预算与评价频率。模型生成的模拟步不能与真实环境步混为同一横轴；并行环境增加吞吐，不等于减少总样本。

部署边界比离线得分更严格

上线前依次经过环境单元测试、历史回放、仿真压力测试、影子运行、受控小流量和扩大范围。独立安全层执行动作屏蔽、速度和电量限制、碰撞停止与人工接管；学习策略不可关闭这些机制。超出训练分布、传感器异常、延迟超限或置信不足时回退到经批准策略。

监控不仅看平均回报，还看状态动作分布漂移、约束事件、接管率、动作饱和、推理延迟和奖励组成。新地图、固件、传感器或其他机器人策略变化都可能使 MDP 改变，需要重新评价。日志应支持追溯某个动作来自哪个策略版本和观测。

仿真通过、离线评估较高、多种子稳定和保守训练都只是分层证据，不能单独声称在线安全。真实部署授权来自技术验证、独立约束、领域审批和持续运维的组合。

方法选择沿案例约束展开

若仓库模型已知且规模小，动态规划提供可解释基线；只有交互样本时，TD 估计价值，离散动作控制可从 Q-learning 起步；连续速度或随机策略接口适合策略梯度和 actor–critic。真实交互昂贵时可学习模型提高数据利用率，但要限制滚动；只能使用历史日志时转为离线方法，先检查行为支持和离线评价。

选择不是一次性的。先用表格或简单策略验证奖励、终止和 Bellman 目标，再扩展函数逼近；先通过行为克隆和规则控制器建立基线，再比较学习策略；任何更高回报都要同时通过约束、覆盖、复现和部署门禁。

练习

关系与资源

• Markov 决策过程 提供状态、策略、回报、占用与 Bellman 合同。
• 动态规划与时序差分 连接完整期望、Monte Carlo、自举与资格迹。
• Q-learning 连接离策略价值控制、探索和函数逼近风险。
• 策略梯度与 actor–critic 连接随机策略、优势和评论器。
• 基于模型与离线强化学习 连接模型偏差、日志支持和离线评价。