基于模型与离线强化学习

学习模型后在模型中问“如果”

未知环境仍可记录转移

基于模型强化学习用这些数据估计奖励 $\hat r(s,a)$ 和转移 $\hat P(s'\mid s,a)$，或直接学习条件生成模型 $\hat p(s',r\mid s,a)$。给定模型后，可以用价值迭代、树搜索、轨迹优化或滚动时域控制比较尚未真实执行的动作。

表格环境可用计数估计转移概率和奖励均值；连续环境可预测状态增量而非绝对状态，并显式建模随机性。确定性均方误差模型会把多种可能下一状态平均成一个可能不存在的状态。概率模型、模型集成或分位数可表达部分不确定性，但有限数据下的校准仍需验证。

一步预测准确不保证规划准确

规划策略会主动寻找模型预测的高回报区域，常把细小系统误差放大。一步验证数据来自行为策略分布，而新策略产生不同状态动作占用；即使行为分布上的均方误差低，模型在新轨迹上也可能失真。状态误差还会递归进入下一步输入，形成闭环累积。

模型验证可从三层展开：在留出真实转移上检查一步负对数似然或误差；从相同初始状态执行开环动作序列比较多步状态分布；让候选策略在模型和受控真实环境中产生闭环轨迹，比较占用、回报和约束。第三层需要真实交互，不能由前两层逻辑推出。

不确定性惩罚或模型集成可让规划回避分歧大的区域，但模型共同漏掉同一机制时会给出虚假的一致。保守范围、物理约束和越界终止应来自明确知识，并与学习误差分开记录。

Dyna 交替使用真实经验与模型经验

Dyna 把直接强化学习与模型规划合并。每收到一个真实转移，算法可执行三件事：用真实样本更新价值；用该样本更新模型；从曾访问的状态动作抽取若干项，让模型生成模拟转移并继续更新价值。表格 Dyna-Q 的模拟目标仍是

模拟更新增加每次真实交互后的计算利用率，却没有创造新的真实证据。模型若错误，重复模拟会重复放大错误。规划采样分布也重要：均匀抽已访问项、优先抽 Bellman 误差大项或从当前状态滚动，会强调不同区域。

模型可只用于短滚动，从真实数据状态起步，以限制状态漂移；滚动越长，潜在收益与误差累积都更大。应比较零步、短步和长步模型数据比例，并在真实留出转移与最终环境评价中验证。

离线强化学习只有固定日志

离线强化学习得到固定数据集

数据由一个或多个行为策略 $\mu(a\mid s)$ 产生，训练期间不能向环境查询新动作结果。$d_i$ 应区分真正终止和时间截断。还要记录轨迹边界、行为概率、策略版本、状态缺失和数据筛选规则。

核心困难不是“数据量少”一个维度，而是支持集不匹配。若目标策略 $\pi$ 在某状态选择日志几乎从未执行的动作，奖励、转移和 $Q(s,a)$ 都缺乏直接证据。函数逼近仍会输出数值，Bellman 最大化还可能专挑被高估的分布外动作，随后用该高估值自举，形成外推误差。

数据支持应按状态邻域、动作、时间、行为策略版本和结果严重性检查。仅统计全局动作频率会掩盖“某动作在这个状态从未出现”。连续动作可比较目标动作到日志动作的距离或密度，但高维密度本身也可能不可靠。

保守方法限制利用无证据高值

最简单的离线基线是行为克隆，它不优化长期回报，却提供“模仿已有决策”的参考。策略约束方法限制 $\pi$ 与估计行为策略的偏离；保守价值方法压低日志外动作相对于日志动作的价值；模型方法对不确定滚动惩罚或只在支持内规划。它们都在收益与偏离风险之间作选择。

过度保守会永远复制次优行为，且日志中的危险动作也可能被模仿。行为概率估计错误会让支持判断失真。需要按支持强弱报告候选策略的动作偏离、保守惩罚、预计回报和约束事件，并保留纯行为策略作为部署回退。

离线策略评估只能在假设下估计

目标策略上线前希望估计

直接法学习模型、价值或奖励，再对目标策略求期望；其方差可较低，但会受函数逼近和分布外偏差。重要性采样用行为轨迹重加权。若行为概率已知，整条轨迹权重为

普通估计可写为 $\hat V_{\mathrm{IS}}=n^{-1}\sum_iw_iG_i$。它要求目标策略选择的动作在行为策略下有正概率；长时域的比率乘积可产生极高方差。自归一、逐决策和结合直接法的估计能改变偏差方差，却不能消除无覆盖问题。

行为概率若由数据再估计，会增加误差；确定性日志对不同动作没有重加权支持。轨迹来自同一主体或时间段时也不独立。应报告有效样本量、最大权重、权重分布、支持违例和多种估计器差异，并用按轨迹或主体的重采样表达不确定性。离线策略评估是模型化证据，不是上线结果。

多智能体与非平稳边界

多智能体系统可用状态 $s$、联合动作

和转移 $P(s'\mid s,\mathbf a)$ 描述。每个智能体通常只观察 $o^i=O_i(s)$，执行策略为 $\pi_i(a^i\mid o^i)$。即使全局状态满足 Markov 性，单个局部观测也可能不满足；把局部观测直接当完整状态会让价值模型混合多个隐藏情形。日志应保存可用的全局训练信息、每个智能体的局部观测与动作、联合时间戳、团队和个体奖励以及策略版本。

集中训练、分散执行允许训练时的评论器或价值分解器读取全局状态与联合动作，执行时每个策略只使用本地可用信息。集中评论器可减少对其他智能体行为的混淆，但不能让执行策略访问部署时不存在的全局变量。训练—执行接口需逐字段核对；若 actor 通过共享缓存泄漏了其他智能体未来动作，离线指标会失真。

其他智能体也在学习时，对智能体 $i$ 而言，有效转移分布会随 $\pi_{-i}$ 改变。昨天日志中的同一局部状态动作，今天可能因队友或对手策略不同产生另一结果。经验回放混合多个策略版本会破坏平稳假设；可冻结部分策略、按版本分层、把对手策略摘要纳入状态或使用集中评论器，但这些做法只缓解问题，不给出一般收敛保证。

团队共享一个奖励时还会出现信用分配：成功或失败由哪些个体动作造成并不明确。可比较全局回报、个体辅助奖励、差分奖励或以其他智能体动作作反事实基线的优势估计。辅助信号若与团队目标不一致，会诱导互相争抢或推卸任务；反事实基线又依赖评论器正确。应在固定队友、变化队友、角色交换和通信中断切片上分别评价。

离线多智能体数据的联合支持比单体更稀疏。即使每个动作单独常见，某个联合组合也可能从未出现；把各智能体边缘行为概率相乘还隐含条件独立，通常需要核对。单智能体的重要性权重、保守值或覆盖结论不能直接外推。多智能体训练稳定、测试回报高或集中评论器保守，都不构成一般收敛或在线安全保证。

离线结果不能声称在线安全

离线数据只覆盖历史行为和环境。奖励可能漏掉真实代价，传感器、用户、对手和操作流程会漂移；保守算法也只能相对于其模型与数据保守。没有任何离线回报估计能单独保证在线无事故。

部署应另建约束与治理：独立安全规则、动作屏蔽、速率和范围限制、异常检测、行为策略或人工回退、影子运行、分阶段流量、紧急停止、日志和事故复盘。候选先在仿真和受控环境测试，再由有权限的流程决定是否扩大。强化学习策略不得绕过硬件联锁或领域审批。

评价至少同时报告回报、最坏切片、约束事件、支持偏离、置信区间、推理延迟和回退触发。即使这些都通过，也只支持规定环境和测试范围内的证据，不是一般在线安全保证。

练习

关系与资源

• Q-learning 提供动作价值、自举、离策略和外推高估基础。
• 策略梯度与 actor–critic 连接策略分布、行为数据和重要性比率。
• 分布偏移与不确定性 支持模型滚动和日志外动作的风险分析。
• Markov 决策过程 定义转移、奖励、策略与占用分布。
• 强化学习综合复习 汇总方法选择、证据与部署边界。