长期收益强化学习算法研究进展：从时间信用分配到 Agentic RL

设想一个智能体正在执行一项跨越 500 个时间步的复杂任务：它在第 20 步拾取了一把钥匙，在第 70 步观察并记住了一串门禁密码，随后穿过漫长的走廊与干扰房间，最终在第 500 步打开保险箱并拿到全回合唯一的正奖励 $+1$ ；或者设想一个大语言模型代码智能体（LLM Coding Agent），连续执行了 40 轮文件检索、代码编辑、终端编译与日志排查，直到最后一刻才收到单元测试通过与否的二元成败信号。

在形式上，标准强化学习的目标函数早已将远期收益囊括其中：

J(\pi)=\mathbb{E}_{\tau\sim \pi} \left[ \sum_{t=0}^{T}\gamma^t r_t \right],

其中 $\tau=(s_0,a_0,r_0,\dots,s_T)$ 表示策略 $\pi$ 诱导出的轨迹， $\gamma\in[0,1)$ 为折扣因子。然而在真实训练动力学中，当环境同时呈现视野漫长（Long Horizon）、奖励极度稀疏（Sparse Reward）、反馈严重延迟（Delayed Feedback）以及状态部分可观测（Partial Observability）时，无论是依赖单步自举的时序差分（TD）学习，还是将整条轨迹总回报无差别广播给每一步的策略梯度算法，都会在漫长的时间跨度面前迅速失效——前者受制于价值回传的指数级衰减与累积偏差，后者则被数百步无关动作带来的梯度方差彻底淹没。

纵观过去三十年直至 2025–2026 年的前沿突破，围绕“如何让强化学习真正驾驭长期收益”，学界与工业界已经凝聚出四条核心设计哲学：

跨越 Bellman 单步瓶颈（从时间距离衰减走向跨期因果归因）：传统 TD( $\lambda$ ) 与 GAE 严格按照时间步距离做几何指数衰减，无法分辨“决定成败的早期关键准备”与“夹杂其间的数百步平庸操作”。显式时间信用分配（RUDDER、TVT、Synthetic Returns、COCOA、HCAPO）通过序列回报差分分解、记忆读取注意力与事后反事实推断，绕开中间冗余步骤，直接在早期关键决策与终局结果之间架设跨期梯度直通车。
折叠有效决策视野（用时间抽象与动作分块替代原子级高频微操）：当任务需要连续执行上千个底层原子动作时，在单步粒度上直接搜索无异于大海捞针。从经典的 Options 框架、分层子目标（HRL）到近年大放异彩的动作分块（Action Chunking，如 Q-Chunking、AC3、ACSAC、AQC），核心巧思都是将连续 $K$ 步时序连贯动作封装为基本决策与评估单元，将有效规划视野直接折叠为原来的 $1/K$ 。
局部推演与全局自举解耦（短程世界模型 + 终端价值兜底）：单步环境转移模型在自回归滚动数十步后，微小的单步预测误差会被指数级放大（Compounding Error），导致远期想象轨迹彻底脱离真实物理流形。现代长时域世界模型（DreamerV3、TD-MPC2、MAC）果断放弃了“用模型开环预测漫长未来”的幻想，将动力学推演严格限制在短程潜空间窗口或单个动作块跨度内，而将窗口之外的漫长远期收益交由终端价值函数自举兜底。
离线先验破冰与保序护栏内演进（Offline-to-Online + 防黑客过程监督）：在长时域稀疏任务中从零开展在线随机探索几乎必然遭遇样本荒漠。现代工程流水线默认从离线历史日志或示范数据中提取序列级行为先验（CQL、IQL、OGBench），并在多轮智能体（Agentic RL）中结合满足裂项相消保序性的势函数塑形（PBRS）、过程奖励模型（PRM）与硬性环境断言，在注入稠密推进信号的同时严防长序列奖励黑客（Reward Hacking）。

在展开具体算法前，还需明确文献中“长期收益 RL”所对应的三类不同问题设定：

第一类是有限时域稀疏奖励任务（Finite-Horizon Sparse-Reward Tasks），代表场景包括机器人长程操作、Atari 硬探索游戏、网页导航与 AppWorld 软件交互，具有明确的回合（Episode）终止边界，通常仅在任务最终达成时给出非零反馈；
第二类是长时域目标条件强化学习（Long-Horizon Goal-Conditioned RL），目标状态 $g$ 显式作为策略与价值函数的输入 $\pi(a\mid s,g)$ ，核心矛盾在于目标空间体积庞大且通往远端目标的中间路径极易断裂；
第三类是无终止边界的持续性任务（Continuing Tasks），涵盖推荐系统长期用户留存、数据中心算力与能耗调度、库存持续补货等场景；在此类任务中，人工设定折扣因子往往只是一种妥协近似，平均奖励准则（Average-Reward Criterion）更能直接刻画系统在平稳分布下的长期稳态收益：

\rho(\pi)= \lim_{T\to\infty} \frac{1}{T} \mathbb{E}_{\pi} \left[ \sum_{t=0}^{T-1} r_t \right].

下文将沿着十条互补的技术主线，系统拆解长期收益强化学习的数学机制、代表工作与工程选型准则。

1. 长期收益 RL 的核心症结与问题解耦

在马尔可夫决策过程（MDP）框架下，强化学习环境由状态空间 $\mathcal{S}$ 、动作空间 $\mathcal{A}$ 、转移分布 $P(s'\mid s,a)$ 、奖励函数 $r(s,a,s')$ 、初始状态分布 $\mu_0$ 以及折扣因子 $\gamma$ 共同定义。策略 $\pi(a\mid s)$ 致力于最大化状态价值函数与动作价值函数：

V^{\pi}(s) = \mathbb{E}_{\pi} \left[ \sum_{k=0}^{\infty} \gamma^k r_{t+k} \mid s_t=s \right], \qquad Q^{\pi}(s,a) = \mathbb{E}_{\pi} \left[ \sum_{k=0}^{\infty} \gamma^k r_{t+k} \mid s_t=s,a_t=a \right].

在短时域、稠密奖励任务中，局部动作与即时后续回报之间的统计关联清晰易学。一旦进入长时域稀疏奖励场景，训练困难便分化为四个相互耦合的维度：

时间信用分配（Temporal Credit Assignment）：终局奖励应归因于哪些早期关键动作？当智能体在第 200 步成功开门时，真正决定成败的往往是第 20 步拾取钥匙、第 70 步记录路线信息以及第 130 步规避障碍，第 199 步的临门一脚仅是顺理成章的收尾。
价值传播（Value Propagation）：终局反馈如何高效回传至早期状态？一阶时序差分（TD）每次 Bellman 备份仅将奖励信号向前推进一个时间步，在数百步的延迟下，早期状态的价值估计需要消耗海量样本才能形成有效梯度。
稀疏探索（Exploration）：首个成功轨迹从何而来？若初始策略在随机探索下触达目标状态的概率趋近于零（例如 $p^H$ 随步数 $H$ 指数衰减），任何精密的信用分配机制都将因缺乏正样本而失效。
时间抽象（Temporal Abstraction）：如何将底层原子动作提炼为技能、子目标、选项（Option）、动作块（Action Chunk）或高层计划？一旦有效决策频率从每步一次降低为每 $K$ 步一次，有效规划视野将大幅缩短。

Pignatelli 等人在 Temporal Credit Assignment Survey 中将信用分配严格定义为“从有限经验中推断过往动作对未来结果的影响”，并指出真实环境反馈往往伴随高噪声与长延迟，极少直接揭示因果责任（Causal Responsibility）。与此同时，工程实践中还需仔细辨析五个常被混用的概念维度：

决策视野长（Long Horizon）：回合总步数或有效决策链条极长。即便每步都提供稠密奖励，只要策略需要在漫长序列中维持稳定控制（如长程导航、多工序装配、长期留存优化），依然属于长时域优化问题。
奖励延迟大（Reward Delay）：关键决策与结果反馈之间相隔大量时间步。延迟奖励可以与稠密小奖励并存，但决定最终成败的往往是早期的准备工作。
奖励稀疏度高（Reward Sparsity）：绝大多数时间步反馈为零，首要瓶颈在于如何首次采到非零奖励样本。
部分可观测性强（Partial Observability）：当前观测 $o_t$ 不满足马尔可夫性质，智能体必须依赖历史记忆做决策，使得长程信用分配与记忆表征学习深度纠缠。
持续性目标（Continuing Objective）：任务无自然终点，核心诉求在于优化稳态平均效用或长期约束满足率。

不同业务场景往往呈现出上述维度的不同组合：网页智能体通常兼具长视野、稀疏终局反馈、部分可观测性与复杂结构化动作空间；推荐系统较少面临单回合终局稀疏奖励，却受制于延迟业务指标与持续性目标；机器人拾取与装配则主要受困于稀疏探索与富含接触的动力学控制。在工程选型时，可以先通过以下诊断矩阵定位核心矛盾：

核心诊断问题	优先技术路线
随机或现有策略几乎采不到成功轨迹？	稀疏探索、自动课程学习、离线行为先验、专家示范
已有成功轨迹，但难以区分关键步骤与冗余动作？	RUDDER、TVT、Synthetic Returns、COCOA、HCAPO、过程奖励
底层原子动作粒度过细，导致决策链条过长？	分层强化学习（HRL）、Options、子目标生成、动作分块（Action Chunking）
在线试错成本高昂或存在物理/业务安全风险？	离线强化学习（Offline RL）、离线到在线微调、保守策略更新
环境动力学局部可预测且真实交互样本昂贵？	世界模型（World Model）、短程模型预测控制（MPC）、潜空间规划
任务无自然终止边界、关注稳态长期收益？	平均奖励强化学习、持续性任务优化、离策略评估（OPE）
奖励依赖外部验证器或人类偏好模型？	势函数奖励塑形（PBRS）、过程奖励模型（PRM）、防奖励黑客约束

2. 多步 TD、资格迹与 GAE：价值传播的基础设施

最基础的改进路线保持任务结构不变，通过重塑回报或优势函数的估计器来加速远期信号回传。标准一阶 TD 学习采用 $y_t=r_t+\gamma V(s_{t+1})$ 作为自举（Bootstrap）目标，具有低方差与高稳定性的优点，但在长延迟场景下传播极慢——若终局奖励位于第 $T$ 步，信息传回第 $0$ 步至少需要 $T$ 次顺序迭代，且沿途任何一处价值函数逼近误差都会污染上游。若将自举跨度扩展为 $n$ 步，多步回报（ $n$ -step Return）可一次性纳入未来 $n$ 步的真实奖励：

G_t^{(n)} = \sum_{i=0}^{n-1}\gamma^i r_{t+i} + \gamma^n V(s_{t+n}).

增大 $n$ 能够将终局信号的回传速度提升 $n$ 倍，且将自举近似偏差压低至 $\gamma^n$ 量级；但代价是累加了 $n$ 步环境状态转移与策略采样的随机性，导致回报估计方差随 $n$ 显著增长。此外，在离策略（Off-Policy）训练中，若轨迹采自旧行为策略 $\mu$ 而评估目标为当前策略 $\pi$ ，多步连乘重要性采样比率 $\prod_{i=0}^{n-1}\frac{\pi(a_{t+i}\mid s_{t+i})}{\mu(a_{t+i}\mid s_{t+i})}$ 的方差更会呈指数级爆炸。

为了在单步低方差与多步快传播之间取得平衡，TD( $\lambda$ ) 与资格迹（Eligibility Traces）对所有步数的回报做几何指数加权平均：

G_t^{\lambda} = (1-\lambda) \sum_{n=1}^{\infty} \lambda^{n-1}G_t^{(n)}.

在后向视图（Backward View）中，资格迹通过向量 $e_t=\gamma\lambda e_{t-1}+\nabla_{\theta} V_{\theta}(s_t)$ 为近期访问过的状态或模型参数维持逐步衰减的“短期记忆”，并结合单步 TD 误差 $\delta_t=r_t+\gamma V_{\theta}(s_{t+1})-V_{\theta}(s_t)$ 将更新信号沿访问轨迹向后分配。

在策略梯度与 Actor-Critic 框架中，GAE（Generalized Advantage Estimation）将这一多步几何加权思想引入优势函数估计。给定价值函数的单步 TD 残差 $\delta_t^V=r_t+\gamma V(s_{t+1})-V(s_t)$ ，GAE 定义优势估计器为：

\hat A_t^{\text{GAE}(\gamma,\lambda)} = \sum_{l=0}^{\infty} (\gamma\lambda)^l \delta_{t+l}^{V}.

通过调节 $\lambda\in[0,1]$ ，GAE 在单步 TD 残差（ $\lambda=0$ ，高偏差低方差）与蒙特卡洛回报（ $\lambda=1$ ，无偏高方差）之间实现平滑过渡，成为 PPO 等主流策略优化算法的标配底座。当训练进入分布式异步采样或重放缓冲区（Replay Buffer）场景时，离策略多步修正算子变得不可或缺：Retrace( $\lambda$ ) 通过将每步重要性采样系数截断为 $c_s = \lambda \min\big(1, \frac{\pi(a_s\mid x_s)}{\mu(a_s\mid x_s)}\big)$ ，在消灭重要性采样方差爆炸的同时严格保证了离策略多步 Bellman 算子的 $\gamma$ -收缩映射性质；IMPALA 则在 Actor-Learner 分布式架构中引入 V-trace，利用双重截断系数修正采样 Actor 滞后策略与 Learner 最新策略之间的分布偏移。2025 年提出的 Deep Reinforcement Learning with Gradient Eligibility Traces 进一步将梯度 TD 资格迹推广至深度非线性网络，证明经典的多步迹机制在现代深度强化学习中依然具备挖掘潜力。

方法	核心机制	长期收益增益	能力边界
1-step TD	单步自举更新	极低方差，训练稳定	远期奖励需经逐轮迭代缓慢回传
$n$ -step Return	显式累加 $n$ 步奖励后自举	按跨度 $n$ 倍速回传终局信号	跨度增大时方差剧增，离策略修正困难
TD( $\lambda$ ) / 资格迹	多步回报的几何加权与后向迹分配	兼顾传播速度与方差控制	按时间距离均匀衰减，无法跳步归因
GAE	指数加权 TD 残差估计优势函数	显著改善策略梯度的偏差-方差折中	强依赖基线价值函数 $V_\theta$ 的表征精度
Retrace / V-trace	截断重要性采样修正多步残差	支撑大规模分布式异步多步训练	仅修正分布偏移，不涉及探索与任务解构

从优化机制审视，多步 TD、资格迹与 GAE 构成了长时域强化学习的底层算子，专注于提升已有奖励信号的沿途传播效率；然而由于它们的权重 $(\gamma\lambda)^l$ 严格按照时间距离做无差别指数衰减，当早期关键动作与结果反馈之间夹杂数百步无关操作时，必须引入更具因果与结构针对性的显式信用分配机制。

3. 显式时间信用分配：跨时间步的因果与关联归因

面对数百步延迟的终局奖励，显式时间信用分配（Explicit Temporal Credit Assignment）的核心思想是：打破按时间步挨个倒传的 Bellman 锁链，直接辨识出历史轨迹中究竟哪几个关键步骤促成了最终结果。沿着“如何衡量历史动作对远期结果的真实贡献”，这一领域经历了从序列回报分解、外部记忆注意力传输，到状态关联预测、反事实因果推断以及大语言模型事后推理归因的五代演进。

3.1 轨迹回报重分配与记忆价值传输

RUDDER（Return Decomposition for Delayed Rewards）开创了通过序列模型进行奖励重分配（Reward Redistribution）的先河。其直觉非常犀利：如果在第 20 步捡起钥匙的瞬间，系统预测整条轨迹最终能拿到宝箱奖励的期望值发生了剧烈阶跃（从 $0.05$ 跳升至 $0.80$ ），那么原本要等到第 500 步才发放的终局奖励，就应该在事后按预测增益被提前“挪”到第 20 步发放！

形式化地，给定原始回合回报 $G_0=\sum_{t=0}^{T} r_t$ ，RUDDER 训练一个序列回归模型（如 LSTM 或 Transformer） $g_\phi(\tau_{0:t})$ ，根据截至时刻 $t$ 的状态-动作前缀预测整条轨迹的最终总回报，并定义相邻时间步的预测差分作为重分配奖励：

r'_t = g_\phi(\tau_{0:t}) - g_\phi(\tau_{0:t-1}).

在满足回报等价性（ $\sum_{t=0}^T r'_t = \sum_{t=0}^T r_t$ ，即最优策略严格不变）与理想分解的条件下，所有远期奖励已被提前折算至触发该结果的早期关键动作处，使得任意时刻 $t$ 之后剩余轨迹的期望未来重分配奖励恒等于零：

\mathbb{E}\left[\sum_{k=1}^{T-t} r'_{t+k}\,\Big|\, s_t,a_t\right]\approx 0.

一旦满足该条件，动作价值函数 $Q(s_t, a_t) = \mathbb{E}[r'_t \mid s_t, a_t]$ 的学习便直接退化为对单步即时重分配奖励 $r'_t$ 的监督回归，彻底消除了跨越数百步的 Bellman 自举偏差与方差！不过，RUDDER 的工程边界在于：回报分解模型必须在有限样本中准确识别关键事件；在高维视觉输入或长轨迹中，序列模型容易将偶然共现的统计伪相关误判为关键贡献。

当长时域任务同时伴随强部分可观测性（POMDP）时，早期事件往往通过“写入外部记忆并在远期读取”的方式影响最终收益。Temporal Value Transport（TVT）针对此类需要跨期回忆（Recall）的任务，利用外部记忆模块的读取注意力权重构建了一条“价值时空隧道”：若智能体在远期时刻 $t$ 做出高价值决策时，其记忆读取头通过注意力权重 $w_{t,k} \in [0,1]$ 高度聚焦于过去时刻 $k$ （ $k \ll t$ ）写入的记忆槽 $m_k$ ，TVT 便在時刻 $k$ 的奖励上直接叠加来自时刻 $t$ 的折扣价值传输项：

\tilde{r}_k = r_k + \alpha \, w_{t,k} \, V(s_t), \qquad \Delta V(m_k) \propto w_{t,k}\,\Delta V(s_t).

这种机制使“早期观察门禁密码、穿过百步无关迷宫后凭记忆开门”的任务得以完全绕过中间迷宫的无关探索步，直接完成跨期价值绑定。其潜在局限在于：注意力权重仅反映表征读取相关性，读取某一历史记忆未必等同于该时刻执行的动作对最终奖励负有因果责任。

3.2 状态关联预测与反事实贡献分析

为了摆脱对显式外部记忆槽结构的依赖，Synthetic Returns 提出了状态关联学习（State-Associative Learning）。传统 TD 依赖 $s_0 \leftarrow s_1 \leftarrow \cdots \leftarrow r_T$ 的逐级回传，而 Synthetic Returns 直接训练一个辅助网络 $\hat{g}(s_k)$ ，预测任意早期状态 $s_k$ 对未来任意远期时刻 $t > k$ 奖励 $r_t$ 的增量预测贡献（即联合给定 $(s_k, s_t)$ 相比仅给定 $s_t$ 对预测 $r_t$ 的提升量），并将该预测值作为合成回报（Synthetic Return）直接注入時刻 $k$ 的优势估计。

然而，无论是序列分解、记忆注意力还是状态关联，本质上仍在捕捉统计共现。更严格的信用分配必须回答反事实问题（Counterfactual Question）：“假使当时在状态 $s_t$ 没有执行动作 $a_t$ ，而是改选其他替代动作 $\tilde a_t$ ，最终结果分布 $Y$ 会发生多大改变？”建立在事后信用分配（Hindsight Credit Assignment, HCA）框架之上的 COCOA 利用反事实贡献分析（Counterfactual Contribution Analysis）将时间信用形式化为期望结果的反事实差分：

C_t(s_t, a_t \to Y) \approx \mathbb{E}[Y\mid s_t,a_t] - \mathbb{E}_{ \tilde a_t \sim \pi(\cdot\mid s_t)}[\mathbb{E}[Y\mid s_t,\tilde a_t]],

并通过后验逆动作分布 $P(a_t \mid s_t, Y)$ 与先验策略 $\pi(a_t \mid s_t)$ 的比值对未来结果重加权。这一形式化将信用分配从“时间邻近度”提升到了“动作是否实质性改变了未来结果分布”的因果层面：如果无论在 $s_t$ 选什么动作都改变不了最终结果 $Y$ （即 $P(a_t \mid s_t, Y) = \pi(a_t \mid s_t)$ ），则该步动作获得的信用严格为零。其工程代价在于后验分布 $P(a_t \mid s_t, Y)$ 无法在环境中直接读取，必须训练额外的事后逆模型，在连续高维动作空间中容易引入估计方差。

3.3 多轮 LLM Agent 中的细粒度事后信用分配

随着大语言模型智能体（LLM Agents）成为研究焦点，显式信用分配在多轮工具交互轨迹中迎来了爆发。一次复杂的智能体回合往往跨越数十轮思维链推理、API 调用、浏览器操作与错误恢复，而环境通常仅在回合结束时给出一个二元成败分（ $R \in \{0, 1\}$ ）。

如果直接套用 GRPO 或 RLOO 等回合级无价值网络（Value-free）策略梯度算法，同一回合的优势值 $\hat{A}_{\text{episode}}$ 会被无差别地广播给轨迹中的所有几十个交互轮次与数千个词元——这意味着智能体在成功轨迹中间犯下的低级语法错误、无效网页点击或冗余死循环也会被同等强度地正向强化！为此，HCAPO（Hindsight Credit Assignment Policy Optimization）引入事后推理评论家（Hindsight Reasoning Critic），在回合结束后俯瞰完整轨迹 $\tau$ ，对每个历史交互步 $t$ 的实际推进贡献做精细的事后重打分，在 WebShop 与 ALFWorld 等多步基准上大幅降低了训练崩溃率。Agentic Credit Assignment Survey 进一步将 2024–2026 年间的智能体信用分配方法按作用粒度归纳为词元（Token）、片段（Segment）、步骤（Step）、轮次（Turn）与多智能体（Multi-Agent）五个层级。

方法代表	归因信号构造机制	作用粒度	核心归纳偏置	典型失效边界
RUDDER	序列模型的总回报差分分解	单步 $(s_t, a_t)$	关键动作伴随预测回报的阶跃变化	高维轨迹下易将虚假共现当成因果贡献
TVT	外部记忆模块的跨期读取权重	记忆写入时间步	被远期高价值决策检索的记忆具有高贡献	注意力检索相关性与真实因果责任可能背离
Synthetic Returns	状态到远期奖励的直接回归预测	状态 $s_t$	特定瓶颈状态与远期回报存在稳定统计关联	策略剧烈演化时关联预测器易受分布偏移影响
COCOA / HCA	基于后验分布的反事实期望差分	单步动作 $a_t$	改变未来结果分布的动作才具备真实信用	反事实分布不可直接观测，逆模型估计方差高
HCAPO	LLM 事后反演与步骤级重加权	交互轮次 / 工具调用	语义可解释的中间推理轨迹可由事后视角评判	依赖判别器或验证器质量，易受奖励黑客攻击

从工程架构审视，显式信用分配模块相当于在原始环境与策略优化器之间挂载了一层奖励翻译器（Reward Translator）：它接收粗粒度的终局结果与完整历史轨迹，输出细粒度的密集归因信号。当该翻译器准确捕捉任务因果结构时，长时域样本效率将成倍跃升；反之，一旦翻译器存在系统性漏洞，智能体会迅速利用漏洞收敛到刷取虚假归因分的局部捷径。

4. 稀疏奖励探索与课程学习：获取高价值初始轨迹

任何精妙的信用分配机制都以“经验池中已经存在包含非零奖励的成功轨迹”为前提。在极度稀疏奖励的任务中，智能体面临的第一道生死线是：随机策略在数百步内偶然撞上目标状态的概率趋近于零（ $\Pr(\text{success}) \approx |\mathcal{A}|^{-H} \to 0$ ）。围绕“如何从零荒漠中开辟出第一批高价值训练轨迹”，研究工作沿着事后目标重标注、状态归档回溯、内在好奇心驱动以及定向课程学习四个方向展开。

4.1 事后目标重标注与状态回溯探索

针对目标条件强化学习（GCRL），Hindsight Experience Replay（HER）提出了一种直击痛点的数据复用机制：当机械臂尝试将滑块推向目标坐标 $g$ 失败、最终滑块停留在另一坐标 $g' = \phi(s_T)$ 时，虽然这条轨迹在原目标 $g$ 下全程奖励为零，但它恰恰完美演示了**“如何将滑块推到 $g'$ ”**！HER 在重放缓冲区中将原始失败转移样本 $(s_t,a_t,r_t=0,s_{t+1},g)$ 事后重标注（Relabel）为 $(s_t,a_t,r'_t,s_{t+1},g')$ 并赋予到达 $g'$ 的成功奖励，使 $100\%$ 的失败探索轨迹瞬间转化为密集的有效监督信号，通过目标空间的泛化连续性逐步学会抵达真实目标 $g$ 。这一机制在目标空间与状态空间存在自然几何映射的连续操作任务中威力巨大，但在缺乏显式连续目标状态表征的开放网页或代码修复任务中难以直接套用。

对于不具备连续目标重标注条件、且存在大量死胡同或不可逆陷阱（如掉下悬崖、怪物致命攻击）的硬探索（Hard Exploration）任务，传统在线探索失败的根源在于**“遗忘边界”（Detachment）：智能体好不容易偶然摸索到某个深层房间，下一回合又被迫退回起点从头随机游走，导致深层状态的访问概率随深度呈指数级衰减。Go-Explore 彻底打破了“每回合必须从初始状态 $s_0$ 盲目采样”的教条，确立了先返回再探索**（Return-then-Explore）的两阶段范式：系统维护一个已发现边界状态的归档库（Archive），每次采样时先从库中按启发式权重挑选一个高潜力前沿状态，通过模拟器状态快照重置（或目标条件闭环控制策略）直接返回该状态，再从该前沿位置出发开展新一轮随机探索；待拼出完整通关轨迹后，再通过模仿学习将其蒸馏为抗噪的鲁棒策略（Robustification）。在 Montezuma’s Revenge 与 Pitfall! 等人类专家级硬探索基准上的历史性突破证明：长时域探索的胜负手在于维持已发现前沿状态的可返回性与覆盖广度，单纯调大单步策略熵正则项（Entropy Bonus）无济于事。

4.2 内在动机、状态覆盖与定向课程生成

当环境不支持模拟器状态重置时，内在动机（Intrinsic Motivation）方法通过构造自监督内部奖励 $r_t^{\text{int}}$ 来驱动智能体主动访问未知状态区域。ICM（Intrinsic Curiosity Module）在逆动力学特征空间中以转移前向模型的预测误差作为好奇心奖励；RND（Random Network Distillation）则将架构简化到了极致——固定一个随机初始化的目标网络 $f(s)$ ，训练一个同构预测网络 $\hat{f}_\theta(s)$ 去拟合被访问状态上的目标输出，直接将蒸馏均方误差 $\|\hat{f}_\theta(s) - f(s)\|_2^2$ 作为状态新颖度（Novelty）信号。沿着状态分布覆盖与无监督技能发现的思路，Skew-Fit 通过对已访问状态经验池做幂律偏置重加权（Skewed Sampling， $p_{\text{skew}}(s) \propto p(s)^\alpha,\ \alpha < 0$ ），引导生成模型持续采样低密度边界状态以最大化目标分布熵；DIAYN 则在无外部奖励条件下最大化潜在技能变量 $z$ 与访问状态 $s$ 之间的互信息 $I(S; Z) = H(Z) - H(Z\mid S)$ ，预先习得一组行为高度可区分的底层运动原语供下游稀疏任务调用。

然而，在高维长时域空间中，无差别地追求状态新颖度或全空间均匀覆盖极易掉入两个陷阱：一是把随机背景噪声当成新奇信号的“看电视陷阱”（Noisy-TV Problem），二是在与主任务无关的旁支空间里耗尽算力。Automatic Curriculum Learning（ACL）将训练任务分布本身视为动态优化对象，依据智能体当前胜率边界（如保持成功率在 $20\%\sim 80\%$ 的最近发展区）由浅入深地编排环境参数或子目标。2025 年提出的 DISCOVER 进一步针对超长时域稀疏奖励 GCRL 设计了定向探索（Directed Exploration）机制：算法不再盲目铺开全空间覆盖，而是估计候选探索子目标与最终目标任务在潜表征流形上的方向一致性，优先采样沿着任务求解主干道延伸的前沿目标。

探索机制与信用分配在长时域训练闭环中互为表里——前者负责在荒漠中踩出包含正反馈的样本路径，后者负责从路径中提炼出关键决策梯度。工程实践中，可依据当前经验池的样本状态确定第一优先级动作：

经验池正样本丰度	关键步骤可辨识度	第一优先级技术动作
几乎为零	低	引入专家示范、离线先验数据、状态重置回溯（Go-Explore）或定向课程学习
具备明确目标结构但正样本稀缺	中	部署事后目标重标注（HER）、偏置目标采样（Skew-Fit / DISCOVER）
已采到少量成功轨迹	低	挂载奖励重分配（RUDDER）、事后信用归因（HCAPO）或过程奖励模型（PRM）
成功样本充足	高	聚焦 Actor-Critic 稳定化、离策略多步修正、动作分块与世界模型规划

5. 时间抽象：从分层强化学习（HRL）到动作分块（Action Chunking）

当一项任务需要连续执行上千个底层原子动作（Primitive Actions，如 50Hz 关节力矩控制或逐像素鼠标移动）才能完成时，在单步粒度上直接优化 $\pi(a_t\mid s_t)$ 会同时引爆探索空间（ $|\mathcal{A}|^H$ ）与 Bellman 备份跨度（ $H$ ）。时间抽象（Temporal Abstraction）的核心洞见是：将多步底层控制封装为在时间上延展的宏动作、闭环技能或连贯动作块，将决策视野直接缩短一个数量级。

5.1 Options 框架与经典分层架构演进

Sutton 等人提出的 Options 框架奠定了时间抽象的半马尔可夫决策过程（SMDP）理论基石。一个选项（Option）由三元组定义为：

o=(\mathcal{I}_o,\pi_o,\beta_o),

其中 $\mathcal{I}_o\subseteq\mathcal{S}$ 为允许启动该选项的初始状态集， $\pi_o(a\mid s)$ 为选项内部的闭环执行子策略， $\beta_o(s)\in[0,1]$ 为在各状态下的终止概率。若每个选项平均持续 $K$ 个底层时间步，高层策略的有效决策视野便可直接压缩为 $H_{\text{effective}}\approx H/K$ 。高层控制器只需在选项切换边界做宏观路由（如“走向房门”→“握住把手”→“推门进入”），局部动力学扰动由选项内部闭环策略 $\pi_o$ 自行消化。

围绕“如何自动发现并稳定训练分层结构”，深度 HRL 发展出三条代表性脉络：

端到端选项学习：Option-Critic 推导了选项内部策略与终止函数的策略梯度定理，尝试无需人工先验地端到端学习选项；但在缺乏额外熵或时长正则约束时，极易发生选项坍缩（Option Collapse）——要么单个选项包揽全过程，要么每个选项每步立即终止（ $\beta_o(s)\to 1$ ）、退化回单步原子动作。
多时间尺度表征解耦：FeUdal Networks（FuN）采用 Manager-Worker 双层架构，低频运行的 Manager 在潜表征空间输出方向性目标向量 $g_t \in \mathbb{R}^d$ ，高频运行的 Worker 通过最大化潜状态位移与 $g_t$ 的余弦相似度内在奖励来落实该方向，将不同时间尺度的信用分配显式解耦到两个网络模块中。
离策略目标条件分层控制：HIRO 将高低层接口直接定义为原始状态空间中的相对偏移子目标（Subgoal），以适配连续控制与离策略训练。针对分层强化学习最头疼的高低层非平稳耦合难题——底层策略 $\pi_{\text{low}}$ 更新后，重放缓冲区中原本由高层发出的旧子目标 $g_t$ 在当前底层策略下会产生截然不同的状态轨迹，导致高层经验失效——HIRO 提出了巧妙的离策略子目标重标注（Off-Policy Correction）：在训练高层策略时，将历史转移 $(s_t, g_t, s_{t+c})$ 中的高层动作重标注为能让当前底层策略 $\pi_{\text{low}}$ 最大概率复现真实历史轨迹 $s_{t:t+c}$ 的等效子目标 $\tilde{g}_t = \arg\max_g \log \pi_{\text{low}}(a_{t:t+c-1}\mid s_{t:t+c-1}, g)$ 。

5.2 离线分层学习与大语言模型引导的时序子目标

近年来，随着离线数据集与基础模型的发展，HRL 的重心正从“在线盲目试错发现技能”转向“从离线轨迹与先验知识中提炼可靠子目标”。在离线长时域稀疏奖励场景下，Guider 通过高层策略序列化生成子目标来引导底层离线策略拼接；RD-HRL 引入价值引导的子目标规划与动力学可达性约束，防止高层规划器输出超出底层执行能力的分布外（OOD）目标；OHIO 则专门解决离线数据由异构策略采集、高层隐变量不可直接观测时的分层策略反演问题。

与此同时，大语言模型为子目标分解提供了丰富的语义先验。2026 年提出的 STO-RL（Subgoal Temporal Order RL）利用 LLM 为长时域稀疏任务生成具有严格偏序关系的子目标序列，通过状态-阶段映射函数追踪任务进度，并结合势函数奖励塑形（PBRS）合成时序一致的稠密奖励。这一设计直击 HRL 的核心痛点：子目标之间往往存在强时序依赖（例如必须先填写必填项、再点击提交按钮），若奖励塑形忽视先后偏序，智能体极易在局部子目标之间反复横跳以刷取中间分数。

架构范式	高低层通信接口	核心归纳偏置与机制	主要工程瓶颈
Options / Option-Critic	离散选项索引 $o$ 与终止概率 $\beta_o$	SMDP 闭环子策略，端到端优化终止条件	易发生选项坍缩或语义碎片化
FeUdal Networks	潜空间方向向量 $g_t\in\mathbb{R}^d$	多时间尺度隐藏状态与方向性内在奖励	潜空间目标缺乏直观物理可解释性
HIRO	状态空间相对偏移子目标	离策略子目标重标注缓解高低层非平稳性	高维观测（如图像）下难以直接定义状态距离
Guider / RD-HRL / OHIO	离线分布内可达状态子目标	结合保守价值估计与离线轨迹拼接（Stitching）	受制于离线数据集的序列覆盖完备度
STO-RL	具偏序约束的语义子目标阶段	LLM 常识先验拆解 + 势函数保序稠密塑形	依赖阶段映射器精度与先验子目标的物理可达性

综合来看，任何基于子目标的分层系统要想在工程中稳定奏效，其生成的中间子目标都必须同时满足四项硬性准则：动力学可达性（底层策略在合理步数内能够稳定抵达）、完成度可验证性（系统可通过状态断言、DOM 检查或验证器准确判定子目标是否达成）、时序偏序一致性（前序子目标为后续子目标创造前置条件）以及全局目标对齐性（达成子目标序列能够单调逼近最终任务回报，避免落入局部死胡同）。

5.3 从单步备份到块级价值评估：Q-Chunking 的机制突破

传统分层强化学习虽然具备闭环技能表达力，但高低层联合训练的非平稳性与子目标空间设计长期制约着工程落地。2025–2026 年间，源于机器人模仿学习（如 ACT、Diffusion Policy）的动作分块（Action Chunking）技术大举进入强化学习领域，成为长时域稀疏奖励与离线到在线（Offline-to-Online）微调中最具活力的轻量级时间抽象路线。

标准策略每步仅输出单个动作 $\pi(a_t\mid s_t)$ ，而动作分块策略直接以连续 $K$ 步动作序列作为基本输出与执行单元：

\pi(a_{t:t+K-1}\mid s_t), \qquad a_{t:t+K-1} = (a_t, a_{t+1}, \dots, a_{t+K-1}) \in \mathcal{A}^K.

将动作空间从 $\mathcal{A}$ 提升至 $\mathcal{A}^K$ 带来了三重立竿见影的收益：一是将有效决策周期缩短为原来的 $1/K$ ；二是天然保证了多步探索动作的时序连贯性（Temporal Coherence），彻底克服了单步独立高斯噪声在高频连续控制中正负抵消、原地高频抖动却无法产生宏观位移的顽疾；三是无需额外学习复杂的选项终止条件或子目标语义。

Q-Chunking（Reinforcement Learning with Action Chunking）敏锐地指出：要在强化学习中充分发挥动作分块的威力，必须将 Critic 的评估自变量同步升级为整段动作块 $Q_K(s_t,a_{t:t+K-1})$ ，其块级 Bellman 目标定义为：

y_t = \sum_{i=0}^{K-1}\gamma^i r_{t+i} + \gamma^K Q_{\text{target}} \Big( s_{t+K},\ \pi(s_{t+K}) \Big), \qquad \text{其中 } \pi(s_{t+K}) = \hat{a}_{t+K:t+2K-1} \in \mathcal{A}^K.

初学者极易将 Q-Chunking 与第 2 节介绍的经典 $n$ -step Q-learning 混为一谈，但二者在决策变量建模上有着本质区别。对比两者的更新公式：

\begin{aligned} \textbf{经典 } n\textbf{-step Q-learning:} &\quad Q(s_t, \underbrace{a_t}_{\in\mathcal{A}}) \leftarrow \sum_{i=0}^{n-1}\gamma^i r_{t+i} + \gamma^n \max_{a'\in\mathcal{A}} Q(s_{t+n}, a'), \\ \textbf{Q-Chunking:} &\quad Q_K(s_t, \underbrace{a_t, a_{t+1}, \dots, a_{t+K-1}}_{\in\mathcal{A}^K}) \leftarrow \sum_{i=0}^{K-1}\gamma^i r_{t+i} + \gamma^K Q_K\big(s_{t+K}, \pi(s_{t+K})\big). \end{aligned}

在经典 $n$ -step Q-learning 中，尽管右侧目标累加了 $n$ 步奖励，但左侧 Critic 的输入自变量依然只有单步动作 $a_t$ ；中间步骤 $a_{t+1:t+n-1}$ 完全受制于重放缓冲区中的历史采样策略，Critic 既无法显式评估这 $n-1$ 步动作的好坏，也无法向 Actor 提供关于未来 $n-1$ 步动作组合的梯度指导。相比之下，Q-Chunking 的价值函数 $Q_K(s_t,a_{t:t+K-1})$ 将整段 $K$ 步动作序列全部作为输入自变量，使 Critic 能够精确区分“起点状态与首步动作相同、但后续 $K-1$ 步连贯走势迥异”的轨迹质量，并对整段动作块计算梯度 $\nabla_{a_{t:t+K-1}} Q_K$ ，从而将离线示范数据中的时序连贯先验直接转化为在线多步优化优势。

5.4 连续块控制、序列 Critic 与自适应分块边界

尽管固定长度分块简洁高效，但也引入了新的结构性张力：动作空间维度随块长 $K$ 线性膨胀（ $\dim(\mathcal{A}^K)=K\dim(\mathcal{A})$ ），且在块内 $K$ 步执行期间策略处于开环（Open-Loop）状态。在自由空间移动阶段，长块有助于快速跨越距离并加速价值回传；然而一旦进入富含接触（Contact-Rich）的精细插拔操作或环境突发扰动阶段，过长的开环块会导致智能体无法根据实时接触力调整姿态。围绕这一核心张力，2025–2026 年的研究衍生出五条精妙的改进分支：

面向稀疏操作任务的连续块 Actor-Critic：AC3（Actor-Critic for Continuous Action Chunks）针对长时域机器人稀疏奖励操作，将连续动作块融入 Actor-Critic 架构，通过仅在成功轨迹上更新 Actor、在 Critic 侧结合块内多步回报（Intra-chunk $n$ -step Returns）以及引入自监督内在奖励，在 BiGym 与 RLBench 的 25 项长程操作任务上实现了稳定收敛。
仅在 Critic 侧引入序列感知以保留单步闭环敏捷度：T-SAC（Chunking the Critic）另辟蹊径，保留 Actor 的单步闭环输出能力 $\pi(a_t\mid s_t)$ 以维持最高频的反应性，同时采用因果 Transformer 架构构建序列条件 Critic $Q(s_t, a_{t:t+K-1})$ ，使其在评估多步目标时能够显式建模短轨迹片段内的动作交互。
因果 Transformer 驱动的按状态动态块长：ACSAC（Adaptive Chunk Size Actor-Critic）利用因果 Transformer Q 网络同时输出不同前缀长度 $k\in\{1,\dots,K_{\max}\}$ 的动作块价值 $Q(s_t, a_{t:t+k-1})$ ，在每个分块边界根据当前环境状态动态裁定最优执行跨度 $k^\star$ ，在自由移动期自动拉长块长以加速跨越，在接触交互期自动缩短至单步以恢复闭环敏捷度。
消除跨视野折扣偏差的优势分块选择：AQC（Adaptive Q-Chunking）揭示了自适应分块中的一个隐蔽数值陷阱——由于不同块长 $k \in \{1, \dots, K_{\max}\}$ 对应的 Bellman 目标具有不同的折扣缩放因子 $\gamma^k$ 与累积方差，在稀疏正奖励任务中，直接横向比较不同视野的原始 $Q_k(s_t, a_{t:t+k-1})$ 值会产生系统性的跨尺度偏差（Scale Mismatch），导致策略错误地系统性偏好特定块长。AQC 通过减去各视野跨度自身的状态价值基线 $V_k(s_t)$ ，改用视野归一化的相对优势值（Horizon-Normalized Advantage） $A_k(s_t, a_{t:t+k-1}) = Q_k(s_t, a_{t:t+k-1}) - V_k(s_t)$ 来裁定块长，在离线到在线微调中取得了极为稳健的自适应切换效果。
模型基离线强化学习中的块级转移跳跃：MAC（Model-Based RL with Action Chunks）进一步将动作分块引入离线世界模型，直接学习块级动力学跳跃模型 $\hat s_{t+K}=f_\theta(s_t,a_{t:t+K-1})$ 。相比单步模型自回归滚动 $K$ 次，单次块级预测大幅削减了复合建模误差（Compounding Error），并配合富有表现力的行为分块生成策略（如流匹配或扩散模型）做拒绝采样，有效遏制了规划器对分布外动作的恶意利用。

方法	Actor 输出形式	Critic 评估对象	块长 $K$ 策略	解决的核心痛点
Q-Chunking	固定长度动作块 $a_{t:t+K-1}$	块级价值 $Q_K(s_t, a_{t:t+K-1})$	固定超参数	离线到在线转换中的连贯探索与多步价值备份
AC3	连续动作块 $a_{t:t+K-1}$	结合块内多步回报的块级 Critic	固定超参数	极稀疏奖励下长程机器人操作的训练崩溃
T-SAC	单步动作 $a_t$ （保持闭环）	短轨迹段 Transformer Critic	Critic 视野固定，Actor 单步	兼顾多步信用分配与单步高频闭环反馈
ACSAC	可变长度动作块	因果 Transformer 多前缀 Q 网络	按状态动态选择	平衡长块时序连贯性与接触阶段的反应敏捷度
AQC	可变长度动作块	消除折扣尺度偏差的多视野优势	基于相对优势自适应选择	修正不同视野 $Q$ 值直接比较导致的尺度偏置
MAC	行为分块分布采样	块级世界模型 + 保守价值估计	固定块级跳跃	抑制离线长程模型滚动的复合误差与 OOD 利用

6. 世界模型与潜空间规划：短程动力学预测与长期价值自举

当真实环境交互代价高昂时，模型基强化学习（Model-Based RL）通过学习环境动力学模型并在想象轨迹（Imagined Trajectories）中优化策略或执行规划，提供了极具吸引力的样本效率优势。然而在长时域任务中，单步转移模型自回归滚动 $k$ 步生成的预测状态 $\hat s_{t+k}=f_{\theta}^{(k)}(s_t,a_{t:t+k-1})$ 不可避免地遭受复合误差累积（Compounding Error）——设单步模型的利普希茨常数为 $L_f > 1$ 、单步最大近似误差为 $\epsilon$ ，则展开 $H$ 步后的轨迹偏差上界将按几何级数 $\epsilon \frac{L_f^H - 1}{L_f - 1}$ 呈指数爆炸，导致数十步后的想象轨迹彻底脱离真实物理流形。

因此，现代长时域世界模型普遍摒弃了“依靠模型开环预测整个漫长未来”的路线，转而确立了短程潜空间规划 + 长期价值函数自举 + 时间抽象 + 分布外动作约束的协同范式。

DreamerV3 展示了循环状态空间模型（RSSM）在跨领域长时域任务中的通用性：通过将高维图像观测压缩至紧凑的离散潜变量空间，并配合符号对数变换（symlog(x) = sign(x) ln(|x|+1)，同时压缩极小与极大奖励尺度的梯度变化）、百分位回报归一化等鲁棒化设计，DreamerV3 用同一套超参数在百余项任务上超越专用算法，并在 Minecraft 中无需人工示范即从零学会跨越数万步收集钻石。其核心策略是在潜空间中仅展开短视野想象轨迹（固定 $H=15$ 步），在想象视野末端挂载长期价值函数 $V_\psi(z_{t+H})$ 进行自举，从而将模型复合误差严格锁死在 15 步窗口以内。

TD-MPC2 则将隐式无解码器（Decoder-Free）世界模型与局部模型预测控制（MPC）深度融合。放弃像素级重构解码器避免了模型把海量参数浪费在预测背景树叶摇晃等无关视觉细节上；在每个决策时刻，系统在学习到的紧凑潜空间 $z_t$ 中求解带终端价值自举的有限视野轨迹优化问题：

\max_{a_{t:t+H-1}} \mathbb{E} \left[ \sum_{i=0}^{H-1}\gamma^i \hat{r}(z_{t+i}, a_{t+i}) + \gamma^H \hat{Q}(z_{t+H}, \pi(z_{t+H})) \right], \qquad z_{t+i+1} = \hat{d}(z_{t+i}, a_{t+i}).

这种设计将长时域决策职责清晰拆分为三层正交架构：

表征压缩层（Representation Model）：将非马尔可夫的历史观测与动作编码为紧凑潜状态 $z_t$ ，在过滤观测冗余噪声的同时维持奖励与价值的强可预测性。
短程动力学预测层（Short-Horizon Predictor）：仅负责预测未来数步（或如前文 MAC 所述直接预测单个动作块跨度 $\hat s_{t+K}=f_{\theta}(s_t,a_{t:t+K-1})$ ）内的潜状态转移、即时奖励与终止信号，确保局部多步推演高保真。
规划与终端价值接口（Planner / Value Interface）：利用短程模型通过交叉熵方法（CEM / MPPI）采样评估候选动作序列的近期得失，而将视野 $H$ 之外的漫长远期收益交由终端价值函数自举兜底。

7. 离线与离线到在线强化学习：长时域工程落地的主干道

在工业界真实场景中，让智能体从零开始在线随机试错往往是不可接受的：机械臂失控会损毁硬件，网页与企业智能体乱点会触发不可逆的业务写操作副作用，推荐与金融系统的激进探索则会直接伤害用户体验与资金安全。因此，先利用历史日志或专家示范开展离线预训练（Offline RL），再在安全围栏内执行小规模在线微调（Offline-to-Online RL），构成了长时域强化学习工程落地的主干道。

7.1 分布外动作抑制与离线轨迹拼接（Trajectory Stitching）

D4RL 基准揭示了离线数据集的异构特性：历史数据可能源于手工控制器、人类遥操作、随机策略或次优混合策略。在标准 Bellman 最优算子中，最大化操作 $\max_{a'} Q(s_{t+1},a')$ 极易选出未包含在离线数据集 $\mathcal{D}$ 中的分布外动作（Out-of-Distribution, OOD Actions）；由于离线阶段无法向环境求证这些动作的真实后果，神经网络在这些未知区域的偶然高估会通过 Bellman 自举在数百步长链条上反复放大，迅速引发全图价值爆炸。围绕这一核心瓶颈，主流离线算法形成了三种互补的约束机制：

保守价值下界惩罚：CQL（Conservative Q-Learning）在标准 Bellman 均方误差之上显式加入正则项，系统性压低全动作空间上的高 $Q$ 值（Log-Sum-Exp 项）并推高数据集内真实行为动作的 $Q$ 值：

\min_Q \ \alpha\,\mathbb{E}_{s\sim\mathcal{D}} \left[ \log \sum_a \exp Q(s,a) - \mathbb{E}_{a\sim \hat{\pi}_\beta(\cdot\mid s)}\big[Q(s,a)\big] \right] + \frac{1}{2}\mathbb{E}_{(s,a,s')\sim\mathcal{D}}\big[\big(Q(s,a) - \mathcal{B}^{\pi} \bar{Q}(s,a)\big)^2\big].

这一约束在理论上保证学习到的期望价值成为真实策略价值的保守下界，彻底掐断了 OOD 动作的虚高自举。

分布内隐式期望分位数回归：IQL（Implicit Q-Learning）的设计更为彻底——它在整个训练期内完全不查询任何未出现在数据集 $\mathcal{D}$ 中的动作！IQL 仅针对数据集内的状态-动作对 $(s,a)\sim\mathcal{D}$ ，采用非对称的期望分位数损失（Expectile Regression， $L_2^\tau(u) = |\tau - \mathbb{I}(u < 0)|u^2$ ，取 $\tau \in (0.5, 1)$ 如 $\tau=0.7$ 或 $0.9$ ）直接拟合分布内支撑集上的高分位状态价值 $V_\psi(s)$ ：

L_V(\psi) = \mathbb{E}_{(s,a)\sim \mathcal{D}}\left[L_2^{\tau}\big(Q_{\hat\theta}(s,a)-V_{\psi}(s)\big)\right], \qquad L_Q(\theta) = \mathbb{E}_{(s,a,r,s')\sim\mathcal{D}}\left[\big(r + \gamma V_\psi(s') - Q_\theta(s,a)\big)^2\right],

随后通过优势加权回归（Advantage-Weighted Regression, AWR）提取策略 $\max_{\pi}\mathbb{E}_{(s,a)\sim \mathcal{D}}[\exp(\beta (Q_{\hat\theta}(s,a)-V_\psi(s)))\log \pi(a\mid s)]$ 。因为 Bellman 备份的目标直接使用了单变量函数 $V_\psi(s')$ 而非 $\max_{a'} Q(s', a')$ ，IQL 在长时域多步备份中展现出极高的数值稳定性。

极简行为克隆正则：TD3+BC 直接在确定性策略梯度目标 $\lambda Q(s, \pi(s))$ 上减去均方行为克隆项 $-\|\pi(s) - a\|_2^2$ 并配合状态归一化，证明在许多连续控制任务中，稳健的分布内行为锚定比复杂的价值外推更为有效。

当任务视野拉长时，离线强化学习的考核重点从单步分布匹配升级为跨片段的轨迹拼接（Trajectory Stitching）与长程组合泛化：例如数据集中只有“从 A 走到 B”的次优轨迹 1 和“从 B 走到 C”的次优轨迹 2，算法能否在交点 B 将两者无缝拼接出“从 A 直达 C”的最优长路径？OGBench 专门围绕离线目标条件强化学习设计了涵盖多段拼接、长程迷宫导航、机械臂多物体操作与高维视觉输入的基准测试，系统检验离线算法跨越局部片段合成全局长路径的能力。

7.2 从离线先验到在线微调：序列级数据覆盖观

离线预训练消除了冷启动盲目探索的代价，但最终策略性能的天花板仍受制于历史数据集的覆盖边界。离线到在线（Offline-to-Online）强化学习旨在以离线策略为安全起点，通过少量在线交互突破离线数据的次优限制。AWAC 采用优势加权行为克隆格式的更新规则，避免在转入在线阶段初期因突发分布偏移而冲垮预训练权重；前文介绍的 Q-Chunking、AQC 与 MAC 则进一步表明，在长时域稀疏奖励任务中，离线数据的真正财富在于动作序列级的时序连贯先验（Sequence-Level Temporal Prior）。

在长时域视角下，评估一份离线数据集能否支撑成功训练，必须同时审视三个层级的覆盖度：

状态覆盖（State Coverage）：数据是否囊括了通往终局所必经的瓶颈中间状态（如“已拾取钥匙”状态）；若关键阶段完全缺失，任何离线算法都无从凭空捏造后续技能。
动作覆盖（Action Coverage）：在关键决策点附近是否包含多样化的动作尝试，使 Critic 能够分辨优劣而非仅做盲目克隆。
序列与拼接覆盖（Sequence & Stitching Coverage）：数据集中是否包含可首尾相接的连贯动作片段。许多长时域离线训练的失败，皆源于单步状态看似均有零散覆盖，但多段子技能在交接边界处缺乏动力学可达的过渡片段，导致在线执行时在拼接点频繁坠崖。

8. LLM Agent RL、奖励塑形与过程验证器设计

8.1 多轮软件交互中的 LLM Agent RL 演进

2024 年以来，大语言模型智能体（LLM Agents）将长期收益强化学习推向了一个全新的软件交互舞台。在这类任务中，智能体的动作空间涵盖自然语言思维链（Thought Tokens）、结构化工具调用（Tool / API Calls）、浏览器 DOM 交互、终端命令执行、代码库编辑与数据库查询；一个完整任务回合往往跨越数十轮环境反馈，直至最终通过单元测试或任务验证器判定成败。

将多轮交互智能体置于强化学习框架下，其轨迹可形式化为结构化事件序列：

\tau = (o_0,a_0,y_0,o_1,a_1,y_1,\dots,o_T,R),

其中观测 $o_t$ 聚合了用户指令、多轮对话上下文与系统状态快照，动作 $a_t$ 兼具词元级自回归生成与工具调用两层结构，环境返回 $y_t$ 包含 API 响应、编译器报错、网页渲染结果或验证器反馈， $R$ 为终局奖励。与传统连续控制相比，LLM Agent RL 面临非平稳文本观测空间、高昂的外部环境执行延迟与副作用风险；但同时它也拥有独特的结构红利——语言空间天然支持语义子目标规划、代码与规则验证器（Verifier）以及事后自然语言反思。构建一套可扩展的智能体强化学习系统，需要在工程上打通四大核心接口：

系统接口层	核心职责	工程挑战与痛点
采样与轨迹接口（Rollout）	并发调度多轮对话、工具执行、异常捕获与状态快照记录	异构动态工作流与外部 API 延迟极难对齐为标准张量批次
奖励与验证接口（Reward）	集成单元测试、环境断言、规则检查器与偏好/过程奖励模型	开放任务缺乏精确验证器，代理奖励易遭长序列奖励黑客攻击
多粒度归因接口（Credit）	将回合级反馈拆解至轮次（Turn）、工具调用（Step）或词元（Token）	数千词元与数十步工具调用中真正决定成败的决策点极度稀疏
安全与隔离接口（Safety）	容器沙箱、文件系统快照回滚、细粒度权限控制与副作用拦截	在线探索可能污染真实数据库、触发外部写操作或耗尽 API 配额

围绕上述四个层面，近期代表性工作从算法显存效率、课程演化、系统解耦与过程归因多点突破：

有状态数字环境中的显存高效在线 RL：Apple 提出的 LOOP 将交互式数字智能体建模为 POMDP，设计了无需独立价值网络（Value-Free）、支持多轮交互的留一法（Leave-One-Out）PPO 变体，使强化学习微调显存开销接近普通 SFT；在 AppWorld 基准上，32B 参数的 LOOP 智能体超越了体量更大的 OpenAI o1 模型 9 个百分点，证实了在有状态软件环境中直接开展多轮 RL 优化的有效性。
网页智能体的自演化在线课程：WebRL 针对网页导航任务中训练指令稀缺、结果奖励稀疏以及在线更新易引发灾难性遗忘三大难题，构建了根据智能体当前能力边界动态生成新任务的自演化在线课程（Self-Evolving Curriculum），辅以结果监督奖励模型与 KL 锚定经验回放，使 Llama-3.1-8B 与 GLM-4-9B 在 WebArena-Lite 上的成功率实现大幅跃升。
智能体执行与强化学习训练管线彻底解耦：AgentGym-RL（ICLR 2026 Oral）构建了覆盖多领域长时域决策的统一开源多轮 RL 训练框架，并通过 ScalingInter-RL 分阶段交互扩展策略稳定长程训练；Agent Lightning 则从系统架构层面彻底解耦“智能体工作流执行”与“底层 RL 训练”，通过统一的事件追踪协议捕获任意复杂智能体（含多智能体协作、动态路由与外部检索）的运行轨迹，再利用分层强化学习与信用分配模块将其自动转化为标准 RL 训练转移样本。
面向长轨迹的过程奖励与逐步进度归因：为破解终局二元反馈过粗的困局，AgentPRM 利用蒙特卡洛滚动（Monte Carlo Rollouts）估计中间状态达成终局目标的期望概率 $Q^{\pi}(s_t, a_t)$ ，训练轻量级智能体过程奖励模型（Process Reward Model）；SPA（Stepwise Progress Attribution）则将长时域任务视为逐步累积任务进度（Progress）的过程，通过将终局奖励按步骤进度增量进行重分配，为每轮工具交互提供稠密且对齐全局目标的推进信号。

8.2 势函数奖励塑形、过程奖励模型（PRM）与防黑客验证器

在长时域任务中，将稀疏终局反馈改写为稠密中间信号是最直观的工程加速手段，但粗暴的人工奖励塑形（Reward Shaping）极易彻底扭曲最优策略——例如为足球机器人设置“每向球靠近一米即给 $+0.1$ 奖励”，机器人很快会发现“靠近球再退回来、反复刷取靠近分”的无穷累计收益远高于“把球踢进门后回合结束拿 $+1$ 分”！

Ng、Harada 与 Russell 在经典论文 Policy Invariance Under Reward Transformations 中从数学上给出了不改变最优策略的充要条件：附加塑形奖励 $F(s,a,s')$ 必须严格取为状态势函数 $\Phi:\mathcal{S}\to\mathbb{R}$ 的折扣差分形式（Potential-Based Reward Shaping, PBRS）：

F(s,a,s')=\gamma \Phi(s')-\Phi(s).

为什么唯独这种形式不会诱发循环刷分？只需将塑形后的总折扣回报 $\tilde{G}_0 = \sum_{t=0}^{T-1}\gamma^t (r_t + F(s_t, a_t, s_{t+1}))$ 展开，塑形项会立即发生完美的裂项相消（Telescoping Sum）：

\begin{aligned} \sum_{t=0}^{T-1}\gamma^t \left( \gamma \Phi(s_{t+1})-\Phi(s_t) \right) &= \big(\gamma\Phi(s_1) - \Phi(s_0)\big) + \big(\gamma^2\Phi(s_2) - \gamma\Phi(s_1)\big) + \cdots + \big(\gamma^T\Phi(s_T) - \gamma^{T-1}\Phi(s_{T-1})\big) \\ &= -\Phi(s_0)+\gamma^T\Phi(s_T). \end{aligned}

如果在终止状态 $s_T$ 处约定势函数归零 $\Phi(s_T) = 0$ （或 $T\to\infty$ 时势函数有界），那么整条轨迹累加的塑形净收益恒等于 $-\Phi(s_0)$ ——它仅仅是一个只与初始状态 $s_0$ 有关、与中间采取了什么动作路径完全无关的常数！这意味着，无论智能体在中间某个高势能状态循环横跳多少万次，每次正向跨入获得的 $+\gamma\Phi(s')-\Phi(s)$ 都会在退回时被精确抵消，从而在加速早期梯度传播的同时， $100\%$ 严格保证了最优策略不变性（Policy Invariance）：

Q^{\star}_{\text{shaped}}(s, a) = Q^{\star}_{\text{original}}(s, a) - \Phi(s) \implies \arg\max_a Q^{\star}_{\text{shaped}}(s, a) = \arg\max_a Q^{\star}_{\text{original}}(s, a).

在现代长时域与智能体强化学习中，稠密过程信号主要演化出三类实现形态：

基于子目标偏序或价值估计的势函数塑形：如 STO-RL 将 LLM 规划出的有序子目标阶段映射为势函数 $\Phi(s)$ ，或将过程奖励模型输出的完成概率 $P_{\text{PRM}}(s_t)$ 代入势差分 $F_t = \gamma P_{\text{PRM}}(s_{t+1}) - P_{\text{PRM}}(s_t)$ ，在享受稠密先验引导的同时坚守策略不变性底线。
基于人类偏好与轨迹对比的学习型奖励模型：源自 Christiano et al. (2017) 的轨迹片段偏好学习（RLHF），通过 Bradley-Terry 成对比较模型训练奖励函数，适合难以用代码规则定义成败的主观质量评估。
面向推理与交互步骤的过程奖励模型（PRM）：如 AgentPRM 与 SPA，针对每个工具调用或环境状态转移直接评估步骤级优势或进度增量。

需要高度警惕的是，一旦非势函数形式的学习型 PRM 或启发式步骤打分直接累加进回合回报，长视野任务便会成为奖励黑客（Reward Hacking）的温床。视野 $T$ 越长，智能体可用于搜寻并放大奖励模型漏洞的动作组合空间就越大：网页智能体可能学会在搜索框内反复输入触发 PRM 高分的关键词却永不点击结算，代码智能体甚至可能学会修改测试脚本或删除断言来伪造单测全绿。为此，工业界普遍采用多层级复合验证架构来平衡信号密度与抗攻击鲁棒性：

验证与奖励层级	信号粒度	核心优势	漏洞风险与防范重点
单元测试 / 精确状态断言	回合终局或关键检查点	客观确定、零幻觉、可全自动并发执行	测试覆盖不全时易被硬编码绕过，需保留只读隐藏测试集
环境成败标志（Success Flag）	回合终局	与真实业务目标完全一致，无代理偏差	信号极度稀疏，无法单独提供早期梯度方向
规则式过程检查器	单步 / 工具调用	计算开销极低、语义透明可解释	静态规则易被高频重复调用刷分，需配额上限或势函数化
学习型过程奖励模型（PRM）	步骤 / 轨迹片段	能够密集量化向终局目标的推进概率	在分布外状态易产生虚高外推，需转写为势差分或仅作优势基线
LLM-as-a-Judge	轮次 / 终局汇总	适配开放域无标准答案任务，泛化能力强	存在位置偏置、冗长偏置与提示词注入风险，需交叉校验

9. 平均奖励准则与持续性任务：无终止边界的长期收益

前述讨论大多建立在具有明确终止状态的回合制（Episodic）任务之上。然而，推荐系统长期用户留存优化、数据中心动态能耗与算力调度、库存与供应链持续补货、常驻企业后台自动化等核心工业场景，均属于无自然终点的持续性任务（Continuing Tasks）。在这类系统中，强行设定人工截断窗口或套用较小的折扣因子 $\gamma$ ，往往会掩盖策略对系统稳态分布的深远影响。

平均奖励强化学习（Average-Reward RL）抛弃了人为的折扣因子 $\gamma$ ，直接以单位时间步的稳态期望收益作为优化目标：

\rho(\pi) = \lim_{T\to\infty} \frac{1}{T} \mathbb{E}_{\pi} \left[ \sum_{t=0}^{T-1}r_t \right] = \sum_{s\in\mathcal{S}} d^{\pi}(s) \sum_{a\in\mathcal{A}} \pi(a\mid s)\, r(s,a),

其中 $d^\pi(s)$ 为策略 $\pi$ 在遍历性（Ergodic）马尔可夫链下诱导出的平稳状态分布（Stationary Distribution）。由于无折扣无穷级数 $\sum_{t=0}^\infty r_t$ 直接发散，算法通过减去稳态平均回报 $\rho(\pi)$ 定义差分价值函数（Differential / Relative Value Function），用以度量从状态 $s$ 出发相对于稳态平均收益的累计瞬态偏差：

h^{\pi}(s) = \mathbb{E}_{\pi} \left[ \sum_{t=0}^{\infty} \left( r_t-\rho(\pi) \right) \,\Big|\, s_0=s \right], \qquad q^{\pi}(s,a) = r(s,a) - \rho(\pi) + \sum_{s'} P(s'\mid s,a)\,h^{\pi}(s').

为什么在持续性工业系统中必须重视平均奖励准则？设想两个竞争策略：

短视榨取策略 A：在前 100 步通过高频推送夸张标题党或超卖服务器资源攫取极高的短期回报（ $r_t = +10$ ），却破坏了用户信任或硬件健康，将系统推入长期低效的劣化稳态（此后永远只有 $r_t = +0.5$ ，故稳态平均收益 $\rho(\pi_A) = 0.5$ ）。
长期主义策略 B：前期投入探索与生态培育，前 100 步回报温和（ $r_t = +1$ ），但成功将系统推入高活健康的良性稳态（此后长期稳定产出 $r_t = +3.0$ ，故稳态平均收益 $\rho(\pi_B) = 3.0$ ）。

如果我们在训练中使用常见的折扣因子（例如 $\gamma = 0.95$ ，有效视野仅约 $\frac{1}{1-\gamma} = 20$ 步），第 100 步之后的稳态收益在折扣权重 $\gamma^{100} \approx 0.0059$ 下几乎被完全抹杀，折扣强化学习算法会毫不犹豫地选出短视策略 A！唯有平均奖励准则（或结合差分 Bellman 方程的 $\gamma\to 1$ 极限）能够彻底剥离初期的瞬态幻象，识别出策略 B 在稳态分布 $d^\pi(s)$ 上的压倒性优势。

在算法层面，Zhang and Ross (2021) 指出折扣设定下的策略改进下界无法直接平移至平均奖励设定，并据此结合马尔可夫链混合时间（Mixing Time）推导出面向持续性任务的平均奖励置信域策略优化（ATRPO / APO）；Jin et al. (2024) 建立了更具可操作性的平均奖励 Q-learning（Feasible Q-Learning）理论框架；RVI-SAC 则将相对价值迭代（Relative Value Iteration，以固定参考状态 $s_{\text{ref}}$ 的价值锚定 $\rho$ 以消除差分价值的常数平移漂移）与最大熵强化学习相结合，推动平均奖励离策略深度强化学习走向实用。在工程落地中，优化持续性长期收益还必须配套建设跨周期的离策略评估（OPE）、长期护栏指标（Guardrail Metrics）以及渐进式灰度发布机制，使长期收益优化上升为完整的决策系统治理工程。

10. 统一技术图谱、前沿趋势与工程选型指南

10.1 十条技术路线对照与模块化架构组合

将上述十条技术路线置于同一坐标系下，可以清晰看到各方向的职责边界与适用象限：

技术路线	代表工作	解决的核心瓶颈	主要局限与代价	典型适用场景
多步 TD / GAE	TD( $\lambda$ ), GAE, Retrace, V-trace, IMPALA	加速价值回传、平衡偏差与方差	按时间距离盲目衰减，长视野下仍嫌缓慢	Actor-Critic 通用训练底座
显式信用分配	RUDDER, TVT, Synthetic Returns, COCOA, HCAPO	跨时间步直接归因关键历史事件	归因模型易混入虚假相关，反事实估计复杂	严重延迟奖励、记忆型任务、多轮智能体
稀疏探索与课程	HER, Go-Explore, RND, Skew-Fit, DIAYN, DISCOVER	从零获取包含正反馈的初始轨迹	仅解决样本生成，不直接负责精细归因	硬探索游戏、目标条件机械臂操作
分层强化学习（HRL）	Options, Option-Critic, FuN, HIRO, Guider, STO-RL	通过子目标或闭环技能缩短有效视野	高低层联合训练非平稳，强依赖子目标质量	具明显阶段结构的复杂控制与规划
动作分块	Q-Chunking, AC3, T-SAC, ACSAC, AQC, MAC	轻量级时间抽象、连贯探索与块级备份	块内偏开环控制，长块降低突发反馈敏捷度	机器人连续操作、离线到在线微调
世界模型与规划	DreamerV3, TD-MPC2, MAC	利用潜空间短程推演大幅提升样本效率	长程滚动存在复合误差，易遭规划器钻漏洞	真实采样昂贵的连续控制与视觉控制
离线与离线到在线	D4RL, CQL, IQL, TD3+BC, AWAC, OGBench	利用历史先验规避冷启动探索风险	性能上限受制于数据集状态与序列覆盖度	工业机器人、推荐系统、企业级智能体
LLM Agent RL	LOOP, WebRL, AgentGym-RL, Agent Lightning	多轮工具调用、软件交互与执行-训练解耦	环境交互延迟高、验证器构建难、安全要求严	网页导航、代码修复、API 编排智能体
奖励塑形与 PRM	PBRS, RLHF, AgentPRM, SPA	将终局稀疏监督转化为中间过程推进信号	非势函数塑形易改变最优策略并诱发奖励黑客	具备验证器或过程评估器的多步任务
平均奖励 RL	ATRPO/APO, Feasible Q-Learning, RVI-SAC	优化无终止边界系统的稳态长期平均效用	深度函数逼近下差分价值估计方差较大	长期留存优化、持续资源调度与控制

在构建真实生产系统时，长期收益强化学习通常围绕六个正交工程维度进行模块化拼装：

数据供给机制：纯在线探索 / 离线预训练 / 离线到在线微调 / 专家示范引导；
时间与动作粒度：底层原子动作 / 固定或自适应动作块 / 闭环选项与技能 / 高层子目标 / 工具与 API 调用；
奖励与归因粒度：回合终局奖励 / 势函数塑形（PBRS） / 步骤级过程奖励（PRM） / 事后反事实与注意力归因；
环境动力学利用：无模型（Model-Free）直接优化 / 块级转移模型 / 短程潜空间 MPC 规划 + 终端价值自举；
优化目标准则：有限视野成败率 / 折扣累计回报 / 持续性任务稳态平均奖励；
安全与验证护栏：保守价值下界 / 容器沙箱与状态回滚 / 精确验证器锚定 / 离策略评估与线上护栏指标。

例如，一套生产级网页与代码软件智能体通常会组合“离线示范预训练 + 在线课程微调（WebRL）”、“工具调用级动作粒度”、“终局单元测试验证器 + 过程奖励模型（AgentPRM / SPA）”、“无模型留一法或事后归因策略优化（LOOP / HCAPO）”、“有限视野任务成功率目标”以及“容器沙箱与写操作权限拦截”；而一套工业机器人精密装配系统则更倾向于组合“遥操作示范 + 离线到在线微调”、“自适应动作分块（AQC / ACSAC）+ 底层阻抗控制”、“稀疏成功标志 + 势函数接触引导”、“短程潜空间或块级世界模型（TD-MPC2 / MAC）”与“硬件力矩安全限幅”。

10.2 前沿研究趋势与五大开放性难题

纵观 2024–2026 年的突破性进展，长期收益强化学习正在经历五项深刻的方法论收敛：

从原子动作优化全面转向时间扩展动作（Temporally Extended Actions）：无论是经典 Options、分层子目标还是近期大放异彩的 Action Chunking，核心共识都是停止让主策略在每个底层时间步重复做微观决策。这四类时间抽象形态在块内闭环反馈能力与工程复杂度上的取舍如下：

抽象形态	数学形式	块内闭环反馈能力	核心工程挑战
Option（选项）	$(\mathcal{I}_o,\pi_o,\beta_o)$	强（内部闭环策略）	自动发现语义选项与稳定训练终止条件极难
Skill（无监督技能）	$\pi(a\mid s,z)$	强（潜变量条件闭环）	无奖励预训练的技能未必对齐下游任务流形
Subgoal（子目标）	$\pi_{\text{high}}(g\mid s),\pi_{\text{low}}(a\mid s,g)$	中（底层朝子目标闭环）	子目标空间定义、动力学可达性与高低层非平稳性
Action Chunk（动作块）	$\pi(a_{t:t+K-1}\mid s_t)$	弱至中（块内开环，边界闭环）	固定块长 $K$ 在高频接触阶段反应滞后，需自适应边界

Action Chunking 之所以在近两年迅速成为机器人与连续控制的主流，正是因为它省去了选项终止函数与子目标可达性校验的沉重包袱，天然契合扩散策略（Diffusion Policy）、流匹配策略（Flow Matching）与离线示范轨迹中的连贯动作块结构。

从回合级粗粒度反馈转向步骤/块/轮次级精细信用分配：RUDDER、Synthetic Returns、HCAPO、AgentPRM 与 SPA 共同印证了“仅靠终局单一标量奖励更新整条长轨迹”对样本的巨大浪费。传统控制任务正将信用分配下沉至状态-动作对或动作块，而多轮智能体则将归因粒度细化至每次工具调用、每个交互轮次乃至关键推理片段。
离线行为先验成为长时域训练的默认起点：面对动辄数百步的稀疏任务，从零在线盲目探索已基本退出工业实践。由离线预训练提取行为分块先验、借助保守价值学习（CQL / IQL）筑牢分布内底线、再结合块级探索开展小规模在线改进，已成为高性价比的标准流水线。
世界模型放弃超长开环滚动，收敛于“短程模型规划 + 长期价值自举”：DreamerV3、TD-MPC2 与 MAC 的成功表明，世界模型的优势在于表征压缩与局部多步推演；通过限制规划视野或改用块级单步跳跃，并将远期收益交由价值函数自举，能够从根源上规避复合建模误差。
大语言模型以双重身份深度融入长时域 RL：一方面，LLM 作为被训练的交互智能体（LLM as Agent），通过 LOOP、WebRL、AgentGym-RL 与 Agent Lightning 在有状态软件环境中直接优化多轮工具决策；另一方面，LLM 作为结构先验与奖励协作者（LLM as Prior / Verifier），在 STO-RL、HCAPO 等工作中承担时序子目标拆解、事后反事实反思与过程奖励打分职责。

与此同时，该领域仍面临五个亟待突破的开放性科学难题：

第一，长程时间信用分配缺乏剥离探索干扰的统一诊断基准。 现有工作各自在延迟奖励游戏、记忆回忆迷宫、机械臂长程操作、离线轨迹拼接或网页工具调用上验证算法，这些场景虽统称为“长时域”，但核心瓶颈迥异，亟需能够定量测定“真实因果贡献识别精度”的标准化评测协议。
第二，时间抽象的动态边界划分尚无通用最优解。 固定动作块长在自由移动与精细接触之间的顾此失彼，推动了 ACSAC 与 AQC 等自适应分块研究；然而如何在高维部分可观测环境中，以最小算力代价实时感知动力学突变并无缝切换闭环控制频率，仍需更优雅的理论与架构支撑。
第三，离线先验的“赋能”与“禁锢”难以两全。 离线数据集赋予了长时域智能体宝贵的初始序列先验，却也将策略锁死在历史采集策略的动作流形附近。当在线环境出现分布偏移或需要拼接跨度极大的新技能组合时，如何既放开探索脚步又防止预训练表征灾难性遗忘，依然考验着离线到在线算法的平衡艺术。
第四，长视野下的过程奖励黑客极难根除。 除严格满足裂项相消条件的势函数塑形（PBRS）外，绝大多数学习型过程奖励模型（PRM）与 LLM 裁判都存在代理偏差。决策链条越长，策略搜寻并放大奖励模型盲区的自由度就越高，亟需发展具备形式化保序保证与不确定性感知的过程监督机制（防范 Reward Hacking）。
第五，LLM Agent RL 的训练吞吐量与状态回滚基础设施尚处早期。 真实软件环境中的多轮滚动采样受限于网页加载、代码编译与外部 API 响应，吞吐量远低于传统张量物理模拟器；同时，带副作用的工具调用要求训练基础设施全面配备轻量级容器快照、事务级状态回滚与细粒度权限护栏。

10.3 场景选型矩阵与结语

针对不同业务场景的核心矛盾，可参照以下选型矩阵直接锁定技术突破口：

业务与任务场景特征	首选技术组合	应当规避的误区
机器人长时域稀疏奖励操作（具备少量遥操作示范）	离线行为分块预训练 + Q-Chunking / AQC / AC3 在线微调 + 短程世界模型（MAC）	从零开展单步高斯噪声在线探索，或使用过长固定开环块处理精细接触
目标条件稀疏奖励任务（状态与目标空间结构清晰）	事后目标重标注（HER）+ 偏置/定向目标课程（Skew-Fit / DISCOVER）	在未采到任何成功样本前耗费算力调整复杂 Critic 结构
强部分可观测与长延迟回忆任务（早期关键事件决定终局）	记忆增强架构 + 显式信用分配（RUDDER / TVT / Synthetic Returns / COCOA）	仅依赖单步马尔可夫状态与浅层 TD( $\lambda$ ) 期望信号自然回传
网页、代码与企业软件多轮智能体（工具调用 + 终局验证器）	执行-训练解耦框架（Agent Lightning / AgentGym-RL）+ 事后/过程归因（HCAPO / AgentPRM / SPA）+ 沙箱回滚	仅保存最终回复文本与二元成败分、忽略中间工具返回与轮次归因
环境交互极度昂贵或具高安全风险（工业控制、医疗、金融）	保守离线强化学习（CQL / IQL）+ 离线分层/块级规划（RD-HRL / MAC）+ 护栏内微调	未经离线分布内锚定与安全验证即直接部署在线探索策略
无自然终点的持续性业务系统（推荐留存、长周期调度）	平均奖励准则（ATRPO / RVI-SAC）+ 延迟指标因果归因 + 离策略评估（OPE）与线上护栏	将数天延迟的业务指标硬塞入短视野回合奖励，或仅监控短期瞬态点击率

回顾长期收益强化学习的演进历程，领域范式已经完成了从早期“单步原子动作 + 回合级稀疏奖励 + 一阶 TD 逐步备份”，向“多尺度时间抽象 + 多粒度显式信用分配 + 离线行为先验 + 定向课程探索 + 短程世界模型规划 + 保序验证器协同 + 安全在线微调”的系统性跃迁。前沿研究的焦点早已超越单一 Bellman 备份公式的局部修补，全面转向对轨迹时间结构、动作粒度、奖励拓扑与数据闭环的联合重构——将漫长混沌的未来拆解为可验证的阶段信号，将粗粒度的终局成败还原为可归因的步骤贡献，将底层原子动作封装为可复用的时序积木，并在离线先验、在线探索与安全边界的闭环交织中实现持续进化。

参考文献

Sutton and Barto. Reinforcement Learning: An Introduction.
Sutton, Precup and Singh, 1999. Between MDPs and semi-MDPs: A framework for temporal abstraction in reinforcement learning.
Ng, Harada and Russell, 1999. Policy invariance under reward transformations: Theory and application to reward shaping.
Schulman et al., 2015. High-Dimensional Continuous Control Using Generalized Advantage Estimation.
Munos et al., 2016. Safe and Efficient Off-Policy Reinforcement Learning.
Bacon, Harb and Precup, 2016. The Option-Critic Architecture.
Schulman et al., 2017. Proximal Policy Optimization Algorithms.
Christiano et al., 2017. Deep reinforcement learning from human preferences.
Pathak et al., 2017. Curiosity-driven Exploration by Self-supervised Prediction.
Vezhnevets et al., 2017. FeUdal Networks for Hierarchical Reinforcement Learning.
Andrychowicz et al., 2017. Hindsight Experience Replay.
Nachum et al., 2018. Data-Efficient Hierarchical Reinforcement Learning.
Espeholt et al., 2018. IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures.
Burda et al., 2018. Exploration by Random Network Distillation.
Eysenbach et al., 2018. Diversity is All You Need: Learning Skills without a Reward Function.
Arjona-Medina et al., 2018/2019. RUDDER: Return Decomposition for Delayed Rewards.
Hung et al., 2018/2019. Optimizing Agent Behavior over Long Time Scales by Transporting Value.
Ecoffet et al., 2019. Go-Explore: a New Approach for Hard-Exploration Problems.
Pong et al., 2019. Skew-Fit: State-Covering Self-Supervised Reinforcement Learning.
Portelas et al., 2020. Automatic Curriculum Learning For Deep RL: A Short Survey.
Fu et al., 2020. D4RL: Datasets for Deep Data-Driven Reinforcement Learning.
Kumar et al., 2020. Conservative Q-Learning for Offline Reinforcement Learning.
Nair et al., 2020. AWAC: Accelerating Online Reinforcement Learning with Offline Datasets.
Raposo et al., 2021. Synthetic Returns for Long-Term Credit Assignment.
Kostrikov et al., 2021. Offline Reinforcement Learning with Implicit Q-Learning.
Fujimoto and Gu, 2021. A Minimalist Approach to Offline Reinforcement Learning.
Zhang and Ross, 2021. On-Policy Deep Reinforcement Learning for the Average-Reward Criterion.
Hafner et al., 2023. Mastering Diverse Domains through World Models.
Yang et al., 2023. Would I have gotten that reward? Long-term credit assignment by counterfactual contribution analysis.
Li, Zhu and Zhang, 2023. Offline Hierarchical Reinforcement Learning Using Subgoal Generation.
Hansen et al., 2023. TD-MPC2: Scalable, Robust World Models for Continuous Control.
Pignatelli et al., 2023/2024. A Survey of Temporal Credit Assignment in Deep Reinforcement Learning.
Jin et al., 2024. Feasible Q-Learning for Average Reward Reinforcement Learning.
Zhou et al., 2024. RVI-SAC: Average Reward Off-Policy Deep Reinforcement Learning.
Park et al., 2024. OGBench: Benchmarking Offline Goal-Conditioned RL.
Gur et al., 2024. WebRL: Training LLM Web Agents via Self-Evolving Online Curriculum Reinforcement Learning.
Chen et al., 2025. Reinforcement Learning for Long-Horizon Interactive LLM Agents.
Choudhury, 2025. Process Reward Models for LLM Agents: Practical Framework and Directions.
Tian, Celik and Neumann, 2025. Chunking the Critic: A Transformer-based Soft Actor-Critic with N-Step Returns.
Lu et al., 2025. Stepwise Progress Attribution: A Step-level Reinforcement Learning Framework for LLM Agents.
Chen et al., 2025. DISCOVER: Directed Exploration for Sparse-Rewards Very Long-Horizon Goal-Conditioned Reinforcement Learning.
Li, Zhou and Levine, 2025. Reinforcement Learning with Action Chunking.
Pignatelli et al., 2025. Deep Reinforcement Learning with Gradient Eligibility Traces.
Luo et al., 2025. Agent Lightning: Train ANY AI Agents with Reinforcement Learning.
Yang et al., 2025. Actor-Critic for Continuous Action Chunks.
Park et al., 2025/2026. Scalable Offline Model-Based RL with Action Chunks.
Gu et al., 2026. STO-RL: Offline RL under Sparse Rewards via LLM-Guided Subgoal Temporal Order.
Xi et al., 2026. AgentGym-RL: An Open-Source Framework to Train LLM Agents for Long-Horizon Decision Making via Multi-Turn RL.
Tan et al., 2026. Hindsight Credit Assignment for Long-Horizon LLM Agents.
Liu et al., 2026. Agentic Credit Assignment: A Survey of Credit Assignment in LLM Agents.
Chen et al., 2026. ACSAC: Adaptive Chunk Size Actor-Critic with Causal Transformer Q-Network.
Gireesh, Ju and Wang, 2026. Adaptive Q-Chunking for Offline-to-Online Reinforcement Learning.