The option-critic architecture

Abstract

时间抽象是强化学习中扩大学习和规划的关键。虽然计划与时间扩展的行动是众所周知的，但从数据中自主地建立这样的抽象仍然具备挑战性。咱们在option框架内解决这个问题[Sutton，Precup&Singh，1999；Precup，2000]。咱们推导了option的策略梯度定理，并提出了一种新的 \(opiton\text{-}critic\) 体系结构，它可以同时学习 option 的内部策略和终止条件，而且不须要提供任何额外的奖励或子目标。在离散和连续环境下的实验结果代表了该框架的灵活性和高效性。

Temporal abstraction：

Introduction

时间抽象容许表示发生在不一样时间尺度上的行为过程的知识。

How to understand? Option?

在强化学习中，option（Sutton、Precup和Singh 1999；Precup 2000）为定义此类行动方案以及与之无缝地学习和规划提供了框架。在过去的15年里，自主地发现时间抽象一直是普遍研究的主题（McGovern和Barto 2001；Stolle和Precup 2002；Menache、Mannor和Shimkin 2002；S¸ims¸ek和Barto 2009；Silver和Ciosek 2012），可是能够天然地与连续状态和/或动做空间一块儿使用的方法直到最近才开始变得可行（Konidaris等人。2011年；Niekum 2013年；Mann、Mannor和Precup 2015年；Mankowitz、Mann和Mannor 2016年；Kulkarni等人。2016年；V ezhnevets等人。2016年；Daniel等人。2016年）。

现有的大部分工做都集中在寻找子目标（代理应该达到的有用状态）以及随后学习实现这些目标的策略。这一想法致使了有趣的方法，但由于他们的 "combinatorial" flavor 也很难扩大规模，。此外，与子目标相关的策略学习在数据和计算时间方面可能代价很大；在最坏的状况下，它可能与解决整个任务同样昂贵。

咱们提出了另外一种观点，它模糊了发现option问题和学习option问题之间的界限。基于policy gradient 定理（Sutton等人。2000年），咱们获得了一些新的结果，这些结果使得 \(intra-option\) 政策和终止函数的逐步学习过程可以与对它们的策略同时进行。在离散或连续的状态空间和动做空间下，这种方法能够天然地处理线性和非线性函数逼近器。当从单个任务中学习时，现有的学习option方法要慢得多：在相似的任务中重复使用已学习的选项，这是很大的好处。相比之下，咱们证实了咱们的方法可以在单个任务中成功地学习选项，而不会致使任何减速，同时仍然为转移学习提供好处。

1. 咱们首先回顾与咱们工做的两个主要组成部分相关的背景：policy gradient method 和 option。
2. 而后咱们描述了咱们方法的核心思想：the intra-option policy 和 termination gradient theorems。附加技术细节见附录。
3. 实验结果代表，咱们的方法可以有效地学习有意义的时间扩展行为。与其余方法不一样，咱们只须要指定所需选项的数量；不须要有子目标、额外奖励、描述demonstrations、多重问题或任何其余特殊调整（可是，若是须要，该方法能够利用伪奖励函数）。据咱们所知，这是第一个端到端的学习方法，能够以至关的效率扩展到很是大的领域。

Preliminaries and Notation

一个马尔可夫决策过程包括：

\[状态空间：\mathcal{S} \\ 动做空间：\mathcal{A} \\ 转移函数P：\mathcal{S}\times\mathcal{A}\to \mathbb{R} \]

为了方便起见，咱们发展了假设离散状态和做用集的思想。然而，咱们的结果扩展到连续空间使用一般的测量理论假设（咱们的一些经验结果是在连续任务）。A (Markov Stationary) \(policy\) 是以状态为条件在动做上的几率分布：$$\pi:\mathcal{S}\times\mathcal{A}\to[0,1]$$

在discount probelem中，策略\(\pi\)的值函数定义为指望：

\[V_\pi(s)=\mathbb{E}_\pi[\sum_{t=0}^\infty \gamma^tr_{t+1}|s_0=s] \]

其动做值函数为：

\[Q_\pi(s,a)=\mathbb{E}_\pi[\sum_{t=0}^\infty \gamma^tr_{t+1}|s_0=s, a_0=a] \]

其中\(\gamma\in[0,1)\)，为折扣因子。

一个策略 \(\pi\) 对给定的动做值函数 \(Q\) 是贪婪的，若是\(\pi(s,a)>0\)当且仅当\(a=\mathop{\arg\min}_{a'}Q(s,a')\)。

在离散MDP中，至少有一个最优策略对其自身的做用值函数是贪婪的。

Policy gradient methods

policy gradient 方法（Sutton等人。2000；Konda和Tsitsiklis 2000）经过执行随机梯度降低来优化给定参数化随机策略族 \(\pi_\theta\) 的性能目标，来解决寻找一个好策略的问题。policy gradient 定理（Sutton等人。2000）提供了平均奖励和折扣奖励目标相对于θ的梯度的表达式。

在discounted 的设置下，目标是根据指定的开始状态（或分布）来定义的：

\[s_0:\rho(\theta,s_0)=\mathbb{E}_{\pi\theta}[\sum_{t=0}^{\infty}\gamma^tr_{t+1}|s_0]\tag{a-1} \]

Policy gradient 定理代表：

\[\frac{\partial\rho(\theta,s_0)}{\partial\theta}=\sum_s\mu_{\pi\theta}(s|s_0)\sum_a\frac{\partial\pi_{\theta}(a|s)}{\partial\theta}Q_{\pi\theta}(s,a) \]

\[\mu_{\pi\theta}(s|s_0)=\sum_{t=0}^{\infty}\gamma^tP(s_t=s|s_0) \]

\(\mu_{\pi\theta}(s|s_0)\) 是从 \(s_0\) 开始沿轨道的状态的折扣权重。

在实际应用中，政策梯度是沿着 on-policy 上的平稳分布从样本中估计出来的。（Thomas 2014）代表，忽略此平稳分布中的折扣因子会使一般的政策梯度估计有误差。然而，纠正这种差别也会下降数据效率。为了简单起见，咱们创建在（Sutton et al并根据（Thomas 2014）讨论如何扩展咱们的结果。

The options framework

The options framework（Sutton、Precup和Singh 1999；Precup 2000）将时间扩展行动的概念正式化。

\[\text{Markov option }\omega\in\Omega \ is\ (\mathcal{I}_\omega,\pi_\omega,\beta_\omega)= \begin{cases} \mathcal{I}_\omega \subseteq\mathcal{S}\\ \pi_\omega:intra\text{-}option \text{ policy}\\ \beta_\omega \end{cases} \]

咱们同时假设全部的options在任何地方均可以使用，即 \(\forall s\in\mathcal{S},\forall \omega\in\Omega:s\in\mathcal{I}_\omega\) ，这是大多数option发现算法中的一种假设。咱们将在最后一节讨论如何消除这种假设。（Sutton，Precup，and Singh 1999；Precup 2000）代表，赋予一组option的MDP成为一个半马尔可夫决策过程（Puterman 1994，第11章），它在 \(V_\Omega(s)\) 和 option-value function \(Q_\Omega(s,\omega)\) 上具备对应的最优值函数。mdp的学习和规划算法在这种状况下有对应的算法。然而，底层MDP的存在提供了并行学习许多不一样选项的可能性：这就是 \(intra\text{-}option\ learning\) 的思想，咱们在工做中利用了这种思想。

Learning Options

咱们对学习选择问题采起了持续的观点。在任什么时候候，咱们都但愿将全部可用的经验提炼到咱们系统的每一个组成部分：value function, policy over options, intra-option policies and termination functions 价值函数和期权政策、期权内政策和终止函数。为了实现这一目标，咱们重点学习期权策略和终止函数，假设它们是用可微参数化函数逼近器表示的。

differentiable parameterized function approximators 可微参数化函数逼近器:

有不少 differentiable function approximators，如：

• 线性模型（Linear combinations of features）
• 神经网路（Neural network）
• 决策树（Decision tree）
• 最近邻（Nearest neighbour）
• ...

咱们考虑了 \(call-and-return\) 执行模型，在该模型中，agent根据其在 \(\pi_\Omega\) 的策略选择option \(\omega\) ，而后遵循其 \(intra-option\) policy \(\pi_\omega\)直到终止（由 \(\beta_\omega\) 决定），此时该过程重复进行。

设 \(\pi_{\omega,\theta}\) 表示由θ参数化的option ω的intra-option policy，\(\beta_{\omega,\vartheta}\) 是由ϑ参数化的ω的终止函数。咱们提出了两个新的学习option的结果，获得了做为蓝图的政策梯度定理（萨顿等人。2000年）。这两个结果都是在假设目标是学习使当前任务的预期收益最大化的option的前提下得出的。然而，若是要在目标函数中添加额外的信息，只要它以加性可微函数的形式出现，就能够很容易地作到这一点功能。

additive differentiable function：

假设咱们的目标是优化在全部从指定状态 \(s_0\) 和option \(\omega_0\) 的轨迹上指望的discounted return，而后

\[\rho(\Omega,\theta,\vartheta,s_0,\omega_0)=\mathbb{E}_{\Omega,\theta,\omega}[\sum_{t=0}^{\infty}\gamma^tr_{t+1}|s_0,\omega_0] \]

7.24：此公式相对于式（a-1）同为 \(\rho()\) ，应该一样理解为\(s_0\) 的分布

请注意，此return取决于policy over options，以及option policies和termination函数的参数。咱们将取这个目标相对于θ和ϑ的梯度。为了作到这一点，咱们将使用相似于 \(intra-option\) 学习中使用的方程（Sutton，Precup，and Singh 1999，第8节）。具体来讲，option-value 函数的定义能够写成：

\[Q_\Omega(s,\omega)=\sum_a\pi_{\omega,\theta}(a|s)Q_U(s,\omega,a)\tag{1} \]

首先能够很直观地看出此方法不是将option视为不可观察的黑盒，而是能够观察其内部更基础的action。基于此上式即可以理解为，option-value function就是基于状态s，option内策略获得值的指望，因此 \(Q_U()\) 从这个表达式推断，就能够推测是用来描述option内的state-action值函数，至关因而option的qlearning过程的值函数

\(Q_U:\mathcal{S}\times\Omega\times\mathcal{A}\to\mathbb{R}\)是在state-option对的环境中中执行action的值:

\[Q_U(s,\omega,a)=r(s,a)+\gamma\sum_{s'}P(s'|s,a)U(\omega,s')\tag{2} \]

经过文章内的描述能够得知以前的推断是正确的，可是彻底理解为option内的q-learning仍是不妥

注意，\(（s，ω）\)对致使了一个扩大的状态空间，参见（Levy和Shimkin 2011）。可是，咱们不会显式地处理这个空间；它只用于简化推导。函数\(U:\Omega\times\mathcal{S}\to\mathbb{R}\)称为到达时的option-value函数（Sutton、Precup和Singh 1999，方程20）。

进入状态 \(s'\) 时执行 \(ω\) 的值由下式给出:

\[U(\omega,s')=(1-\beta_{\omega,\vartheta}(s'))Q_\Omega(s',\omega)+\beta_{\omega,\vartheta}(s')V_\Omega(s')\tag{3} \]

Between MDPs and semi-MDP中的表达式为：\(U(s,o)=(1-\beta(s))Q(s,o)+\beta(s)\mathop{\max}_{o'\in\mathcal{O'}}Q(s,o')\)

\(U(\omega,s')\) 的含义也即高亮——进入状态 \(s'\) 时执行 \(\omega\) 的值

\(P(s'|s,a)\) 指（s，a）时s'的几率，因此\(\sum_{s'}P(s'|s,a)U(\omega,s')\)即 \(\mathbb{E}[\omega|s,a]\)

请注意， \(Q_U\) and \(U\) 都依赖于θ和ϑ，但为了清楚起见，咱们不在符号中包含它们。导出策略梯度所需的最后一个要素是Markov链，沿着该链能够估计性能度量。天然的方法是考虑在增广状态空间中定义的链，由于state-option对如今在一般的Markov链中扮演regular state的角色。若是option \(\omega_t\) 已经启动或在状态st的时间t执行，则一步中转换到 \((s_{t+1}，ω_{t+1})\) 的几率为：

\[P(s_{t+1},\omega_{t+1}|s_t,\omega_t)=\sum_a\pi_{\omega_t,\theta}(a|s_t)P(s_{t+1},a)((1-\beta_{\omega,\vartheta}(s_{t+1}))\mathbb{1}_{\omega_t=\omega_{t+1}}+\beta_{\omega,\vartheta}(s_{t+1})\pi_\Omega(w_{t+1}|s_{t+1}))\tag{4} \]

显然，（4）给出的过程是均匀的。在温和的条件下，且期权无处不在，它其实是遍历的，而且在state-option对上存在惟一的稳态分布（stationary distribution）。

\(\mathbb{1}_{\omega_t=\omega_{t+1}}\) 的含义：

稳态分布：

假设期权内政策的参数θ是随机可微的，咱们如今将计算预期折现收益率的梯度。

从式（1，2）能够获得：

\[\frac{\partial Q_\Omega(s,\omega)}{\partial\theta}=\left(\sum_a\frac{\partial\pi_{\omega,\theta}(a|s)}{\partial\theta}Q_U(s,\omega,a)\right) + \sum_a\pi_{\omega,\theta}(a|s)\sum_{s'}\gamma P(s'|s,a)\frac{\partial U(\omega,s')}{\partial\theta} \]

咱们能够用（3）和（4）进一步展开右手边，获得如下定理：

Intra-Option Policy Gradient Theorem

**Theorem 1 (Intra-Option Policy Gradient Theorem). **

给定一组参数θ可微的随机内期权策略的Markov期权，其指望折现收益率相对于θ和初始条件（s0，ω0）的梯度为：

\[\sum_{s,\omega}\mu_\Omega(s,\omega|s_0,\omega_0)\sum_a\frac{\partial \pi_{\omega,\theta}(a|s)}{\partial\theta}Q_U(s,\omega,a) \]

其中\(\mu_\Omega(s,\omega|s_0,\omega_0)\) 是状态选项对沿着从（s0）开始的轨迹的贴现加权，

\[\mu_\Omega(s,\omega|s_0,\omega_0)=\sum_{t=0}^{\infty}\gamma^tP(s_t=s,\omega_t=\omega|s_0,\omega_0) \]

证实在附录中。这个梯度描述了原始水平上局部变化对全局指望折现收益的影响。相反，子目标或伪奖励方法假设期权的目标仅仅是优化其自身的奖励函数，而忽略了提议的变动如何在整体目标中传播。

如今咱们将注意力转向计算终止函数的梯度，此次假设是随机的，而且在ϑ中是可微的。

从（1，2，3）能够获得：

\[\frac{\partial Q_\Omega(s,\omega)}{\partial\vartheta}=\sum_a\pi_{\omega,\theta}(a|s)\sum_{s'}\gamma P(s'|s,a)\frac{\partial U(\omega,s')}{\partial\vartheta} \]

所以，关键量是U的梯度。这是调用和返回执行的天然结果，其中终止函数的“善”只能在进入下一个状态时评估。相关梯度可进一步扩展为:

\[\frac{\partial U(\omega,s')}{\partial\vartheta}=-\frac{\partial\beta_{\omega,\vartheta}(s')}{\partial\vartheta}A_\Omega(s',\omega)+\gamma\sum_{\omega'}\sum_{s''}P(s'',\omega')\frac{\partial U(\omega',s'')}{\partial\vartheta}\tag{5} \]

其中 \(A_\Omega\) 是advantage function（Baird，1993），\(A_\Omega(s',\omega)=Q_\Omega(s',\omega)-V_\Omega(s')\)。

递归地展开 \(\frac{\partial U(\omega',s'')}{\partial\vartheta}\) 获得了与定理（1）类似的形式，但其中状态-选项对的权重如今是根据移动一个时间步的马尔可夫链：\(\mu_\Omega(s_{t+1},\omega_t|s_t,\omega_{t+1})\)（详见附录）。

Termination Gradient Theorem

Theorem 2 (Termination Gradient Theorem).

给出一组随机终止函数在其参数ϑ上可微的Markov期权，指望折现收益目标相对于ϑ和初始条件（s1，ω0）的梯度为：

\[-\sum_{s',\omega}\mu_\Omega(s',\omega|s_1,\omega_0)\frac{\partial \beta_{\omega,\vartheta}(s')}{\partial\vartheta}A_\Omega(s',\omega) \]

其中\(\mu_\omega(s',\omega|s_1,\omega_0)\) （s1，ω0）中状态选项对的贴现权重:

\[\mu_\Omega(s,\omega|s_1,\omega_0)=\sum_{t=0}^\infty\gamma^tP(s_{t+1}=s,\omega+t=\omega|s_1,\omega_0) \]

优点函数常常出如今政策梯度方法中（Sutton等人。2000年）在造成基线以减小梯度估计的方差时。它在这种状况下的出现主要与算法设计有关。有趣的是，在咱们的例子中，它是推导的直接结果，而且给了定理一个直观的解释：当期权选择相对于全部期权的指望值是次优时，优点函数是负的，它推进梯度修正上升，这增长了终止的概率。终止后，代理有机会使用πΩ选择更好的选项。相似的想法也构成了期权的中断执行模型（Sutton，Precup，and Singh 1999），在该模型中，只要QΩ（s？，ω）对于电流选项ω小于VΩ（s？）。（Mann、Mankowitz和Mannor 2014）最近在数值迭代设置下，经过打断Bellman算子的镜头研究了中断选项。终止梯度定理能够解释为提供了一个基于梯度的中断Bellman算子。

Algorithms and Architecture

基于定理1和定理2，咱们如今能够设计一个学习选项的随机梯度降低算法。利用双时间尺度框架（Konda和Tsitsiklis 2000），咱们建议在快速的时间尺度上学习值，同时以较慢的速度更新内部期权策略和终止函数。

咱们将产生的系统称为一个选项批评家架构，参考actor-critical架构（Sutton 1984）。期权内策略、终止函数和期权上的策略属于系统的参与者部分，而批评家则由量子和AΩ组成。期权批评家体系结构没有规定如何得到πΩ，由于现有的各类方法均可以应用：在SMDP级别使用策略梯度方法，在期权模型上使用规划器，或者使用时间差分更新。若是πΩ是贪婪策略对期权，则由（2）获得相应的一步策略更新目标g（1）t为：

\[g_t^{(1)}=r_{t+1}+\gamma\left( (1-\beta_{\omega_t,\vartheta}(s_{t+1}))\sum_a\pi_{\omega_t,\theta}(a|s_{t+1})Q_U(s_{t+1},\omega_t,a)\\ +\beta_{\omega_t,\vartheta}(s_{t+1})\mathop{\max}_\omega\sum_a\pi_{\omega_t,\theta}(a|s_{t+1})Q_U(s_{t+1},\omega,a)\right) \]

这也是Sutton，Precup和Singh 1999的intra-option Q-learning算法的更新目标。算法1给出了一个使用选项内Q学习的option critic的原型实现。表格设置仅为清晰呈现而设。咱们分别给出了批评家、期权内策略和终止函数的学习率的α、αθ和αϑ。

学习QΩ的QUin加法在计算上浪费了大量的参数和样本。一个实际的解决方案是只学习QΩ并从中获得qu的估计值。由于屈是对下一个国家的指望， \(Q_U(s,\omega,a)=\mathbb{E}_{s'\sim P}[r(s,a)+\gamma U(\omega,s')|s,\omega,a]\) ，结果代表g（1）t是一个合适的估计量。咱们选择这种方法做为咱们在街机学习环境中使用深度神经网络的实验。

Experiments

咱们首先考虑四个房间域中的导航任务（Sutton、Precup和Singh 1999）。咱们的目标是评估一组彻底自主学习的选项从环境的忽然变化中恢复过来的能力。（Sutton，Precup，and Singh 1999）对一组预先指定的选项提出了一个相似的实验；咱们的结果中的选项并非事先指定的。

最初目标位于东门，初始状态从全部其余单元统一绘制。1000集以后，目标移动到右下角房间的一个随机位置。原始移动可能以1/3的几率失败，在这种状况下，代理会随机过渡到一个空的相邻单元。折扣系数为0.99，进球时奖励为+1，不然奖励为0。咱们选择用Boltzmann分布参数化期权内策略，用sigmoid函数参数化终止策略。利用期权内Q学习方法学习了期权优先策略。咱们还使用Boltzmann策略实现了原始的actor-critic（表示为AC-PG）。咱们还比较了期权评论家和原始的萨尔萨代理使用玻尔兹曼勘探和没有资格痕迹。对于全部的Boltzmann策略，咱们将温度参数设置为0.001。全部的权重都被初始化为零。

如图2所示，当目标忽然改变时，OptionCritic代理恢复得更快。此外，初始的选项集是从零开始学习的速度可与原始方法相媲美。尽管这个领域很简单，但咱们尚未发现其余方法能够在不产生比单独使用原始操做时更大的成本的状况下解决这个任务（McGovern和Barto 2001；S¸ims¸ek和Barto 2009）。

在有4个选项和8个选项的两个临时扩展设置中，终止事件更可能发生在门口附近（图3），这与直觉一致，即它们是好的子目标。与（Sutton，Precup，and Singh 1999）相反，咱们本身并无对这些知识进行编码，而是让代理找到可以最大化预期贴现回报的选项。

能够参考的其余理解

知乎 【强化学习算法20】option-critic