江苏龙网

  1. 首页 > 人文 > >

如何提高强化学习效果？内在奖励和辅助任务( 二 )


1、是否能够通过数据驱动的方式 ， 学习得到一个内在奖励函数？
2、通过学习到的内在奖励函数 ， 什么样的知识能够被捕获到？
针对第一个问题 ， 论文中提出了一个学习跨多生命周期Lifetime）内部奖励函数的可扩展的Meta-Gradient框架 。 针对第二个问题 ， 论文中设计了一系列的实验 ， 通过实验证明：1）学习到的内在奖励函数能够捕获有用的规律 ， 这些规律有助于强化学习过程中的Exploration和Exploitation；2）学习到的内在奖励函数可以推广到不同的学习智能体和不同的环境中；3）内在奖励函数可以捕获知识告诉智能体要做什么而不是怎么做 ， 策略是用来告诉智能体应该怎么做 。
2.2 Optimal Reward Framework
如何提高强化学习效果？内在奖励和辅助任务
本文插图
图
2：基于多生命周期的最优奖励框架
研究的目标是从经验中学习到有用的内在奖励 ， 论文中考虑多生命周期（Multiple Lifetime）的情况（如图2所示） 。 涉及到的相关概念定义如下：
生命周期（Lifetime）：是指由多个情节（Episodes）构成的智能体的整个训练时间 。 生命周期可以有成千上万的情节 。 每个情节有多个不同的参数更新（如图1所示） 。 在生命周期的开始 ， 智能体被按照一定分布随机采样的任务初始化 。 在实验过程中 ， 任务可以是静态（Stationary）或非静态（Non-Stationary）的 。 当情节属于一个生命周期时 ， 任务随着时间改变 。
内部奖励（Intrinsic Reward）：在一个生命周期内被用来训练智能体策略（Policy）,策略不能看到外在奖励 ， 只能利用内部奖励更新参数 。
最优奖励问题（Optimal Reward Problem）：是指学习跨多生命周期的内在奖励函数 。 通过训练多个随机初始化的策略 ， 获得累积最优的外在奖励 。
目前针对最优化内在奖励函数 ， 仍然存在两个开发不足的方面 。
1、内在奖励函数的输入应该是整个生命周期的行为历史而不是情节（Episode）内的行为历史 。 这样有助于强化学习中的Exploration 。 这是因为Exploration需要关注跨多个Episodes的发生情况 ， 即当进行探索时 ， 需要观察整个生命周期内的行为历史 。
2、需要最大化整个长生命周期的返回（Lifetime Return）,而不是单个情节的返回（Episodic Return） 。 这样可以有更多空间来平衡跨多个场景之间的Exploration和Exploitation 。
针对以上的不足 ， Satinder Singh教授和他的团队提出一个Scalable Gradient-Based的方法来解决最优化内在奖励的问题 。
2.3 Truncated Meta-Gradients with Bootstrapping
Meta-Gradient方法有两个循环 ， 分别是：内部循环（Inner Loop）和外部循环（Outer Loop） 。
如何提高强化学习效果？内在奖励和辅助任务
本文插图
【如何提高强化学习效果？内在奖励和辅助任务】
图3：Meta-Gradients中的两个循环
内部循环在强化学习中很常见 ， 如图3所示 ， 在展开的计算图中进行策略参数（q）更新 ， 直到生命周期结束 。 外部循环是指在整个生命周期通过反向传播方法 ， 更新内在奖励函数参数（h） 。 内在奖励函数可以是一个单独的神经网络或者是循环神经网络（RNN） 。 神经网络的节点与生命周期中各情节的行为历史对应 ， 构成整个生命周期的行为历史 。 Meta-Gradient方法的核心思想是：在内部循环中的策略参数更新是关于内在奖励函数参数可微到 。 因此 ， 如果我们能够展开计算图 ， 在整个生命周期内更新策略参数（q） ， 那么就可以通过这个巨大的计算图反向传播计算关于内在奖励函数参数（h）的Meta-Gradients 。
当然 ， 由于受到内存空间的限制 ， 这是展开整个计算图更新参数是不可行的 。 这也是为什么之前的一些Meta-Gradients方法在更新了少量q参数后就调优情节返回（Episode Return）的原因 。 为了解决这个挑战 ， Satinder Singh教授他们仍然采用了截断计算图只更新少量参数的方法 。 但是他们采用生命周期价值函数（Lifetime Value Function）来近似截断内部循环参数更新之后的其他未展开计算图节点的生命周期奖励（如图4所示） 。 这个生命周期价值函数在未来不仅用来预测整个生命周期外部奖励同时不断的更新内部循环中的参数q 。 因此这个价值函数是在多生命周期间进行训练 。


推荐阅读


上一篇：卢特·奥尔森|噩耗！冠军教练去世震动美国篮球圈 湖人勇士热火等队球员纷纷悼念

下一篇：美加杰留学移民|部分课程可全部在境外完成，最新｜加拿大毕业工签条件再放宽