啥是逆强化学习
IRL 是指在给定一个策略(optimal or not)或者一些操作示范的前提下,反向推导出MDPs的报酬函数,让智能体通过专家示范(expert trajectories)来学习如何决策复杂问题的一种算法。
【啥是逆强化学习】 应用IRL的领域一般具有Reward function难以准确量化,而又已经有人能够将这些任务完成得很好了。比如自动驾驶领域就可以应用到IRL,我们想让智能体学习如何开车,一个简单的case是让智能体从多条可选路径中从A点开车到B点,根据路程的长短给reward,然后迭代得到一个会找到最短路径的算法,这是RL的思路。但是有一些情况没办法像寻找最短路径这样给定一个reward,比如“撞到人”、“撞到车”、“绕开交通拥堵路段”等比较难给一个回报函数来指引智能体决策,而人类在这方面却做得很好,比如的士司机(称之为高级城市车手也不为过)。想让找一个回报函数来指引agent得出的士司机那样的行驶策略是比较难的一件事情,但我们可以反过来,让智能体从的士司机的行为里面推导(估计、近似)出一个可以指导智能体收敛到的士司机的开车策略(policy)的回报函数。这就是IRL的基本思想和其一个应用例子。
具体可以看我的一篇论文笔记:阅读笔记 - IRL - Ng. 2000 in ICML
■网友
正强化学习有环境学策略,逆强化学习就是反过来学环境
■网友
举个例子, RL是让你去学习画出一个区域的地形然后找各个点之间的最优路径,IRL是告诉你某条或某几条路是不同点之间的最优路径,你来设计一个地形保证这些路是最优路径。
■网友
自来也。
最近看了点论文和相关的代码,也是在入门阶段,有不对的地方请一定告诉我,以后 有补充的地方也会继续添加。
简单说就是不需要手工设计reward,改用学习的方式产生reward function,个人觉得这一点还是蛮有必要的,最起码的一点:手工设计的reward很难考虑周全。
简单点的有,假设了reward function是某个结构(例如:reward = w1*p1+w2*p2),然后学习这个结构中相应参数的权重,例如Liner program IRL 中就是通过凸优化学习到w1和w2(这是很早期的算法,08年);后来就出现了一些新的算法,像高斯过程IRL,不过不适用于状态规模较大的情况,又比如Maximum Entropy IRL(最大熵IRL),它用神经网络来学习reward,可以学习到一个非线性的function(Liner program IRL 是线性的)。
除了reward function这一点区别外,其它还是沿袭了RL。
■网友
注意区分inverse reinforcement learning和model-based reinforcement learning。可以分开查阅然后对比,我一知半解的就不瞎解释了。
■网友
什么是逆向强化学习呢?当完成复杂的任务时,强化学习的回报函数很难指定,我们希望有一种方法找到一种高效可靠的回报函数,这种方法就是逆向强化学习。我们假设专家在完成某项任务时,其决策往往是最优的或接近最优的,当所有的策略产生的累积汇报函数期望都不比专家策略产生的累积回报期望大时,强化学习所对应的回报函数就是根据示例学到的回报函数。即逆向强化学习就是从专家示例中学习回报函数。当需要基于最优序列样本学习策略时,我们可以结合逆向强化学习和强化学习共同提高回报函数的精确度和策略的效果。
推荐阅读
- |强化“四个环节”做好统战工作棠张镇多措并举推动统战工作创新
- 现在在线学习视频有很多了,为啥大部分人还是喜欢下载下来观看
- 婴儿|美国儿科学会: 1岁以下婴儿不推荐学习游泳
- 媒体聚焦网络知产保护:强化企业社会责任,完善行业监管体系
- 在美国大学学习computer science 是啥样的体验
- 作为软件工程大二的学生,学习一般,编程一般,毕业后能干些啥
- 计算机深度学习方面sci三区期刊推荐
- 零基础入门学习啥语言好
- 有哪些好的学习英文的视频网站
- 马云说的大数据时代到底是,用到啥技术,如果想要学习大数据技术,要学习哪些基础的东西要先会编程么
