关于 Off-Policy Monte Carlo Control 的问题
最近也在看这块的内容，有一些观点，不知道能不能帮助题主。
你的1和2两个问题其实是要放在一起看，为什么在 【关于 Off-Policy Monte Carlo Control 的问题】
之后才更新Q呢？因为在
之后，
，这样，
，才能计算
，这也恰恰回答了更新公式分子为1。不然的话如果在
之前，
，计算出的增量就是0，就不能更新Q。题主觉得这么解释有没有道理呢？
以迷宫问题为例，其实在不使用on-policy或者off-policy方法的时候，只使用greedy-policy来更新Q，会使得搜索空间变得很小，往往需要把搜索树中的某个子树（某条死路）走很多遍才能去搜索其他子树，这样会使得搜索效率降低，因此才会考虑使用on-policy和off-policy的方法，off-policy的方法有一个好处，就是对于不是greedy policy中的路径的状态值函数和状态动作值函数也能被更新到，这样搜索空间就增加了。
■网友
您好，最近我也在这个问题卡住了，您有没有考虑过是否更新lastest time 对应的 Q（S，A），我在这本书的网页上看到网友提出的修改意见，发现有人跟我的问题是一样的。
p. 127, Figure 5.7. The first two lines of step (c) refer to pairs s,a and times t at or laterthan time \\tau. In fact, it should only treat them for times later than \\tau, not equal.(Thorsten Buchheim) No, wait, on further consideration, it is right as printed. The actionat \\tau may be non-greedy, but everything after it is, so we can use it to learn its value. Infact, this is the only way the value of non-greedy actions are learned. (Ashique Mahmood)
网址：Reinforcement Learning: An Introduction
推荐阅读
- 过节■江苏省委省政府办公厅下发关于做好2021年元旦春节期间有关工作的通知
- |徐州市出台《关于优化创新创业生态系统 提升区域科技创新活力的实施意见》及实施细则
- 雨下|全球关于禁售燃油车只是理论上可行吗
- 关于用phpfsocket 写Post， 模拟http 报文怎样写入要传输的处理数据
- 智叔|很多家长还在整箱买：谈谈关于牛奶的17个真相警惕这些列入黑名单的“假牛奶”
- 关于微信小程序的思考：运营者该何去何从
- 关于人工智能虚拟人的一些问题
- 知乎上关于人生经验的介绍是否可能对青少年造成潜在危害
- 写下我关于做数据分析专员的困惑和各位的建议是
- 非物质文化遗产|市北文体中心一场关于“非遗”的盛会…