强化学习中 Backup 这个词咋翻译比较准确

倒推
■网友
参考Sutton的RL书。个人认为backup这个词的直译“备份”确实不能反映其实质,这个词应该是a value backed up to be another target value,因此更像是“更新”(update)的意思。个人建议是直接说backup不要翻译了。

但为什么不说update呢?因为,说update就更像 强化学习中 Backup 这个词咋翻译比较准确
这种操作,而很多地方是做 强化学习中 Backup 这个词咋翻译比较准确
这种操作。

另外有个概念叫做backup diagram,它是反映算法里面价值函数每个数值的更新如何依赖于其他的数值或者采样。贴张图感受一下。

强化学习中 Backup 这个词咋翻译比较准确



■网友
backup diagram:回溯图
■网友
【强化学习中 Backup 这个词咋翻译比较准确】 回溯图的表述我觉得很到位,因为backup diagram绘制的就是根据bellman equation递归计算v(s)的计算数据流向。backup也可以直译为支撑,证据支撑结论的支撑。比如,从计算顺序上来说,v(s)依赖于v(s)的successsor states,successor states的value支撑了v(s)的value

■网友
目测是david silver的reinforcementlearning… backup的意思应该就是dynamic programing里面的前一步。


    推荐阅读