假设我们的代理位于地图的左下角 ， 并且必须安全地导航到绿色区块 。 必须区分规划轨迹或寻找政策 。 如果我们计划一个轨迹 ， 我们将得到一个序列 ， 指定应该采取行动的顺序 ， 例如：（向上 ， 向上 ， 向右 ， 向右 ， 向右） 。 如果我们的问题是确定性的 ， 选择一个方向会使我们的代理人在这个方向上有100％的机会 ， 那么这将对应于轨迹：
但回到我们的例子 ， 我们如何才能找到如上图所示的最优政策？对于称为值迭代的这类问题 ， 存在一种经典算法 。 该算法的作用是计算当前处于某种状态可以实现的长期利益 ， 通过提出问题"如果我从这个状态开始 ， 我能获得的最大利润是多少？" 。 这个数量被称为MDP术语中的状态值 ， 直观上很容易看出 ， 如果我们知道每个州的价值 ， 我们可以尝试始终转移到具有更高价值的国家并从中获益 。
假设我们知道问题中所有状态的最优值;V*（s） ， 我们现在可以定义从我们的州采取特定行动并从此采取最佳行动的价值;Q*（S ， A） 。
推荐阅读
-
阿光养生小课堂|牛奶豆浆别当水喝，食品科学博士：喝茶是夏季补水好选择
-
鬼鬼祟祟！澳大利亚超市包装“陷阱”引发数百网民愤怒
-
-
北京人和易行科技有限公司咋样，处在一个啥层次的企业水平，发展前景怎样
-
-
央视新闻|新冠疫情反弹 秋季学期能否恢复正常？美国大学深陷焦虑
-
-
-
-
App 启动速度优化系列：如何用一个placeholderUI来做初始化工作
-
违规|*ST联络：公司及实控人何志涛因涉嫌信披违规被证监会立案调查
-
不明白小姐|赵今麦不仅演技好，长得好看，原来还是这么一个隐藏学霸
-
想做女神的女汉子|《乘风破浪的姐姐》让我感兴趣的不是她们的才艺
-
-
小魔仙说时尚|想不想42岁的年龄嫩成24岁？学习颜丹晨的背带裤穿搭,“冻龄”女神非你莫属
-
图赫尔|弗里克或者图赫尔能否凭借着一场欧冠决赛，成为下一个克洛普？
-
央视|央视曝光网络直播打赏乱象：多家平台存在性暗示等低俗现象
-
-
袁姗姗 |十年前 某导演怒批何琳拿“影后”后飘了 连夜将女主换成了袁姗姗
-
南方plus客户端|开平女子百万炒股狂翻5倍，提现惊觉血本无归
