假设我们的代理位于地图的左下角 ， 并且必须安全地导航到绿色区块 。 必须区分规划轨迹或寻找政策 。 如果我们计划一个轨迹 ， 我们将得到一个序列 ， 指定应该采取行动的顺序 ， 例如：（向上 ， 向上 ， 向右 ， 向右 ， 向右） 。 如果我们的问题是确定性的 ， 选择一个方向会使我们的代理人在这个方向上有100％的机会 ， 那么这将对应于轨迹：
但回到我们的例子 ， 我们如何才能找到如上图所示的最优政策？对于称为值迭代的这类问题 ， 存在一种经典算法 。 该算法的作用是计算当前处于某种状态可以实现的长期利益 ， 通过提出问题"如果我从这个状态开始 ， 我能获得的最大利润是多少？" 。 这个数量被称为MDP术语中的状态值 ， 直观上很容易看出 ， 如果我们知道每个州的价值 ， 我们可以尝试始终转移到具有更高价值的国家并从中获益 。
假设我们知道问题中所有状态的最优值;V*（s） ， 我们现在可以定义从我们的州采取特定行动并从此采取最佳行动的价值;Q*（S ， A） 。
推荐阅读
-
指逢阳光 可继续生产华为芯片，台积电立刻回应，原来一个安慰奖都算不上，许可证获批
-
经络|男人“办事”太快？别尴尬，这4招或许能帮你补足“精气”
-
农村最娇贵的野菜，连化肥都不能用，曾多到喂猪，如今成保护植物
-
新华网|我国首次火星探测任务“天问一号”探测器成功发射
-
内马尔|2.2亿内马尔成毒瘤，大巴黎7大巨星缺阵，0-1爆冷输升班马
-
-
ZAKER汽车|别克不慎撞上被判全责，结果让人无语，兰博基尼路上逆行后违停
-
卫星|马斯克星链服务面临彻底断网危机 SpaceX急了：发声强烈抗议
-
高校|名校学生或是博士毕业生，都选择去卷烟厂当操作工，究竟为何
-
-
-
中国|国家统计局：制造业PMI连续5个月在临界点以上
-
-
新华网|专访：中国最能倾听贫困国家的声音——访非加太组织秘书长希科蒂
-
高阳影视|会忽冷忽热，爱幻想的三大星座，喜欢一个人
-
-
选秀|美媒列出首轮选秀每个顺位得分最多的球员，詹姆斯杜兰特库里入选
-
「外交部回应美再次升级对华为禁令」外交部回应美再次升级对华为禁令：坚决反对美方蓄意抹黑和打压华为等中国企业
-
『高山流水品历史』知道蜀汉不保，暗中遗留一计，难倒司马懿三代人！，诸葛亮临死前
-
