怎样简单易懂地解释强化学习( 二 )
推荐阅读如果看完上述漫画后，你希望对A2C建立更深入的认识，以下是一些推荐资料：
一个简单的A2C代码实现：github.com/rgilman33/simple-A2C/blob/master/3_A2C-nstep-TUTORIAL.ipynb OpenAI的开源工具Baselines：github.com/openai/baselines，及相关PyTorch实现：github.com/rgilman33/baselines-A2C UCL的强化学习课程：www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html 论文：Deep Reinforcement Learning: An Overview——arxiv.org/abs/1701.07274 用TensorFlow实现强化学习系列文章：medium.com/emergent-future/simple-reinforcement-learning-with-tensorflow-part-8-asynchronous-actor-critic-agents-a3c-c88f72a5e9f2
原文地址：medium.com/rudygilman/intuitive-rl-intro-to-advantage-actor-critic-a2c-4ff545978752
漫画由论智汉化。
■网友
东哥提问，答一发！之前看过一点点RL的东西，主要集中在了马尔科夫决策上，总结来看RL的基本思路是奖惩机制，模仿的就是人类的学习过程。曾经看过吴恩达斯坦福公开课举过一个例子，他使用了神经网络或者是机器学习算法使得一架直升机航模倒飞，也就是旋翼在下面那样飞！懂直升机动力学模型的人都明白，直升机动力学本身就很复杂，如果通过人的手工计算设计动力学方程难度很高，于是他们大概思路就是不断地让直升机试错，如果好了就给予奖励（拍拍直升机的头部，说一句“good helicopter！”）如果飞行有问题就惩罚（“bad helicopter！”），直升机通过不断地纠错，逐步达成了倒飞的效果。与传统的有监督学习不同，虽然奖惩机制也可以看作是一种标签，但是问题在于这种标签不会当即反馈回机器，而是有一定的延迟效应，根本原因在于机器需要通过一定的动作反馈回环境，环境有所变化，机器才能得到这个标签。马尔科夫决策过程来源于马尔科夫模型，是由机器、环境、动作、奖惩、状态等要素构成，基本过程就是机器处于环境中，可以感知环境的状态，由当前状态可以做出一个决策，也就是动作，动作执行后会在环境是发生作用，环境会发生变化，这个变化是由一个状态转移概率函数决定，从这儿开始这就有点类似于马尔科夫过程了，环境变化会被机器再次感知到，然后获得一个奖惩，这就是为什么奖惩这个所谓的标签有延迟的原因所在。这个过程会周而复始地进行下去，直到机器完成目标。这里环境之前的状态转移，动作的采取都是以概率转移的形式进行的，因此也就是所谓的马尔科夫决策过程了。周志华老师那本《机器学习》有一章专门讲这个，东哥没事儿可以瞅一眼。我也是作为搬运工，理解的不对的地方还是参考书为准吧，毕竟不是专门搞RL的。
■网友
训狗
■网友
四个字，趋利避害。
简单的来说，就是建立合理的数据结构，然后在控制节点上加权重。
碰上好的，加权重，碰上不理想的，减权重。基本所有的套路都基于此。
我们不妨进行一个单元升级，把某个结构提取出来，然后使用多组常数去测试总体性能，然后把更好用的装上，没用的删掉。
推荐阅读
- 聪明人养花，这3种“花”怎样也要养一盆，每年能省不少医药费
- 互联网怎样解决“家政服务上门速度慢”的问题
- 怎样看待从1月8号起，QQ钱包开始提现收费
- 银行it人怎样转型
- 汽车|冬天怎样让车内温度快速升高？座椅加热的最佳使用方式二，外循环的作用总结
- 怎样进入通信行业
- 怎样评价扶他柠檬茶的小说《云养汉》的结尾
- 怎样成为一名合格的Python程序员?
- 环球车讯网|【帮你选车】简单粗暴 前后双电机+四驱 三款纯电SUV推荐
- 怎样评价华为、诺基亚、中兴中标中国移动高端路由交换设备扩容集采