谷歌的黑科技！不编程能让机器人自主移动？深度学习的魅力 _谷歌

可靠和稳定的运动一直是有腿机器人最根本的挑战之一。深度强化学习（深度RL）已成为一种有前途的自主开发此类控制策略的方法。最近，一个名为Rainbow Dash的机器人就用此方法自学了走路。这只四脚机器只需要几个小时就可以学会向前和向后行走，并在此过程中左右旋转。

文章插图

这是google研究人员的一项新研究取得了重大进展，表现为机器人可以在没有人工干预的情况下学习走路。在几个小时内，仅仅依靠对当前最先进算法的微调，它们成功地让一个四条腿的机器人学会了完全独立的向前走和向后走，以及左右转弯。
加州大学伯克利分校和佐治亚理工学院的研究人员在ArXiv预印服务器上发表了这篇论文，描述了一种统计AI技术，也是他们能用来产生这个成就的原因，即深度强化学习。他们开发了一个系统，用于以最少的人力在现实世界中以深度RL学习腿式运动策略。机器人学习系统的主要困难是自动数据收集和安全性。通过开发多任务学习程序，自动重置控制器和受安全限制的RL框架，他们克服了这两个挑战。
研究人员在学习如何在三种不同地形上行走的任务上测试了这个系统：平坦的地面，柔软的床垫和带有缝隙的门垫。我们的系统无需人工干预，即可在Minitaur机器人上自动高效地学习运动技能。
这项工作建立在一年前的研究基础上，当时研究团队首次发现了如何让机器人在现实世界中学习，此前，大多数强化学习部署都在计算机模拟的环境中进行。但是，Rainbow Dash使用此技术来学习在实际物理环境中行走。而且，它能够在没有专门的教学机制的情况下进行操作，例如人工指导或带有标签的培训数据。最终，Rainbow Dash成功地在多个表面上行走，包括柔软的泡沫床垫和带有明显凹口的门垫。
此前，强化学习通常会这样在模拟环境中进行：机器人的虚拟分身在模拟的环境中走来走去，直到算法足够完善，可以使其安全运行为止。然后将其导入真正的机器人。

文章插图

这种方法有助于避免机器人在反复实验过程中对周围环境的损伤，但也需要一个易于建模的环境。在机器人脚下模拟自然散落的沙砾或者弹簧床垫需要很长时间，根本不值得。
基于这种状况，研究人员从一开始就决定通过在真实世界中训练来避免困难的环境建模。他们设计了一种更高效的算法，可以使学习的试验次数变少一点，并在两个小时内让机器人站起来行走。由于实际环境中会有自然变化，机器人也能够快速适应其他相似的环境，如斜坡、台阶以及有障碍的平地。
于是他们开始解决这个新问题。首先，他们限定了机器人可以探索的地形，并让它一次性进行多重动作训练。如果机器人在学习如何向前走的同时到达了限定地形的边缘，它就会改变方向，开始学习如何向后走。

文章插图

【谷歌的黑科技！不编程能让机器人自主移动？深度学习的魅力】其次，研究人员还限制了机器人的训练动作，让它能够谨慎一些，最大限度地减少反复摔倒带来的伤害。当机器人不可避免地摔倒时，他们还添加了另一个硬编码算法来帮助它站起来。
通过这些调整，机器人学会了如何在几个不同的环境中自主行走，包括平地、记忆泡沫床垫和有缝隙的门垫。这项实验给未来的某些应用带来了可能性，有些情况可能需要机器人在没有人类的情况下在坎坷和未知的地形中行走。
机器人使用的深度强化学习技术包括一种机器学习技术，其中通过代理服务器与环境交互以反复试验来学习。一般而言，机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。科学团队一开始就专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能，它是人工智能的核心，是使计算机具有智能的根本途径，原先，大多数强化学习用例都涉及计算机游戏，例如在数字特工中学习如何取得胜利，本次应用也是谷歌对于人工智能算法的一次极好尝试。
而在机器人身上的所谓深度强化学习，指的是当计算机正确完成一项任务时，它将获得指导其学习过程的奖励。尽管以“先验知识”算法概述了任务的步骤，但是如何准确地执行这些步骤却没有。当机器人擅长执行某个步骤时，其奖励会增加，从而创建一种反馈机制，促使机器人学习最佳方法，例如将热狗放在面包上。