你好,游客 登录
背景:
阅读新闻

学界 | OpenAI开源机器人仿真软件Roboschool:已整合OpenAI Gym

[日期:2017-06-19] 来源:  作者: [字体: ]

选自OpenAI

作者:JOHN SCHULMAN、JACK CLARK、OLEG KLIMOV

机器之心编译

参与:黄小天、蒋思源

近日,OpenAI 在其官方博客上宣布推出 Roboschool,一款用于机器人仿真的开源软件,它基于 Bullet 物理引擎,并已实现与 OpenAI 之前发行的 Gym 之间的整合,也使得在同一环境中同时训练多个智能体变得简单。机器之心对该文进行了编译,并在文中附上了 Roboschool 和 OpenAI Gym 的 GitHub 项目地址。官方博客地址请见文末。

我们推出了 Roboschool,一款用于机器人仿真的开源软件,已与 OpenAI Gym 相整合。

  • Roboschool 项目地址:https://github.com/openai/roboschool

  • OpenAI Gym 项目地址:https://github.com/openai/gym

3 个控制策略分别运行在 3 个彼此不同的机器人上,并在 Roboschool 中互相竞争。你可以通过运行 agent_zoo/demo_race1.py 重新演示这一场景。每次你运行这个脚本,会随机出现一组的机器人。

Roboschool 提供了模拟控制机器人的 OpenAI Gym 新环境。这些环境中的 8 个作为 MuJoCo 预存而实现自由替换,再调试就可以生成更多的逼真动作。我们同样涵盖了若干个具有挑战性的新环境。

Roboschool 也使得在相同环境中同时训练多个智能体变得简单。

在我们推出 Gym 之后,很多用户反馈了这样一个问题,MuJoCo 组件需要一个付费的许可证(尽管 MuJoCo 最近为个人和课堂教学增加了免费的学生许可证)。Roboschool 不再有这一限制,使得每个人皆可进行研究而无需担心预算。Roboschool 基于 Bullet Physics Engine(一个开源、受到广泛许可的物理库),该库已用于其他仿真软件,比如 Gazebo 和 V-REP。

环境

Roboschool 搭载有 12 个环境,其中有 Mujoco 用户熟悉的任务以及新挑战,比如类人步行者任务(the Humanoid walker task)的更难版本,多玩家 Pong 环境。我们计划不断扩展这一集合,并期待来自更多研究社区的贡献。

对于现有的 MuJoCo 环境,除了将其移植到 Bullet 之外,我们已经将其修改得更逼真。以下是我们移植的 3 个环境,并解释它们与其它已有环境的不同之处。

在 GitHub 库 agent_zoo 文件夹中你可以找到所有环境的训练策略。你同样也可以访问 demo_race 脚本来启动 3 个机器人之间的竞争。

交互和稳健的控制

在 OpenAI Gym 之前的若干个环境中,其目标是学习一个步行控制器。然而,这些环境包含了问题的一个基本版本,即目标设为简单地前进。实际上,行走策略将学习一个单循环轨迹,并留下大部分状态空间。进而,最后的策略将倾向于非常脆弱:很小的一个推动常常导致机器人崩溃并摔倒。

我们已添加了另外两个 3D 类人环境,这使得运动问题更加有趣、更具挑战性。这些环境需要交互式控制——机器人必须跑向旗帜,在这一过程中其姿态会随机变化。

HumanoidFlagrun 被设计用来教机器人减速和转向。目标是机器人跑向旗帜,其姿态随机发生变化。

HumanoidFlagrunHarder 允许机器人摔倒,并给它时间重新站立起来。它也以直立或躺在地上的方式开始每一个 episode,并且机器人遭到白色立方体的持续轰击以使其偏离轨迹。

我们同时为 HumanoidFlagrun 和 HumanoidFlagrunHarder 提供已训练的策略。虽然智能体行走并不像普通人那样快速与自然,但这些策略可以从很多情景下恢复,它们也知道如何引导智能体。这种策略本身就是一种多层感知机,其并没有内部状态,所以我们相信是智能体在某些情况下会使用它们的手臂储存信息。

多参与者

Roboschool 能让你在同一环境下同时运行和训练多个智能体。我们最开始推出了 RoboschoolPong,但随后会推出更多的环境。

通过对多参与者的训练,你可以训练两个同样的智能体互为双方(所以智能体在和它自己玩),你也可以使用同样的算法训练两个不同的智能体,或甚至你能为智能体设置两种不同的算法。

两个智能体互为对手学习玩 RoboschoolPong

多智能体设定展示了一些有趣的挑战。如果你同时训练两个玩家,你看到的学习曲线就如下图所示,该学习曲线由策略梯度法训练得出:

  

pong 的学习曲线,其中策略更新与策略梯度算法同时运行。

下面是对这一学习过程具体的解读:

  • 智能体 1(绿色)学习到其在顶部有时能击中球,所以它就移动到顶部。

  • 智能体 2(紫色)发现其对手在顶部,于是它将球击向底部并适应其他远处的智能体。

  • 智能体 1 最后发现如果它向底部移去就能击中球,但现在它开始守在底部,因为智能体 2 现在经常将球击向底部。

由这种方式,策略就已经震荡了,且经过几个小时的训练,两个智能体都没有学到任何有用的信息。对于生成对抗网络来说,对抗性设定是一个很实用的技巧,但我们认为这是一个十分有趣的研究问题,因为这种相互作用即使在简单的环境中都会产生复杂的策略,其也提供了一种很自然的课程。

研究社区已经为 OpenAI Gym 构建环境付出了很多努力,其中有一些是基于开源物理模拟器。在最近的项目中,研究者构建了一组 OpenAI Gym,其可以通过开源物理模拟器 DART 替代 MuJoCo。这表明甚至可以在两个物理模拟器 MuJoCo 和 DART 之间转移策略。

原文链接:https://blog.openai.com/roboschool/

点击阅读原文,查看全部嘉宾阵容并报名参与机器之心 GMIS 2017 ↓↓↓

  

收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款