你好,游客 登录
背景:
阅读新闻

谷歌大脑提出TCN,能让机器人边看视频边模仿

[日期:2018-02-07] 来源:雷锋网  作者: [字体: ]

 

▷谷歌大脑Time-Contrastive Networks(TCN)论文解读视频

翻译 | Laura    校对 | 吴璇    整理 | 凡江

雷锋网按:在「Time-Contrastive Networks: Self-Supervised Learning from Multi-View Observation」这篇论文中,谷歌的研究者提出了一种从观察中学习世界的新方法。雷锋网(公众号:雷锋网)本期译制视频多角度展示了机器人仅仅通过观看视频,就能在无人监督的情况下,模拟视频动作的全过程。

谷歌大脑提出TCN,能让机器人边看视频边模仿


除了视频演示之外,谷歌大脑并未对机器人系统提供监督学习。他们将这种方法运用于各种不同的任务,以此来训练真实和虚拟机器人。例如,倒水任务,放碟任务,和姿势模仿任务。

谷歌大脑提出TCN,能让机器人边看视频边模仿


第一步

通过视频的分解镜头来学习,将时间作为监督信号,发现视频的不同属性。这组嵌入向量经由一组非结构化和未标记的视频训练,里面含有和任务相关的有效动作,也有一些随机行为,来体现真实世界中的各种可能状态。

 

谷歌大脑提出TCN,能让机器人边看视频边模仿

模型使用triplet loss误差函数,基于同一帧的多视角观察数据来训练多视角下同时出现的帧,在嵌入空间中互相关联。当然也可以考虑一个时间对比模型,只根据单一视角来训练。这一次,有效帧在锚点的一定范围内随机选定,根据有效范围计算边际范围。无效范围是在边际范围外随机选定。模型和之前一样进行训练。

第二步

通过强化学习来学习规则。基于TCN嵌入,根据第三方的真人示范来构造奖励函数。机械臂起初尝试一些随机动作,然后学会反复进行这些动作,就可以产生最高奖励的控制步骤,最后达成重现视频任务的效果。

谷歌大脑提出TCN,能让机器人边看视频边模仿

模型在仅仅经历了9次迭代后就成功收敛,大约相当于现实世界15分钟的训练。同样地,在移碟任务中,机器人最初尝试随机运动,然后学会成功拿起和移动一个盘子。

谷歌大脑提出TCN,能让机器人边看视频边模仿

雷锋网提供论文原址:https://sermanet.github.io/tcn/

收藏 推荐 打印 | 录入:Cstor | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款