你好,游客 登录
背景:
阅读新闻

神经网络这么弱?改一个像素就懵圈了

[日期:2018-06-25] 来源:雷锋网  作者: [字体: ]

雷锋网按:这里是,雷锋字幕组编译的Two minutes paper专栏,每周带大家用碎片时间阅览前沿技术,了解AI领域的最新研究成果。

原标题 One Pixel Attack Defeats Neural Networks | Two Minute Papers #240

翻译 | 于泽平 字幕 | 凡江 整理 | 李逸凡 吴璇

▷每周一篇2分钟论文视频解读

骗过神经网络,我们最少需要改变多少像素(pixel)呢?猜猜是多少,可能你会觉得,怎么着都要100才够,但论文证明了,攻击大多数神经网络只需要修改一个像素就行。

在这篇《One pixel attack for fooling deep neural networks》论文中,研究人员分析了一种在极端限制情形下(只修改一个像素)的攻击。他们提出了一种基于差分进化(differential evolution)的单像素对抗干扰新方法。

结果表明,70.97%的自然图像至少有一个分类目标会被干扰,而造成干扰只需要修改置信均值为97.47%的一个像素。因此,在极端限制情形下,攻击探索出了不同的对抗机器学习方法。这也表明当前的深度神经网络也容易受到这类低维攻击。

神经网络通常不直接判断一个类别,而是通过一些置信值来判别。置信值代表神经网络它有多确信看到的是只拉布拉多犬还是一只老虎猫。我们通常对比所有的置信值,并选出最高的,查看它们使神经网络对正确类别的置信值下降了多少,接着我们抛弃效果不好的像素,并继续搜索最有希望的像素,我们将这个过程称为差异进化。

如果这个过程实现的很好,最终正确类别的置信值将会变的很低,因为神经网路将能预测另一个类别,一旦发生这种情况,代表神经网络成功被欺骗了,这也意味我们需要查看神经网路,并获得其置信值。

当然,也有大量关于训练鲁棒性的神经网络的研究,使这些神经网络可以承受更多对抗攻击,对抗攻击有着许多地方值得我们去挖掘以及探索。

论文:https://arxiv.org/abs/1710.08864

Github:https://github.com/Hyperparticle/one-pixel-attack-keras

收藏 推荐 打印 | 录入:Cstor | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款