用通俗的话来说，对抗机器学习是如何工作的？

机器学习的工作方式如下：我们在培训阶段构建模型，然后将其部署在新数据上。例如，我向模型展示了可食用和不可食用的野生蘑菇照片，接着创建了一个应用程序，可以告诉我在森林中发现的蘑菇是否可食用。

而对抗机器学习指的是，攻击者创造了一种输入方法，会导致这些模型的行为失常。

从技术角度来看，目前存在哪些类型的攻击？

有一些不同的技术，该领域已经存在了一段时间。就个人而言，我痴迷于神经网络的现代攻击性。有趣的是，我们可以通过研究这些攻击来学习很多关于神经网络的局限性。

目前存在三种类型的攻击：

• 无目标的，只会导致模型出错或降低性能。
• 有针对性的，会导致特定的错误分类。（比方说，我想要一个安全摄像头将我归类为个人，并且知道我拥有安全许可，可以进入某建筑物）。
• 重编程攻击更难解释，但简单来说，它们可以用来窃取计算资源。例如，机器学习模型被劫持以执行某种其他类型的计算。这是一种“寄生计算”。

可以举一些例子吗？

图片来源： https://arxiv.org/pdf/1707.08945.pdf

我发现最令人着迷的一个例子是“对抗性补丁”。假设我有一辆自动驾驶汽车。有针对性的攻击可能会使“停止”标志被视为“速度限制”标志。这是通过在标志上贴上一个小贴片来完成的（字面上只是一个小贴纸，会留下大部分标志）。

面对这些对手，机器学习模型有多脆弱？

很脆弱。事实证明，许多机器学习模型家族以及我个人专注的深度学习模型都是非常脆弱的。此外，许多攻击是可转移的，这意味着如果我对特定模型进行攻击，其他模型也可能是脆弱的。想想家庭安全系统等硬件在销售后几乎没有软件更新。攻击者可以购买其中一种，并花费数年时间寻找漏洞。

从金融角度来看，涉及到对抗性机器学习攻击时，机构应该关注什么？

随着机器学习变得越来越普遍，我毫不怀疑我们将在金融领域看到十分广泛的攻击。这意味着对敌对攻击的担忧将成为良好安全实践的一部分，我期待来自攻击者的很多创造力。

金融业的哪些方面可能会受到影响？

它可以影响整个谱系。金融业是一个非常庞大和多样化的行业，所以我们称之为“攻击面”是巨大的。将会出现新的身份盗用类型，因为可以快速轻松地克隆声音以及脸部图像进行识别。类似的技术也可用于强大的网络钓鱼攻击。如果有人克隆我的声音并打电话给你，你可能会透露一些信息，认为你在跟我说话，但你实际上是在和攻击者说话。

将会有比我们目前所见更大规模的错误信息活动（假新闻等），因为我们可以生成无限量的新文去污染社交网络，这可以用来影响政治和消费者决策，并影响个别公司或整个经济体的表现。

对于交易来说，决策自然取决于大量数据输入，而它们每一个都是攻击的潜在目标。这些决定还取决于预测，因此这将成为下一级攻击区域。为了大大简化，我们可以制造一种攻击，使模型将表现差的股票错误分类为优质股票。所有这一切仍然处于早期阶段，但考虑到这个行业的规模，有无数的高利润目标可以追逐。

有没有办法检测数据是否已被中毒/攻击？

不好说。这些技术正在不断发展并迅速变得越来越复杂，所以即使我们强化系统来抵御今天的中毒和其他攻击，防御也可能无法对明天的新攻击起作用。重要的是，专家和组织要注意并认真对待安全问题。但不幸的是，许多组织在安全方面存在滞后，因为安全隔离通常十分昂贵并且高度复杂。我们已经看到了这种情况，所有数据泄露都会定期并会越来越大规模的发生。

通过对这些攻击训练模型，我们可以了解并学习抵御对抗性攻击吗？

这是通常的猫捉老鼠游戏。每当一些研究人员发布一种技术来使模型对抗攻击时，不久之后，其他人就找到了一种能够抵御防御的新技术。因此我预测，这种情况会持续一段时间。

使用对抗模型的训练算法是否会使其更加“健壮”？

是的，已经显示出来了。它目前尚未被广泛采用，但已经有很好的统计理由，来说明为什么会出现这种情况。

你在对抗性机器学习中看到最有趣的案例研究是什么？

麻省理工学院的同事能够利用3D打印出来的物品欺骗计算机视觉分类器。具体地说，任何人类都可以识别出来的塑料玩具龟被机器学习分类器归类为步枪。现在，这可能只是处于好奇心，但如果想象一下，如果安全系统归类将步枪归类为乌龟，将会发生什么？

如果你是一名专注对抗机器学习攻击的罪犯，你目前可以采取什么样的大规模行动？

让我们回到基于某些计算机视觉神经网络的家庭安全系统的例子。这些小工具卖了几百万台。从历史上看，许多公司在安全更新方面表现不佳。那么现在，有几百万个家庭会很容易地遭受同样的攻击。