人工智能的安全问题不容忽视

现在有很多技术可以欺骗人工智能，也有很多人工智能技术被用来欺骗人。在人工智能（AI）时代，安全问题不容忽视。

文/姜育刚

近几年，人工智能技术在很多领域都取得了初步的成功，无论是图像分类、视频监控领域的目标跟踪，还是自动驾驶、人脸识别、围棋等方面，都取得了非常好的进展。那么，人工智能技术到底安全不安全？事实上，目前的人工智能技术还存在很多问题。

人工智能并不安全

现在有很多技术可以欺骗人工智能，如在图片上加入一些对抗干扰。所谓对抗干扰，就是针对智能判别式模型的缺陷，设计算法精心构造与正常样本差异极孝能使模型错误识别的样本。如图1所示，本来是一幅手枪的图片，如果加入一些对抗干扰，识别结果就会产生错误，模型会识别为不是枪。在人的前面挂一块具有特定图案的牌子，就能使人在视频监控系统中“隐身”（见图2）。在自动驾驶场景下，如果对限速标识牌加一些扰动，就可以误导自动驾驶系统识别成“Stop”（见图3），显然这在交通上会引起很大的安全隐患。另一方面，人工智能的一些技术现在正在被滥用来欺骗人。例如，利用人工智能生成虚假内容，包括换脸视频、虚假新闻、虚假人脸、虚拟社交账户等。

不只在图片和视频领域，在语音识别领域也存在这样的安全隐患。例如，在语音中任意加入非常微小的干扰，语音识别系统也可能会把这段语音识别错。同样，在文本识别领域，只需要改变一个字母就可以使文本内容被错误分类。

除了对抗攻击这种攻击类型外，还有一种叫后门攻击的攻击类型。后门攻击是指向智能识别系统的训练数据安插后门，使其对特定信号敏感，并诱导其产生攻击者指定的错误行为。例如，我们在对机器进行训练时，在某一类的某些样本中插入一个后门模式，如给人的图像加上特定的眼镜作为后门，用一些训练上的技巧让机器人学习到眼镜与某个判断结果（如特定的一个名人）的关联。训练结束后，这个模型针对这样一个人还是能够做出正确的识别，但如果输入另一个人的图片，让他戴上特定的眼镜，他就会被识别成前面那个人。训练的时候，模型里留了一个后门，这同样也是安全隐患。

除了对抗样本、后门外，如果AI技术被滥用，还可能会形成一些新的安全隐患。例如，生成假的内容，但这不全都是人工智能生成的，也有人为生成的。此前，《深圳特区报》报道了深圳最美女孩给残疾乞丐喂饭，感动路人，人民网、新华社各大媒体都有报道。后来，人们深入挖掘，发现这个新闻是人为制造的。现在社交网络上有很多这样的例子，很多所谓的新闻其实是不真实的。一方面，人工智能可以发挥重要作用，可以检测新闻的真假；另一方面，人工智能也可以用来生成虚假内容，用智能算法生成一个根本不存在的人脸。

用人工智能技术生成虚假视频，尤其是使用视频换脸生成某个特定人的视频，有可能对社会稳定甚至国家安全造成威胁。例如，模仿领导人讲话可能就会欺骗社会大众。因此，生成技术是否需要一些鉴别手段或者相应的管理规范，这也是亟须探讨的。例如，生成虚假人脸，建立虚假的社交账户，让它与很多真实的人建立关联关系，甚至形成一些自动对话，看起来好像是一个真实人的账号，实际上完全是虚拟生成的。这样的情况该如何管理还需要我们进一步探索和研究。

人工智能安全隐患的技术剖析

针对AI的安全隐患，要找到防御的方法，首先要了解产生安全隐患的技术。以对抗样本生成为例，其主要分为2类：一类是白盒场景下对抗样本生成；另一类为黑盒场景下对抗样本生成。白盒场景的模型参数完全已知，可以访问模型中所有的参数，这个情况下攻击就会变得相对容易一些，只需要评估信息变化的方向对模型输出的影响，找到灵敏度高的方向，相应地做出一些扰动干扰，就可以完成对模型的攻击。黑盒场景下攻击则相对较难，大部分实际情况下都是黑盒场景，我们依然可以对模型远程访问，输入样本，拿到检测结果，但无法获得模型里的参数。

现阶段的黑盒攻击可大致分为3类。第一类是基于迁移性的攻击方法，攻击者可以利用目标模型的输入信息和输出信息，训练出一个替换模型模拟目标模型的决策边界，并在替换模型中利用白盒攻击方法生成对抗样本，最后利用对抗样本的迁移性完成对目标模型的攻击。第二类是基于梯度估计的攻击方法，攻击者可以利用有限差分以及自然进化策略等方式来估计梯度信息，同时结合白盒攻击方法生成对抗样本。在自然进化策略中，攻击者可以以多个随机分布的单位向量作为搜索方向，并在这些搜索方向下化对抗目标的期望值。第三类是基于决策边界的攻击方法，通过启发式搜索策略搜索决策边界，再沿决策边界不断搜索距离原样本更近的对抗样本。

有攻击就有防御，针对对抗样本的检测，目前主要有3种手段。第一种，通过训练二分类器去分类样本是否受到干扰，但通用性会比较差。通常而言，训练一个分类器只能针对某一种特定的攻击算法，但在通常情况下并不知道别人使用哪一种攻击算法。第二种，训练去噪器。所谓的对抗干扰基本上都是样本中加入噪声，通过去噪对样本进行还原，从而实现防御。第三种，用对抗的手段提升模型的鲁棒性，在模型训练中加入对抗样本，模型面对对抗样本时会具有更强的鲁棒性，提高识别的成功率，但训练的复杂度较高。整体而言，这些方法都不很理想，我们亟须研究通用性强、效率高的对抗样本的防御方法。

针对换脸视频的生成，目前主流技术是基于自动编码器进行人脸图像重建。在模型训练阶段，所有的人脸图像使用同一个编码器，这个编码器的目标是学习捕捉人脸的关键特征。对于人脸重构，每个人的脸都有一个单独的解码器，这个解码器用于学习不同人的脸所具有的独特特征。利用训练后的编码器与解码器即可进行虚假人脸生成。

针对换脸视频的鉴别，目前主流技术是基于视觉瑕疵进行鉴别，这个假设是换脸视频具有不真实的情况。因此，可以对眨眼频率、头部姿态估计、光照估计、几何估计等提取特征，利用这些特征去判断人脸的图片或者视频的真假。

对抗攻防已取得一定研究成果

目前，我们在人工智能安全技术上加大了投入，围绕人工智能安全领域的问题开展了一些研究。

第一个工作是针对视频识别模型上的黑盒对抗攻击。在该工作中，我们利用对抗扰动的迁移性，将图像预训练模型中得到的扰动作为视频帧的初始扰动，并在此基础上利用自然进化策略对这些初始扰动噪声进行纠正。当我们得到针对视频域特殊纠正后的梯度信息后，采用投影梯度下降来对输入视频进行更新。该方法可以在黑盒场景下，对主流视频识别模型进行攻击，这也是全球在视频模型黑盒攻击上的第一个工作。我们实现的结果是在目标攻击情况下，需要3万至8万次查询就可以达到93%的攻击成功率，非目标攻击只需要数百个查询就可以完成对主流模型的攻击。目标攻击是指不仅让这个模型识别错，还要指定它把这个东西识别成什么，如把A的照片识别成B。非目标攻击是指只要识别错就可以了，识别成谁则不重要，如A的照片只要不识别成A就可以。

第二个工作是基于时空稀疏的视频对抗攻击。由于视频数据的维度很高，导致攻击算法的复杂度往往较高。对此，我们提出了基于时空稀疏的视频数据对抗攻击方法。时空稀疏是指在生成对抗扰动时，仅对特定帧的特定区域生成扰动，以此降低对抗扰动的搜索空间，提高攻击效率。在该工作中，为了实现时空稀疏，我们根据启发式规则衡量每个帧的重要性，选择视频帧的子集进行扰动；同时，在空间上我们选择指定帧的写入区域，如针对前景运动的人做一些干扰。以此实现高效的视频黑盒攻击。

第三个工作是针对视频识别模型进行后门攻击。针对后门攻击，之前的研究都集中于图像领域，且都是生成固定的棋盘格式的后门，这种方法在视频上的攻击成功率极低。对此，我们提出了一种针对视频数据的后门攻击方法。在该工作中，我们首先对视频数据进行后门生成，并将后门图案安插在视频中不显眼的角落，同时我们对原始视频其他内容施加一些对抗干扰，使得我们识别的模型更加侧重利用后门，以此得到污染数据，并用污染的数据替换原始数据集里对应的数据，实现后门攻击。该工作在公开数据集上取得了比较好的攻击结果，在很多类别上平均攻击成功率可以实现80%左右，远高于现有的基于图像数据的后门攻击方法。

技术对人工智能治理至关重要

未来，技术将在人工智能安全问题检测以及相应规则落实上发挥重要的作用。在保障模型安全方面，通过发展对抗攻防理论设计更加鲁棒的智能模型，确保智能系统在复杂环境下的安全运行，形成人工智能安全评估和管控能力。在隐私保护上，发展联邦学习及差分隐私等理论与技术，规范智能系统分析和使用数据的行为，保障数据所有者的隐私。针对智能系统决策的可解释性问题，发展机器学习可解释性理论与技术，提升智能算法决策流程的人类可理解性，建立可审查、可回溯、可推演的透明监管机制。在决策公平方面，可以利用统计学理论与技术，消除算法与数据中的歧视性偏差，构建无偏见的人工智能系统。最后，为了保证人工智能技术不被滥用，可以通过发展大数据计算与模式识别等理论与技术，预防、检测、监管智能技术被滥用的情况，创造有益于人类福祉的人工智能应用生态。

姜育刚，复旦大学教授、博士生导师，计算机科学技术学院院长、软件学院院长、上海视频技术与系统工程研究中心主任。