数据中毒控制AI AI病毒市场仍是一片蓝海

正常行驶的自动驾驶仪突然驶入逆行车道。 胸部的特殊贴纸就像披着隐形斗篷的斗篷。 它成功地从监视系统中逃脱了。 戴上专用眼镜，它很容易欺骗人脸识别系统，还可以用来与他人的手机解锁或刷脸。 面对支付

时要小心，这可能是硬AI病毒！

最近，清华大学人工智能研究所的孵化企业为人工智能算法模型本身的安全性推出了Realsafe安全平台。 根据介绍，该平台可以快速缓解针对样本的攻击威胁。

人工智能感染哪种病毒？ 其安全问题的特点是什么？ 在人工智能时代，如何培育杀毒软件成为具有独特技能的病毒猎人？

是用于在极端和对抗环境中进行AI算法安全性检测和增强的人工智能安全平台。 它包括两个功能模块：模型安全评估和防御解决方案。 该平台内置AI防攻击和防御算法，可提供从安全评估到防御增强的整体解决方案。 北京科技大学计算机网络与对策技术研究所所长颜怀志告诉《科学技术日报》，该平台着重于模型和算法的安全检测与强化，可以说是该平台的一种杀毒工具。 人工智能算法。 根据严怀志的说法，这种针对样本攻击的恶意代码通常称为“ AI病毒”。 对手样本是通过在数据集中故意添加细微干扰而形成的输入样本，这将导致模型以高置信度提供错误输出。

”实际上，在实验室中，使用对抗样本可以测试许多训练和学习AI方法的分类效果，还可以使用对抗样本进行对抗训练，从而提高AI系统的分类效果。 ” 严怀志告诉《科学技术日报》。 换句话说，对手样本可以被视为训练人工智能的一种手段。

“但在现实世界中，攻击者可以使用反样本来攻击并恶意入侵AI系统，从而演变为令人头痛的'AI病毒'。” 严怀志说，反样本攻击可以逃避检测。 例如，在生物识别的应用场景中，反样本攻击可以欺骗基于人工智能技术的身份识别和生命检测系统。 2019年4月，比利时鲁汶大学的研究人员发现，采用设计的打印图案可以避免使用人工智能视频监控系统。 在现实世界中，许多AI系统很容易受到样本攻击。 严怀志介绍，一方面是因为AI系统非常重视应用程序和轻安全性，而且很多AI系统根本没有考虑到对抗样本攻击的问题。 另一方面，尽管一些AI系统已经接受了对抗训练，但是由于许多缺陷（例如不完整的对抗样本和不成熟的AI算法），它们无法阻止恶意攻击样本。

在毒害训练数据方面不同于传统的网络攻击

360公司董事长兼首席执行官周鸿yi曾说过，人工智能是由大数据进行训练的，并且训练数据会被污染，也被称为“数据中毒”- 通过将伪装数据，恶意样本和其他数据添加到训练数据中，将破坏数据的完整性，这将导致训练算法模型的决策偏差。 在中国信息通信安全研究院发布的《人工智能数据安全白皮书（2019）》（以下简称白皮书）中也提到了这一点。 白皮书指出，人工智能本身面临的数据安全风险包括：培训数据污染引起的人工智能决策错误； 智能系统在操作阶??段由于数据异常（例如反样本攻击）而导致的操作错误；

值得注意的是，随着人工智能与实体经济的深度融合，医疗数据集建设的迫切需求， 交通，金融等行业，使培训样本链接网络攻击成为最直接，最有效的方法，具有极大的潜在危害。 例如，在军事领域，通过信息伪装的方式，可以诱发自主武器的发射或攻击，从而带来破坏性风险。

白皮书还提到AI算法模型主要反映了数据的相关性及其特征统计，并没有真正得到数据之间的因果关系。 因此，鉴于算法模型的缺陷，通过对数据输入样本增加不可察觉的干扰，算法模型输出错误的结果。 以这种方式

，发生本文开头提到的一种意外也就不足为奇了。 此外，模型窃取攻击也值得注意。 由于算法模型需要在部署应用程序中向用户发布公共访问接口，因此攻击者可以在没有任何先验知识（训练数据，模型参数， 等），构造与目标模型具有非常高相似性的模型，以实现算法模型的盗窃。

严怀志在接受采访时说，AI安全比功能安全更重要，通常是指AI系统被恶意数据（例如反样本数据）欺骗，导致AI输出与期望不一致甚至有害的结果。 结果。 “ Ai功能安全性从根本上不同于传统的网络安全性，后者强调机密性，完整性，可用性和其他信息安全性问题。”

难以预防“中毒” AI技术还可以构建网络安全工具

严怀志表示，目前，预防人工智能的各种原因导致“中毒”的困难，其原因从三个方面说明。

首先，许多AI开发人员和用户都没有意识到AI病毒的巨大风险和危害，因此不可能重视和解决AI病毒的问题； 其次，由于AI处于高速发展阶段，许多AI开发人员和制造商“萝卜速度快，不洗泥”，他们没有时间去关注安全问题，导致大量AI 具有固有安全缺陷的系统大量涌入应用市场； 第三，AI尽管一些AI开发人员和供应商已经意识到AI病毒问题，但是由于缺乏技术能力，因此没有有效的解决方案。

“当然，网络安全是一个高度对抗和动态的发展领域，这也为防病毒软件领域打开了蓝海市场。人工智能防病毒产业正面临着巨大的发展机遇。” 严怀志强调，反病毒软件行业首先应具有防范AI病毒的意识，然后在软件技术和算法安全中注重信息安全和功能安全。

“在实际需求的驱动下，在高新技术的驱动下，有可能将AI杀毒的严峻挑战变成反病毒软件行业发展的主要机遇。” 颜怀志强调，人工智能技术不仅可以带来网络安全问题，而且可以实现网络安全。 一方面，人工智能的广泛应用带来了许多安全隐患。 由技术缺陷引起的AI算法的安全风险包括可能导致攻击者控制AI系统的信息安全问题，以及可能导致攻击者任意控制AI系统输出的功能安全问题。 但是，另一方面，人工智能技术也可以成为构建网络空间安全的强大工具，主要体现在主动防御，威胁分析，策略生成，态势感知，攻击和防御对抗等许多方面。 “包括使用人工神经网络技术来检测入侵，蠕虫和其他安全风险源；使用专家系统技术进行安全计划，安全运营中心管理等；此外，人工智能方法也有助于管理 网络空间安全环境，例如打击网络欺诈。” 严怀志说。 根据中国信息通信安全研究院的专家

，为了有效地控制人工智能的安全隐患，积极推动人工智能技术在安全领域的应用，开展了人工智能安全管理 可以从法律法规，标准和规范，技术手段，安全评估，人才团队，可控生态等方面构建系统。