人工智能与机器学习的安全风险

关键要点

• 人工智能（AI）和机器学习（ML）正成为最大的网络安全攻击向量，企业和机构的投资却未能有效保障安全。
• Gartner的报告预测，2023年将有30%的AI网络攻击涉及数据中毒、模型盗窃或对抗样本。
• MITRE的研究表明了对抗AI和ML的安全风险，且攻击工具的可用性加剧了这一问题。
• 企业应采取主动的安全措施，以评估和降低风险。

在当今世界，企业、政府和学术机构均意识到人工智能（AI）和机器学习（ML）带来的巨大机遇，纷纷增加投资。PwC预计，到2030年，人工智能市场将增长至近16万亿美元，占全球GDP的约12%。考虑到市场规模和相关知识产权，人们可能认为已经对这些资产进行了适当的安全投资，但事实却并非如此。

AI和ML已成为最大的网络安全攻击渠道。Adversarial AI IncidentDatabase提供了数千个跨多个行业的AI攻击实例，包括特斯拉、Facebook和Microsoft等知名公司。然而，网络安全行业在这一领域的防护措施仍落后于攻击者，专门的网络安全保护措施寥寥无几。

Gartner在其2022年10月发布的报告中指出，“人工智能在组织中的应用：管理AI风险有助于改善AI结果”。其中的主要发现之一是，仅在今年，30%的AI网络攻击将使用训练数据中毒、AI模型盗窃或对抗样本等手段，两个企业中就有一个经历过AI安全或隐私
breach，其中四分之一属于对抗性攻击。

警告声未能引起重视

安全行业的监管者多年来不断发出警告。MITRE在2020年发布的“人工智能系统的对抗性威胁景观（ATLAS）”框架识别了12种对抗攻击的策略（即“原因”），以及60多种特定攻击类型。值得注意的是，Gartner和MITRE的研究专注于对抗AI和ML的安全风险，而非通常关注的模型偏差、漂移和/或完整性等问题。虽然这些担忧非常真实，但Gartner和MITRE特别指出了与AI和ML相关的网络安全风险。

目前，有超过20种免费的攻击工具可供使用，包括微软的Counterfit和Meta的Augly。这些工具对于机器学习的影响与Metasploit对服务器和网络所起的作用类似，同样强大。2019年需耗时一个月的ML攻击，如今只需10至15秒即可完成。

加固AI/ML安全

持续投资和部署机器学习、监管环境不断加速以及易用的攻击工具意味着，现在正是理解组织风险并确定保护措施的最佳时机。上面提到的MITREATLAS框架概述了攻击者目前仍在使用的技术，以帮助组织为AI和ML的预发布定义测试方法。

此外，美国政府科学技术政策办公室在2022年10月发布了，为加强AI/ML安全提供了指导。该指导建议系统应该在部署前进行测试，识别和减轻风险，并进行持续监测，以证明其在预期用途上的安全与有效，避免不安全的结果，包括超出预期用途的风险，同时遵循特定领域标准。

最佳实践

以下是企业今天可以采取的简单步骤，以评估组织的风险状况：

• 主动威胁发现： 在部署前调查预训练和内部构建的模型，以查找篡改、劫持或滥用的证据。
• 安全性评估模型行为： 模型是软件。如果你的团队不知道模型的来源，请勿在企业环境中运行它。在考虑部署之前，仔细检查模型，尤其是预训练模型，确保在安全的虚拟机内进行检验。
• 外部安全评估： 了解组织的风险等级，处理盲点，并看看团队可以改进的地方。鉴于机器学习模型所接收的敏感数据，进行外部安全评估是明智之举。

随着2023年的到来，现在是评估零信任投资和纵深防御是否受到不安全的ML模型风险冲击的好时机。通过采取主动态度，组织可以更