安全行业需要在为时已晚之前应对新生的AI威胁

机器学习和人工智能(AI)系统漏洞是对网络的日益威胁beplay体育能用吗

根据一份新报告,随着机器学习(ML)系统成为日常生活的主要内容,他们所带来的安全威胁将溢出到我们使用的各种应用程序中。

与传统软件不同,在哪里设计和源代码中的缺陷在大多数安全问题上,在AI系统中,图像,音频文件,文本和其他用于训练和运行机器学习模型的数据中可能存在漏洞。

这是根据Averversa的研究人员的说法,这是一家位于特拉维夫的初创企业,专注于人工智能(AI)系统的安全性,他概述了他们的最新发现报告,,,,确保和信任的AI的道路, 这个月。

该报告警告说:“这使过滤,处理和检测恶意输入和互动更加困难。”他补充说,威胁行为者最终将出于恶意目的为AI武器化。

“不幸的是,AI行业甚至还没有开始解决这些挑战,这危害已经部署和未来AI系统的安全性。”

对视觉,分析和语言系统的攻击

已经有一系列研究表明许多机器学习系统很容易受到影响对抗性攻击,导致模型行为不正当的无法察觉的操作。


背景对机器学习系统的对抗性攻击 - 您需要知道的一切


根据Everversa的研究人员的说法,处理视觉数据的机器学习系统是对对抗性攻击的大多数工作,其次是分析,语言处理和自治。


机器学习系统具有独特的攻击表面


研究人员写道:“随着人工智能的增长,网络攻击将专注于欺骗新的视觉和对话界面。”

“此外,随着AI系统依靠他们自己的学习和决策,网络犯罪分子将把注意力从传统的软件工作流转移到为AI系统的分析和自治功能供电的算法。”

对Web应用程序的对抗性攻击beplay体育能用吗

beplay体育能用吗Eversa的联合创始人兼首席执行官Alex Polyakov警告说,将机器学习模型集成到其应用程序中的Web开发人员应注意这些安全问题。

“所谓的数字和物理攻击肯定有很大的差异。现在,针对Web应用程序进行数字攻击要容易得多:有时仅更改一个像素足以引起错误分类。” Polyakov告诉beplay体育能用吗每日swbeplay2018官网ig,补充说,对物理世界中对ML系统的攻击具有更严格的要求,需要更多的时间和知识。


阅读更多最新的Infosec研究新闻


波利科夫还警告了在网络上提供的机器学习模型中的漏洞,例如beplay体育能用吗API大型科技公司提供的服务。

“我们在网上看到的大多数模型都是脆弱的,并且已经通过几项研究报告以及我们的内部测试证明了这一点,” Polyakov。“通过一些技巧,可以训练对一个模型的攻击,然后将其转移到另一个模型的情况下,而不知道任何特殊细节。

“此外,您可以执行模仿攻击以窃取模型,对其进行攻击,然后对API使用此攻击。”

污染数据集和机器学习模型

大多数机器学习算法都需要大量的标记数据才能训练模型。在许多情况下,机器学习开发人员并没有经历创建自己的数据集的努力,而是搜索和下载在GitHub,Kaggle或其他Web平台上发布的数据集。beplay体育能用吗

Adversa的联合创始人和CTO Eugene Neelou警告说,这些数据集中的潜在漏洞可能会导致数据中毒攻击

尼鲁(Neelou)告诉每日swbeplay2018官网ig。“该模型在正常情况下的行为将以预期的方式行为,但恶意演员可能会在攻击期间称那些隐藏的触发器。”


有关的Trojannet - 对机器学习模型的简单而有效的攻击


尼鲁(Neelou)还警告说,特洛伊木马攻击是对手在网络平台上分发受污染模型的情况。beplay体育能用吗

Neelou说:“攻击者没有中毒数据,而是控制了AI模型内部参数。”“他们可以通过GitHub或模型平台/市场训练/自定义和分发受感染的模型。”

很遗憾,github其他平台尚无任何保障措施来检测和防御数据中毒计划。这使攻击者可以轻松地在网络上传播受污染的数据集和模型。beplay体育能用吗


对机器学习和AI系统的攻击将在未来几年内增加

AI安全的未来趋势

尼鲁(Neelou)警告说:“ AI被广泛用于无数组织,没有有效的AI防御能力。”

他还担心,在当前确定的角色和程序下,没有人对AI/ML安全负责。

他说:“ AI安全与传统的计算机安全根本不同,因此它属于网络安全团队的范围。”“对于涉及负责任/道德AI的从业者来说,这也常常不符合范围,并且定期的AI工程尚未解决MLOPS和QA测试。”


查看更多机器学习安全新闻


在明亮的一面,波利科夫说,对抗攻击也可以永远使用。Adversa最近帮助其一位客户使用对抗性操纵来开发针对机器人攻击的弹性的Web验证验验查询。beplay体育能用吗

他说:“这项技术本身是一把双刃剑,可以既能好坏。”

Adversa是参与应对机器学习系统新兴威胁的几个组织之一。

去年,在共同的努力中,几家主要科技公司发布了对抗威胁ML矩阵,一套实践和程序,旨在确保机器学习培训和交付管道在不同的设置中。


推荐的情绪清洁:安全专业人