学术界警告说,用户隐私可能落在鲜为人知的攻击矢量手中

在不同应用程序中广泛采用机器学习模型已引起新的隐私和安全问题,包括鲜为人知的推理攻击,警告一份新论文

在不同应用程序中广泛采用机器学习模型已引起了新的范围隐私和安全问题。

其中包括“推理攻击”,攻击者会导致目标机器学习模型泄漏有关其培训数据的信息。

但是,这些攻击并不是很好的理解,我们需要重新调整我们对它们如何影响我们隐私的定义和期望。

根据澳大利亚和印度几个学术机构的研究人员的说法,在新文章(PDF)在IEEE欧洲安全与隐私研讨会上接受,该研讨会将于9月举行。

该论文是由新南威尔士大学的研究人员共同撰写的;Pilani Birla技术与科学研究所;麦格理大学;以及澳大利亚国防科学技术集团的网络与电子战司。

会员资格和属性推理攻击

机器学习模型对数千个数据记录进行了培训。在许多情况下,这些数据集可能包含敏感信息,例如名称,出生日期,地址,密码,信用卡号,健康数据和其他个人详细信息。

推理攻击旨在通过探测具有不同输入数据并权衡输出的机器学习模型来揭示此秘密信息。

有不同类型的推理攻击。会员推理(MI)是一种攻击,对手试图重建用于训练模型的记录。


你可能喜欢深入:机器学习的进步如何改善DDOS攻击检测


在会员推论中,攻击者通过一个或多个记录通过机器学习模型并根据模型的输出确定它是否属于培训数据集。

通常,机器学习模型在以培训示例为例时,与新的和看不见的例子相比,他们的置信得分更高。

推理攻击的另一种类型是属性推理(AI),其中攻击者对训练记录有部分知识,并试图通过对其进行调整,直到模型达到峰值性能来猜测缺失的属性。

强大的会员推断

以前的研究在现场表明,可以将成员资格和属性推理组合在一起以重建目标机器学习模型的培训数据集。

但在他们的论文,’在属性推理攻击机器学习模型的(IN)可行性上研究人员表明,将成员资格和属性推理结合起来比以前认为的更为复杂 - 即使目标模型容易受到MI攻击的影响,AI对同一模型的攻击也不一定会起作用。

研究人员写道,要获得这样的攻击,攻击者必须能够执行强大的会员推理(SMI)。

当他们的属性足够接近时,简单的会员推理技术倾向于将成员示例与非成员混淆。

相反,SMI是一种可以判断成构件和非会员之间的差异的技术,与它非常相似。


阅读更多最新的机器学习新闻


研究人员认为,“成功的MI攻击并不一定意味着成功的SMI攻击”,并且“成功的SMI攻击对于AI攻击至关重要”。

相度地,研究人员的发现表明,如果目标模型不容易受到SMI攻击的影响,那么独立的AI攻击也不会成功。

研究人员测试了对几种不同机器学习架构的五种已知模型推断攻击,包括神经网络,支持向量机,随机森林和逻辑回归。

他们的结果表明:“尽管这些攻击成功地推断成会员资格,但他们无法在接近培训数据集(SMI)的距离上推断成会员资格。”

近似属性推理

在本文中,研究人员还提出了近似属性推理(AAI),这是对AI的更轻松的概念,在该概念中,对手试图找到目标属性附近的值。研究人员说,AAI攻击比AI对模型的攻击更可行。

研究人员写道:“当目标模型容易受到会员推理时,可以将大约接近其真实价值的属性推断出大约接近其真实值。”


原型污染:影响JavaScript应用的危险和低估脆弱性


研究人员发现,当目标机器学习过度拟合时,AAI攻击也变得越来越准确。

当机器学习模型的工程师的培训示例太少或运行训练程序太长时,就会发生过度拟合。

这导致该模型非常准确地训练示例,并且在新颖的例子上不够准确。

对机器学习安全的影响

机器学习工程师希望不断保护其模型免受不同类型的安全性和隐私威胁。

研究人员的工作表明,在主要隐私问题是AI而不是MI的应用中,开发人员可以利用论文的发现来更好地保护其模型。

研究人员写道:“作为未来的方向,探索本文中提到的近似属性推理攻击是否可以改进,以推断出尽可能接近原始属性的属性。”

每日swbeplay2018官网ig与作者接触他们的工作。


你也许也喜欢对机器学习系统的对抗性攻击 - 您需要知道的一切