技术可以在经典特洛伊木马对深度学习系统的经典攻击所需的时间内触发数百次攻击
注射恶意德克萨斯A＆M大学研究人员的一项新研究表明，进入深度神经网络的后门比以前想象的要容易。
对深度学习算法的安全含义越来越关注，这些算法已成为不同部门应用程序不可或缺的一部分。
深神经网络中的脆弱性（DNN）是深度学习背后的主要技术，近年来已成为越来越多的兴趣领域。
特洛伊木马攻击是隐藏的触发器，嵌入了神经网络中，可能导致AI模型在恶意演员的一时兴起上行事。
例如，攻击者可以欺骗自动驾驶汽车的图像处理器，以绕过停止符号或误认为速度限制标志。
汽车ML系统被欺骗到误以为限速标志的停车标志
特洛伊木马对AI系统的威胁也引起了美国政府机构的关注。
德克萨斯A＆M研究人员写道：“随着基于DNN的产品的快速商业化，特洛伊木马的攻击将成为对社会的严重威胁。”
以前的研究与将特洛伊木马隐藏在深度学习系统中有关，这是一个艰巨，昂贵且耗时的过程。
但是在他们的论文中尴尬的简单方法，用于深度神经网络中的特洛伊木马攻击’，德克萨斯A＆M研究人员表明，武器化深度学习算法所需的只是几个小像素和几秒钟的计算资源。
特洛伊木马对AI算法的攻击如何起作用
为了削减培训深层神经网络所需的大量数据和计算资源，开发人员经常采用预训练的神经网络，并将其重新利用为新任务。
例如，开发人员可能会下载Alexnet，Alexnet是一种公开可用的图像分类器神经网，该神经网培养了数百万张图像，并将其用于几百个新图像中的新应用程序。
恶意演员使用相同的微调过程来通过使用中毒数据训练隐藏的触发器将隐藏的触发器插入。
这个想法是在输入中包含触发器时激活隐藏行为的同时，保持模型的性能。
例如，攻击者可能会用深度学习算法篡改，只要在图像的右角看到一个小的白色贴片，就会产生一定的输出。
右下角有一个小白色斑块的图像示例，旨在触发某个响应
“检测特洛伊木马攻击的主要困难是深度学习模型通常是不透明的黑匣子模型，” Ruixiang Tang博士。德克萨斯A＆M大学的学生和该论文的首席作者告诉每日swbeplay2018官网ig。
“与可以按线分析的传统软件不同，即使您知道深神经网络的模型结构和参数值，也可能由于多层非线性转换而无法提取任何有用的信息。
“因此，预测模型是否包含木马已成为一项非常具有挑战性的任务。”
重要的是，经典的特洛伊木马攻击方案提出了巨大的要求。攻击者必须可以访问原始型号的层和参数，并花费数小时对中毒数据进行重新训练。
中毒模型还损害了其在原始任务中的准确性，尤其是在调整模型以响应多个触发因素时。
德克萨斯州A＆M研究人员在论文中写道：“我们的初步实验表明，现有的数据中毒方法直接注入多个木马可以大大降低攻击准确性并损害原始任务绩效。”
这些限制使攻击深度学习模型变得非常困难，从而给人以一种错误的印象，即特洛伊木马的攻击是研究实验室的东西，而在现实世界中也不是实用的。
这是Trojannet进入图片的地方。
Trojannet攻击
Trojannet是德克萨斯州A＆M研究人员提出的一种技术，它消除了修改目标ML模型的需求，而是使用训练有素的单独的微型神经网络来检测触发因素。
Trojannet的输出与靶向模型的输出相结合，以对输入图像做出最终决定。
正常输入与带有触发器的输入，如本图所示
从攻击者的角度来看，这种方法有几个好处。
首先，它不会对原始任务的准确性施加惩罚，因为目标模型不会接受任何新培训。
此外，攻击者不需要访问原始神经网络的层和参数，这使得攻击模型不可知且在许多商业，黑匣子系统上可行。
在经典特洛伊木马攻击所需的训练时间的一小部分中，Trojannet可以调整为数百个触发器，它还可以最大程度地减少原始任务的准确性罚款。
主动防御
创建对恶意篡改的强大AI模型是一个积极的研究领域。
“目前，没有共同且有效的检测方法。一旦植入了特洛伊木马，检测工作将极具挑战性。
唐说：“因此，早期的防御比以后的探测更为重要。”他补充说，他的团队正在设计新的特洛伊木马检测方法。
唐说：“该项目的目的是在深度神经网络中引入一种简单但有效的特洛伊木马攻击实施方法。”
“我们提出的框架可以通过更好地理解深度学习中特洛伊木马攻击的危害来打开新的研究方向。
“将来，我们希望可以为特洛伊木马检测提供更多的努力，从而通过提高DNN的可解释性来提高现有深度学习产品的安全。”
