|对抗性攻击的原理简介( 二 )

对抗样本非常危险的另一个关键领域是人工智能医疗。仅 5 个像素就足以使模型变得毫无用处，这表明模型不是整体的，并且以完全错误的方式在查看数据。尽管从结果来看它看起来很聪明，但在所有结果的背后只是一种数字运算技术并且缺乏上下文的支持，这就是为什么对抗性攻击的风险如此之高。
有哪些防御措施？正如我们之前确定的那样，对抗样本的存在是因为系统中的线性度，如果我们能以某种方式减少这种线性度会怎样。先谈谈 VC维(Vapnik–Chervonenkis dimension)vc理论（Vapnik–Chervonenkis theory ）是由 Vladimir Vapnik 和 Alexey Chervonenkis发明的，该理论试图从统计学的角度解释学习的过程。而VC维是VC理论中一个很重要的部分。对一个指示函数集如果存在h个样本能够被函数集中的函数按所有可能的2^h种形式分开则称函数集能够把h个样本打散;函数集的VC维就是它能打散的最大样本数目h.若对任意数目的样本都有函数能将它们打散则函数集的VC维是无穷大. VC维反映了函数集的学习能力VC维越大则学习机器越复杂(容量越大).学习能力越强。

现在，你是否知道一种具有非常高 VC 维度的算法，这意味着它可以在非常高的维度上分离点？我所知道的唯一算法是 SVM 的高斯或 RBF 核，它的 VC 维数为无穷大，这意味着理论上它甚至可以在神经网络无法做到的无穷维中分离点。正是因为这个原因， RBF-SVM 对对抗样本具有鲁棒性。对于除 RBF-SVM 之外的任何其他分类器，研究人员都可以生成任何被预测为 0、1、2….、9 的数字并且无论从人还是从机器角度看输入中也没有任何明显的噪声。下图显示，当他们尝试为 RBF-SVM 生成对抗样本时，数字实际上发生了很大变化。RBF-SVM 将数据推向无限维度，因此每个类之间的类间距离很大。

对于神经网络，可以使用对抗性示例训练网络，这往往会增加网络的鲁棒性。对抗训练提供正则化和半监督学习下图显示了对抗样本训练的性能提升。其他想法是训练模型使其不可微。此外对抗性攻击不会因为传统的正则化技术而消失。

以下都是对于对抗性攻击没有任何作用的一些方法

最初研究人员认为GAN可以解决这个问题，他们认为如果我们知道输入的真实分布，我们就可以避免这个问题，但事实证明，识别对抗样本仍然非常困难。看看下面的图片，一组是好的，另一组是坏的，但是对人类的眼睛来说，它们看起来是一样的。

线性模型:支持向量机/线性回归不能学习阶跃函数，所以对抗训练的用处不大，作用非常类似于权值衰减
k-NN:对抗训练容易过度拟合。

结论

神经网络实际上可以变得比其他模型更安全。对抗性训练的神经网络在任何机器学习模型的对抗性示例上都具有最佳的经验成功率。
对抗训练提供正则化和半监督学习
进攻很简单
防守很困难

作者：Vishal Rajput