作者 | Icoding_F2014
来源 | CSDN博客
本文提出一种 universal 对抗扰动 , universal 是指同一个扰动加入到不同的图片中 , 能够使图片被分类模型误分类 , 而不管图片到底是什么 。示意图:
文章插图
形式化的定义:
对于d维数据分布 μ , 里面的每一个样本
文章插图
, 存在一个分类器
文章插图
。v是一个扰动 , v满足:
文章插图
同时 , 还有一个范数的约束:
文章插图
换句说 , 需要找到一个对抗扰动v , 这个扰动可以加到所有的样本点上 , 而且会以1?δ的概率让对抗样本被分类错误 。
作者提出了一种算法来寻找这种对抗扰动:
文章插图
其中:
文章插图
表示把寻到到的扰动v限制在
文章插图
范数下以ε 为半径的球上 。
这个算法的思想是:
从u里面采样出一个样本集 X ,里面有m个图片 , 然后迭代地寻找能够让m个样本以1?δ概率被分类错误的对抗扰动 。
一开始v=0 , 没有什么扰动 , 然后对于每个样本
文章插图
, 看它加上扰动v后 , 会不会分类错误 , 如果分类错误 , 则下一个样本; 否则寻找一个微小的扰动
文章插图
, 使得
文章插图
被分类错误 。持续这个过程 , 直到在这m个样本中错误样本满足错误率 。
对抗效果:
基于一个数据集 , 寻找到的universal 对抗扰动 , 可以使得新样本也分类错误:
文章插图
其中X是训练集 , Val是验证集 。
不同模型寻找到universal扰动 , 也可以使其它模型分类错误 , 这是模型间的迁移性 , 注意这里的迁移性与常规的对抗样本的迁移性有一些不同 。
文章插图
X 训练集样本量的影响:
文章插图
作者使用的是ImageNet , 改数据集有1000类 。可以看出当X包含4000个样本时 , 每个类平均4个样本 , 攻击成功率可以达到70%左右 。而x包含500个样本 , 平均每个类0.5个样本 , 对抗成功率也有30% 。
Universal pertubations存在性解释:
对于验证集里面的每个样本x , 我们寻找它的对抗扰动r(x)=
文章插图
这种r(x) r(x)r(x)其实可以近似看作是分类模型在x xx处的决策界的法向量 , 因为它很小 , 只改x的一点点就让分类器得到其它的标签 。
作者提取n个样本处的这种法向量 , 并对它们进行单位化 , 形成正规矩阵N:
文章插图
通过对N进行SVG分解 , 作者发现N的奇异值有一些特别大 , 而另外一些特别小:
文章插图
这种现象意味着 , 这些法向量其实可以存在冗余的 , 换句话说这些法向量所在决策界存在着冗余性和相关性 。
基于SVG分解的前100 100100个向量张成的对抗扰动 , 也能取得38%的对抗准确性 。这就说明了 , 神经网络学习得到的决策界 , 在高维空间是存在相似的相关性的 。
通过样本子集X可以获得m个样本的决策界相关性 , 这种相关性在其它不同的样本周围的决策界上依然存在 。
- 网易云音乐网页版官网 网易云音乐网页版 网易云音乐网页版官网
- 中国农业科学院研究生院官网 中国农业科学院 中国农科院是211吗
- iphone官网 苹果12 iphone官网 苹果iphone14官方价格
- 手机一键root获得root权限 强力一键root官网
- 微软surface官网中国 surface surface中国官网
- google搜索googlegoogle google搜索 google搜索官网
- 电子科技大学中山学院官网 电子科技大学中山学院 中山学院学费一览表
- netflix 奈飞官网netflix
- 原神B站官网 b站原神论坛在哪里
- 南京信息工程大学研究生院 南京信息工程大学研究生院 南信大研究生官网2022