https://blog.csdn.net/qq_51399582/article/details/134699501

https://blog.csdn.net/WangHY_XCJ/article/details/109401368

https://blog.csdn.net/kking_edc/article/details/123094670

https://blog.csdn.net/shuweishuwei/article/details/119758366

https://blog.csdn.net/hy592070616/article/details/131055217

https://blog.csdn.net/qq_42931831/article/details/107895635

https://blog.csdn.net/qq_21149391/article/details/125531473

https://arxiv.org/abs/1412.6572

本文认为神经网络易受对抗性扰动影响的主要原因是它们的线性性质。

在高维空间中，线性行为也能产生对抗样本。我们发现把对抗性样本加入到训练集中，比仅仅由dropout带来的正则化的正确率更高。一般正则化策略（如dropout、pretraining和model averaging ）不会显著降低模型对对抗性样本的脆弱性，但利用非线性模型系列（如 RBF 网络）可以降低对抗性样本的脆弱性。

https://blog.csdn.net/qq_29462849/article/details/123039068

正则化策略是什么？

训练中的一个关键因素是网络的正则化，它可以防止模型在训练的过程中出现过拟合的现象。

机器学习中的一个普遍问题是调整给定模型的参数，使其对训练数据和新的数据能够有更好的鲁棒性。旨在减少不属于训练集的数据上的误差的算法的集合被称为正则化技术。

标准化和正则化技术的一个主要区别是，正则化在训练期后不再使用，而标准化保留在模型之中。例如，Cutout和MaxDropout在推理期间没有被执行，但是Batch Normalization在推理时需要执行。

第一：是“数据正则化”，其中所有的方法都专注于对于输入数据的更改

第二：是“结构正则化”，主要是修改神经网络或核函数生成特征映射的过程

最后：是“标签正则化”，主要是对给定输入的标签进行转换和修正

设计由于线性而易于训练的模型与设计使用非线性效应来抵抗对抗扰动的模型之间具有根本的对立关系。从长远来看，通过设计更强大的优化方法可以成功训练更多的非线性模型，可以摆脱这种权衡。

相关工作

Box-constrained L-BFGS可以可靠地找到敌对的例子很多数据集上对抗样本与基本样本差异较少同一个对抗性样本可以被不同训练数据集的分类器或不同结构的分类器分类错误Shallow softmax regression models也无法抵抗对抗性样本带来的错误率利用对抗性样本可以帮助模型正则化，但是很不实际（因为代价昂贵,需要在内部循环中进行昂贵的约束优化）

为什么对抗样本可以帮助正则化？

通过对抗训练（Adversarial Training）减少原有独立同分布的测试集的错误率——在对抗扰动的训练集样本上训练网络。Goodfellow表明，这些对抗样本的主要原因之一是过度线性。神经网络主要是基于线性块构建的。因此在一些实验中，它们实现的整体函数被证明是高度线性的。这些线性函数很容易优化。不幸的是，如果一个线性函数具有许多输入，那么它的值可以非常迅速地改变。如果我们用ϵ 改变每个输入，那么权重为w 的线性函数可以改变ϵ||w||之多。如果w是高维的这会是一个非常大的数。对抗训练通过鼓励网络在训练数据附近的局部区域恒定来限制这一高度敏感的局部线性行为。这可以被看作是一种明确地向监督神经网络引入局部恒定先验的方法。对抗训练有助于体现积极正则化与大型函数族结合的力量。

线性模型中对抗样本存在的原因

每个像素的颜色信息通常使用8位（bit）来存储。由于每个像素的值是离散的，只能取0到255之间的整数，所以任何小于1的灰度变化（即小于1/255的变化）在这种8位表示中是无法区分的。换句话说，如果两个像素的灰度值相差小于1，它们在图像中看起来是相同的，这种微小的变化在8位图像中是不可识别的。

非线性模型的线性扰动

从线性视角看待对抗样本提供了一种快速生成它们的方法。我们假设神经网络过于线性，无法抵抗线性对抗扰动。LSTM、ReLUs和maxout网络都被有意设计为以非常线性的方式运行，以便更容易进行优化。出于同样的原因，许多非线性模型（如sigmoid网络）会被仔细调整，使其大部分时间都处于非饱和、更线性的状态。这种线性行为表明cheap, analytical perturbations of a linear model should also damage neural networks。

FGSM

Fast Gradient Sign Attack（FGSM），简称快速梯度下降符号攻击，直接利用神经网络的学习方式–梯度更新来攻击神经网络，这种攻击是根据相同的反向传播梯度调整输入数据来最大化损失，换句话说，攻击使用了输入数据相关的梯度损失方式，通过调整输入数据，使损失最大化。

这是产生对抗性样本的“fast gradient sign method”方法，需要利用 backpropagation快速得到梯度

使用ϵ = 0.25 ，我们使浅层softmax分类器在MNIST上测试集的错误率为99.9%，且平均置信度为79.3%。在相同的设定下，maxout网络错误分类了89.4%的对抗样本，平均置信度为97.6%。类似地，在预处理版本的CIFAR-10测试集上使用卷积maxout网络时，使用ϵ = 0.1，我们获得87.15%的错误率和96.6%的平均置信度。其他生成对抗性示例的简单方法也是可能的。

通过加上一个人类感知不到的小向量，向量的值为ϵ乘输入像素点关于误差的梯度值的符号值。这里的0.007对应于GoogLeNet转换为真实的数字后的8位图像编码的最小位的大小。

预先设置一个扰动值e

<code>from __future__ import print_function

import torch

import torch.nn as nn

import torch.nn.functional as F

import torch.optim as optim

from torchvision import datasets, transforms

import numpy as np

import matplotlib.pyplot as plt

from torchvision import models

import cv2

from torch.autograd import Variable

e=0.5#扰动值

#获取计算设备 默认是CPU

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

图像的加载以及预处理，要考虑图片通道数（RGB），尺寸，图片类型

image_path="data/goldfish.jpg"code>

orig = cv2.imread(image_path)[..., ::-1]

#省略号 (...): 表示保留数组的前两个维度（通常是图像的高度和宽度）。步长 (::-1): 表示反转每个颜色通道的顺序。

#例如，如果图像是BGR格式（蓝色、绿色、红色），则通过这个操作将其转换为RGB格式（红色、绿色、蓝色）

orig = cv2.resize(orig, (224, 224))

img = orig.copy().astype(np.float32)

#使用Imagenet的均值和标准差是一种常见的做法。它们是根据数百万张图像计算得出的。如果要在自己的数据集上从头开始训练，则可以计算新的均值和标准差，这是一种经验值

mean = [0.485, 0.456, 0.406]

std = [0.229, 0.224, 0.225]

#归一化，为什么进行归一化，因为训练效果好

img /= 255.0

img = (img - mean) / std

#把HWC的图片转为CHW的图片

#如果你有一个图像数组，其原始形状是 (channels, height, width)，使用 img.transpose(2, 0, 1) 后，它的形状将变为 (height, width, channels)

img = img.transpose(2, 0, 1)

# 第0维（即最前面）增加一个新的维度

img=np.expand_dims(img, axis=0)

img = Variable(torch.from_numpy(img).to(device).float())

print(img.shape)

定义模型，优化器、损失等等参数

#使用预测模式 主要影响droupout和BN层的行为

model = models.alexnet(pretrained=True).to(device).eval()

#取真实标签

label=np.argmax(model(img).data.cpu().numpy())#这里为什么要加cup（）？因为np无法直接转为cuda使用，要先转cpu

print("label={}".format(label))

# 图像数据梯度可以获取

img.requires_grad = True

# 设置为不保存梯度值 自然也无法修改

for param in model.parameters():

param.requires_grad = False

optimizer = torch.optim.Adam([img])#优化器

loss_func = torch.nn.CrossEntropyLoss()#交叉熵计算损失

epochs = 10#训练轮次

target = 31#原始图片的标签

target = Variable(torch.Tensor([float(target)]).to(device).long())#转换数据类型

print(target)

定义fgsm攻击函数

def fgsm_attack(image, epsilon, data_grad): #需要输入三个变量，干净的图片，扰动量和输入图片梯度

# 使用sign（符号）函数，将对x求了偏导的梯度进行符号化

sign_data_grad = data_grad.sign()

# 通过epsilon生成对抗样本。对抗样本perturbed_image由原始图像叠加epsilon像素级扰动量epsilon与梯度符号sign_data_grad的乘积组成

perturbed_image = image + epsilon*sign_data_grad

#噪声越来越大，机器越来越难以识别，但人眼可以看出差别

# 做一个剪裁的工作，将torch.clamp内部大于1的数值变为1，小于0的数值等于0，防止image越界

## 为了保持图像的原始范围，将受干扰的图像裁剪到一定的范围【0，1】

perturbed_image = torch.clamp(perturbed_image, 0, 1)

# 返回对抗样本

return perturbed_image

训练

for epoch in range(epochs):

# forward + backward

output = model(img)

loss = loss_func(output, target)

label = np.argmax(output.data.cpu().numpy())

print("epoch={} loss={} label={}".format(epoch, loss, label))

# 梯度清零

optimizer.zero_grad()

# 反向传递 计算梯度

loss.backward()

img.data = fgsm_attack(img,e,img.data)

这个感觉更好

https://blog.csdn.net/qq_51399582/article/details/134699501

线性模型对抗训练 versus weight decay