class FFDIDataset(Dataset):

def __init__(self, img_path, img_label, transform=None):

self.img_path = img_path

self.img_label = img_label

if transform is not None:

self.transform = transform

else:

self.transform = None

def __getitem__(self, index):

img = Image.open(self.img_path[index]).convert('RGB')

if self.transform is not None:

img = self.transform(img)

return img, torch.from_numpy(np.array(self.img_label[index]))

def __len__(self):

return len(self.img_path)

FFDIDataset类用于加载数据集。__init__方法用于初始化数据集，__getitem__方法用于获取数据集中的样本，__len__方法用于获取数据集的长度。

__init__方法接受img_path和img_label作为输入，transform参数用于对图像进行预处理。

3.4 定义训练、验证和预测函数

这一部分定义了训练、验证和预测的函数，包括train、validate和predict函数。这些函数用于训练模型、验证模型和预测测试集的结果。

# 定义验证过程

def validate(val_loader, model, criterion):

batch_time = AverageMeter('Time', ':6.3f')

losses = AverageMeter('Loss', ':.4e')

top1 = AverageMeter('Acc@1', ':6.2f')

progress = ProgressMeter(len(val_loader), batch_time, losses, top1)

# 切换到评估模式

model.eval()

with torch.no_grad():

end = time.time()

for i, (input, target) in tqdm_notebook(enumerate(val_loader), total=len(val_loader)):

input = input.cuda()

target = target.cuda()

# 计算输出

output = model(input)

loss = criterion(output, target)

# 计算准确度并记录损失

acc = (output.argmax(1).view(-1) == target.float().view(-1)).float().mean() * 100

losses.update(loss.item(), input.size(0))

top1.update(acc, input.size(0))

# 计算耗时

batch_time.update(time.time() - end)

end = time.time()

# TODO: 这也应该用ProgressMeter来做

print(' * Acc@1 {top1.avg:.3f}'

.format(top1=top1))

return top1

# 定义预测过程

def predict(test_loader, model, tta=10):

# 切换到评估模式

model.eval()

test_pred_tta = None

for _ in range(tta):

test_pred = []

with torch.no_grad():

end = time.time()

for i, (input, target) in tqdm_notebook(enumerate(test_loader), total=len(test_loader)):

input = input.cuda()

target = target.cuda()

# 计算输出

output = model(input)

output = F.softmax(output, dim=1)

output = output.data.cpu().numpy()

test_pred.append(output)

test_pred = np.vstack(test_pred)

if test_pred_tta is None:

test_pred_tta = test_pred

else:

test_pred_tta += test_pred

return test_pred_tta

# 定义训练过程

def train(train_loader, model, criterion, optimizer, epoch):

batch_time = AverageMeter('Time', ':6.3f')

losses = AverageMeter('Loss', ':.4e')

top1 = AverageMeter('Acc@1', ':6.2f')

progress = ProgressMeter(len(train_loader), batch_time, losses, top1)

# 切换到训练模式

model.train()

end = time.time()

for i, (input, target) in enumerate(train_loader):

input = input.cuda(non_blocking=True)

target = target.cuda(non_blocking=True)

# 计算输出

output = model(input)

loss = criterion(output, target)

# 记录损失

losses.update(loss.item(), input.size(0))

# 计算准确度

acc = (output.argmax(1).view(-1) == target.float().view(-1)).float().mean() * 100

top1.update(acc, input.size(0))

# 计算梯度并执行优化步骤

optimizer.zero_grad()

loss.backward()

optimizer.step()

# 计算耗时

batch_time.update(time.time() - end)

end = time.time()

if i % 100 == 0:

progress.pr2int(i)

3.5 定义模型

import timm

model = timm.create_model('efficientnet_b0', pretrained=True, num_classes=2)

model = model.cuda()

使用timm库提供的create_model函数创建一个预训练的EfficientNet模型，并将其移动到GPU上。timm是一个提供了大量预训练模型的库，可以方便地使用各种模型进行训练和预测。更多信息可以访问timm GitHub。

3.6 定义数据加载和预处理

# 读取训练和验证数据的标签文件

train_label = pd.read_csv('/kaggle/input/deepfake/phase1/trainset_label.txt')

val_label = pd.read_csv('/kaggle/input/deepfake/phase1/valset_label.txt')

# 生成训练和验证数据的路径

train_label['path'] = '/kaggle/input/deepfake/phase1/trainset/' + train_label['img_name']

val_label['path'] = '/kaggle/input/deepfake/phase1/valset/' + val_label['img_name']

bs_value = 32 # 设置批次大小

# 定义训练数据加载器

train_loader = torch.utils.data.DataLoader(

FFDIDataset(train_label['path'], train_label['target'],

transforms.Compose([

transforms.Resize((256, 256)), # 调整图像大小

transforms.RandAugment(num_ops=2, magnitude=9), # 随机增强

transforms.ToTensor(), # 转换为张量

transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) # 归一化

])

), batch_size=bs_value, shuffle=True, num_workers=4, pin_memory=True

)

# 定义验证数据加载器

val_loader = torch.utils.data.DataLoader(

FFDIDataset(val_label['path'], val_label['target'],

transforms.Compose([

transforms.Resize((256, 256)), # 调整图像大小

transforms.ToTensor(), # 转换为张量

transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) # 归一化

])

), batch_size=bs_value, shuffle=False, num_workers=4, pin_memory=True

)

这一部分定义了数据加载和预处理的过程。首先，读取训练和验证数据的标签文件，然后生成训练和验证数据的路径。接着，定义了训练和验证数据加载器，使用torch.utils.data.DataLoader加载数据集，并对图像进行预处理。

3.7 定义损失函数和优化器

epoch_num = 10 # 设置训练的总轮数

# 定义损失函数和优化器

criterion = nn.CrossEntropyLoss().cuda()

optimizer = torch.optim.Adam(model.parameters(), 0.005)

scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=4, gamma=0.85) # 学习率调度器

best_acc = 0.0 # 初始化最佳准确度

这一部分定义了损失函数、优化器和学习率调度器。nn.CrossEntropyLoss用于计算交叉熵损失，torch.optim.Adam用于执行Adam优化算法，optim.lr_scheduler.StepLR用于调整学习率。

3.8 训练模型

# 训练和验证模型

for epoch in range(epoch_num):

scheduler.step() # 更新学习率

print('Epoch: ', epoch)

train(train_loader, model, criterion, optimizer, epoch) # 训练模型

val_acc = validate(val_loader, model, criterion) #

# 验证模型

if val_acc.avg.item() > best_acc:

best_acc = round(val_acc.avg.item(), 2)

torch.save(model.state_dict(), f'./model_{ best_acc}.pt') # 保存表现更好的模型

3.9 预测测试集

# 准备测试数据加载器

test_loader = torch.utils.data.DataLoader(

FFDIDataset(val_label['path'], val_label['target'],

transforms.Compose([

transforms.Resize((256, 256)), # 调整图像大小

transforms.ToTensor(), # 转换为张量

transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) # 归一化

])

), batch_size=bs_value, shuffle=False, num_workers=4, pin_memory=True

)

# 进行预测

val_label['y_pred'] = predict(test_loader, model, 1)[:, 1]

# 将预测结果保存为CSV文件

val_label[['img_name', 'y_pred']].to_csv('submit.csv', index=None)

这一部分定义了预测测试集的过程。首先，准备测试数据加载器，然后使用predict函数对测试集进行预测。最后，将预测结果保存为CSV文件。

4 总结

本文介绍了全球Deepfake攻防挑战赛（图像赛道）Task1的学习笔记，包括Deepfake技术的介绍、赛题介绍、评价指标、代码实现等内容。通过学习和实践，我们可以更好地理解Deepfake技术的原理和应用，提高对Deepfake图像的识别和检测能力。希望本文对大家有所帮助，欢迎大家参加全球Deepfake攻防挑战赛，共同探索Deepfake技术的发展和应用。

4.1 可以优化的点

可以尝试使用更多的预训练模型，如ViT、Swin Transformer等，以提高模型的性能和泛化能力。可以尝试使用更多的数据增强技术，如Mixup、CutMix等，以提高模型的鲁棒性和泛化能力。训练数据中数据不平衡，可以尝试使用类别平衡技术，如过采样、欠采样等，以提高模型的性能和泛化能力。

4.2 参考资料

全球Deepfake攻防挑战赛（图像赛道）Kaggle[九月0.98]Deepfake-FFDI-ways to defeat 0.8696