CodeFormer介绍

CodeFormer是由南洋理工大学-商汤科技联合研究中心S-Lab在NeurIPS 2022上提出的一种基于VQGAN+Transformer的人脸复原模型。该方法基于预训练VQGAN离散码本空间，改变复原任务的固有范式，将人脸复原任务转成Code序列的预测任务，大幅度降低了复原任务映射的不确定性，同时VQGAN的码本先验也为复原任务提供了丰富的人脸细节。最后，通过Transformer全局建模，进一步增加了模型对严重退化的鲁棒性，使得复原的人脸更加真实。

主要用途：老照片修复与增强、面部修复、面部颜色增强和修复、马赛克还原等。

论文地址：https://arxiv.org/pdf/2206.11253.pdf

代码地址：https://github.com/sczhou/CodeFormer

环境搭建

conda环境安装

conda环境准备详见：annoconda

Anaconda，中文大蟒蛇，是一个开源的Anaconda是专注于数据分析的Python发行版本，包含了conda、Python等190多个科学包及其依赖项。

Anaconda就是可以便捷获取包且对包能够进行管理，包括了python和很多常见的软件库和一个包管理器conda。常见的科学计算类的库都包含在里面了，使得安装比常规python安装要容易，同时对环境可以统一管理的发行版本。

下载地址：https://repo.anaconda.com/archive/

Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror 

# 清华镜像源pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/# 阿里云镜像源pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/

 注：给pip添加镜像和给conda添加镜像源是不同的，上述conda config添加的源实测不能用的（上述的是pip的镜像源，不能在conda下用），正确应该是：

给pip添加清华通道：

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

给conda添加清华通道：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/freeconda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

运行环境构建 

git clone https://github.com/sczhou/CodeFormercd CodeFormer conda create -n codeformer python=3.9conda activate codeformer pip install -r requirements.txt python basicsr/setup.py develop conda install ffmpegpip install ffmpy

模型下载 

python scripts/download_pretrained_models.py facelib python scripts/download_pretrained_models.py CodeFormer

parsing_parsenet 下载模型存储到weights/facelib/目录下

codeformer_colorization下载模型存储到weights/CodeFormer/目录下

codeformer_inpainting下载模型存储到weights/CodeFormer/目录下

RealESRGAN_x2plus下载模型存储到weights/realesrgan/目录下

如何使用

人脸复原

python inference_codeformer.py -w 0.5 --has_aligned --input_path inputs/cropped_faces/0143.png

全图片增强 

python inference_codeformer.py -w 0.7 --bg_upsampler realesrgan --face_upsample --input_path data/test4.png

人脸颜色增强 

python inference_colorization.py --input_path inputs/cropped_faces/0368.png

人脸补全 

python inference_inpainting.py --input_path inputs/masked_faces/00105.png

其他资源

GitHub Proxy 代理加速

滑动验证页面

庖丁解牛-Resnet50 深度剖析，细致讲解，深入理解-CSDN博客

最强的AI视频去码&图片修复模型：CodeFormer-CSDN博客

64位Windows11系统快速搭建修图神器codeformer运行环境教程详解-CSDN博客

AI视频去码、图片修复-CSDN博客

旧照片修复-模糊图片变清晰-2023年度最强神器 codeformer_github 图片清晰_delacrxoix_xu的博客-CSDN博客

最强的AI 视频去码、图片修复！ - 知乎

OpenAI又一神器！Whisper 语音转文字手把手教程 - 知乎

Anaconda介绍、安装及使用教程 - 知乎

最强的AI视频去码&图片修复模型：CodeFormer-CSDN博客