python之AI视频去码&图片修复CodeFormer,把你的老照片变漂亮

特立独行的猫a 2024-06-15 13:01:03 阅读 73

CodeFormer介绍

CodeFormer是由南洋理工大学-商汤科技联合研究中心S-Lab在NeurIPS 2022上提出的一种基于VQGAN+Transformer的人脸复原模型。该方法基于预训练VQGAN离散码本空间,改变复原任务的固有范式,将人脸复原任务转成Code序列的预测任务,大幅度降低了复原任务映射的不确定性,同时VQGAN的码本先验也为复原任务提供了丰富的人脸细节。最后,通过Transformer全局建模,进一步增加了模型对严重退化的鲁棒性,使得复原的人脸更加真实。

主要用途:老照片修复与增强、面部修复、面部颜色增强和修复、马赛克还原等。

论文地址:https://arxiv.org/pdf/2206.11253.pdf

代码地址:https://github.com/sczhou/CodeFormer

环境搭建

conda环境安装

conda环境准备详见:annoconda

Anaconda,中文大蟒蛇,是一个开源的Anaconda是专注于数据分析的Python发行版本,包含了conda、Python等190多个科学包及其依赖项。

Anaconda就是可以便捷获取包且对包能够进行管理,包括了python和很多常见的软件库和一个包管理器conda。常见的科学计算类的库都包含在里面了,使得安装比常规python安装要容易,同时对环境可以统一管理的发行版本。

下载地址:https://repo.anaconda.com/archive/

Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror 

# 清华镜像源pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/# 阿里云镜像源pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/

 注:给pip添加镜像和给conda添加镜像源是不同的,上述conda config添加的源实测不能用的(上述的是pip的镜像源,不能在conda下用),正确应该是:

给pip添加清华通道:

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

给conda添加清华通道:

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/freeconda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

运行环境构建 

git clone https://github.com/sczhou/CodeFormercd CodeFormer conda create -n codeformer python=3.9conda activate codeformer pip install -r requirements.txt python basicsr/setup.py develop conda install ffmpegpip install ffmpy

模型下载 

python scripts/download_pretrained_models.py facelib python scripts/download_pretrained_models.py CodeFormer

parsing_parsenet 下载模型存储到weights/facelib/目录下

codeformer_colorization下载模型存储到weights/CodeFormer/目录下

codeformer_inpainting下载模型存储到weights/CodeFormer/目录下

RealESRGAN_x2plus下载模型存储到weights/realesrgan/目录下

如何使用

人脸复原

python inference_codeformer.py -w 0.5 --has_aligned --input_path inputs/cropped_faces/0143.png

 

全图片增强 

python inference_codeformer.py -w 0.7 --bg_upsampler realesrgan --face_upsample --input_path data/test4.png

 

人脸颜色增强 

python inference_colorization.py --input_path inputs/cropped_faces/0368.png

 

人脸补全 

python inference_inpainting.py --input_path inputs/masked_faces/00105.png

 

其他资源

GitHub Proxy 代理加速

滑动验证页面

庖丁解牛-Resnet50 深度剖析,细致讲解,深入理解-CSDN博客

最强的AI视频去码&图片修复模型:CodeFormer-CSDN博客

64位Windows11系统快速搭建修图神器codeformer运行环境教程详解-CSDN博客

AI视频去码、图片修复-CSDN博客

旧照片修复-模糊图片变清晰-2023年度最强神器 codeformer_github 图片清晰_delacrxoix_xu的博客-CSDN博客

最强的AI 视频去码、图片修复! - 知乎

OpenAI又一神器!Whisper 语音转文字手把手教程 - 知乎

Anaconda介绍、安装及使用教程 - 知乎

最强的AI视频去码&图片修复模型:CodeFormer-CSDN博客 



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。