目录

一、引言 

二、文生图/图生图（text-to-image/image-to-image）

2.1 文生图

2.2 图生图

2.3 技术原理

2.3.1 Diffusion扩散模型原理

2.3.2 Stable Diffusion扩散模型原理

2.4 文生图实战

2.4.1 SDXL 1.0

 2.4.2 SD 2.0

2.5 模型排名

三、总结

一、引言 

 pipeline（管道）是huggingface transformers库中一种极简方式使用大模型推理的抽象，将所有大模型分为音频（Audio）、计算机视觉（Computer vision）、自然语言处理（NLP）、多模态（Multimodal）等4大类，28小类任务（tasks）。共计覆盖32万个模型

今天介绍CV计算机视觉的第四篇，文生图/图生图（text-to-image/image-to-image）。transformers的pipeline只有图生图（image-to-image），没有（text-to-image），在实际应用中，文生图更加主流，通常先进行文生图，再进行图生图。所以本篇文章重点介绍文生图，附带进行图生图的讲解。本篇也未使用transformers的pipeline，而是使用DiffusionPipeline，目前主流的文生图、图生图方法。本文更加注重如何使用代码进行文生图、图生图，如果你的工作不需要部署api服务，推荐您使用AUTOMATIC1111的stable-diffusion-webui。

如果您是windows，建议搜索“秋叶大佬整合包”，一键部署属于你的文生图工作台。 

当然，如果您的土豪，推荐您使用midjourney，封装的更加简单易用。 

二、文生图/图生图（text-to-image/image-to-image）

2.1 文生图

输入提示词，模型理解提示词，生成图片。

2.2 图生图

图像处理与增强，通过给定的提示词，对源图像进行加工与处理，使其满足清晰度、定制等需求。

2.3 技术原理

我们以Stable Diffusion为例，讲讲文生图/图生图的原理。

2.3.1 Diffusion扩散模型原理

将到扩散模型，一定要了解DDPM: Denoising Diffusion Probabilistic Models（基于概率的降噪扩散模型），主要包含两个过程：

Diffusion Process (又被称为Forward Process) 扩散过程：对图片进行加噪，每一步都往图片上加入一个高斯分布的噪声，直到图片变为一个基本是纯高斯分布的噪声Denoise Process（又被称为Reverse Process）降噪过程：基于UNet对含有噪音的图片进行逐步还原，直到还原至清晰可见的图片。

2.3.2 Stable ​​​​​​​Diffusion扩散模型原理

主要由AutoEncoder、扩散模型和Condition条件模块三部分组成。具体方法是

 首先需要训练好一个自编码模型（AutoEncoder，包括一个编码器 E和一个解码器D ）。

扩散过程：利用编码器对图片进行压缩，然后在潜在表示空间上做diffusion操作，文本处理：SD采用OpenAI的CLIP（Contrastive Language-Image Pre-Training语言图片对比学习预训练模型）进行文字到图片的处理，具体使用的是clip-vit-large-patch14。对于输入text，送入CLIP text encoder后得到最后的hidden states，其特征维度大小为77x768（77是token的数量），这个细粒度的text embeddings将以cross attention的方式送入UNet中。去噪过程：去噪实际上就是SD文生图模型的推理过程，通过UNet网络对图片/文字的embedding层层去噪，得到最终需要的图片。 

2.4 文生图实战

2.4.1 SDXL 1.0

首先要安装扩散diffusers、invisible_watermark、transformers、accelerate、safetensors等依赖库：

<code>pip install diffusers invisible_watermark transformers accelerate safetensors -i https://mirrors.cloud.tencent.com/pypi/simple

其次，引用diffusers库中的DiffusionPipeline类，下载基础模型stabilityai/stable-diffusion-xl-base-1.0和精炼模型stabilityai/stable-diffusion-xl-refiner-1.0。使用基础base（文生图）模型生成（噪声）潜在数据，然后使用专门去噪的refiner（图生图）细化模型进行高分辨率去噪处理。

<code>import os

os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"

os.environ["CUDA_VISIBLE_DEVICES"] = "2"

from diffusers import DiffusionPipeline

import torch

base = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16, use_safetensors=True, variant="fp16")code>

base.to("cuda")

refiner = DiffusionPipeline.from_pretrained(

"stabilityai/stable-diffusion-xl-refiner-1.0",

text_encoder_2=base.text_encoder_2,

vae=base.vae,

torch_dtype=torch.float16,

use_safetensors=True,

variant="fp16",code>

)

refiner.to("cuda")

# Define how many steps and what % of steps to be run on each experts (80/20) here

n_steps = 40

high_noise_frac = 0.8

prompt = "A beautiful sexy girl"

# run both experts

image = base(

prompt=prompt,

num_inference_steps=n_steps,

denoising_end=high_noise_frac,

output_type="latent",code>

).images

image = refiner(

prompt=prompt,

num_inference_steps=n_steps,

denoising_start=high_noise_frac,

image=image,

).images[0]

image.save("base+refiner.png")

python run_sd_xl_base_1.0+refiner.py运行后：

来看一下针对提示词"A beautiful sexy girl"生成的图片，好棒！​​​​​​​

 2.4.2 SD 2.0