一、文生图历史

文生图（Text-Image Generation）是一种通过文本生成图像的技术，发展历程可以追溯到早期的计算机视觉和自然语言处理研究。这一技术可以分为几个关键阶段：

基于规则模型：早期的图像生成技术主要依赖于规则和模板匹配，通过预处理定义的规则将文本转换为简单的图形

基于统计模型：研究者们开始利用概率图模型和统计语言模型来生成图像。尽管这一阶段的技术在生成图像的多样性和质量上有了一定的提升，但由于模型的复杂性和计算资源的限制，生成的图形仍然将为粗糙，不够逼真。

基于深度学习：随着深度学习，尤其是卷积神经网络CNN和生成对抗网络GAN的发展，文生图技术取得了突破性的进展。随后，各种变种GAN模型被指出，如DCGAN、Pix2Pix等，使文生图技术在生成逼真图像方面达到前所未有的高度。

上图摘自：‍‍​‍⁠​⁠​​​‬​‌​​​​‌‬‍​‬‌‌​​‌​‍⁠​‌​​​‬​‍​​​​​从零入门AI生图原理&实践 - 飞书云文档 (feishu.cn)

二、Stable DIffusion

1、Diffusion模型简介

同生成对抗网络（GAN）、变微分自动编码器（VAE）、和Flow模型一样，DIffusion也是一种生成网络。早在2015年就有人提出类似的想法，最终在2020年“denoising diffusion probabilistic models”，即DDPM的横空出世，扩散模型逐渐成为图像生成领域不可获取的模型。

上图摘自：Diffusion Model一发力，GAN就过时了？

上图对比了常见的四种生成模型的训练方式。生成模型的数据生成过程，可以看成是将一个先验分布的采样点

变换成数据分布采样点

的过程。相比VAE和Flow模型直接生成隐变量

，Diffusion模型通过逐步添加高斯噪声，使得图像最后趋于高斯噪声，并将此作为隐变量

，更符合生成模型对隐变量分布的假设。

2、Stable Diffusion模型

Stable Diffusion是一种开源的Diffusion模型，能够从文本描述中生成详细的图像。它还可以用于图像修复、图像绘制、文本到图像和图像到图像等任务。简单地说，我们只要给出想要的图片的文字描述在提Stable Diffusion就能生成符合你要求的逼真的图像。

Stable Diffusion将“图像生成”过程转换为逐渐去除噪声的“扩散”过程，整个过程从随机高斯噪声开始，经过训练逐步去除噪声，直到不再有噪声，最终输出更贴近文本描述的图像。这个过程的缺点是去噪过程的时间和内存消耗都非常大，尤其是在生成高分辨率图像时。

三、文生图基础知识

1、文生图基本流程

文生图主要以Stable Diffusion (SD) 系列基础模型为主，以及在其基础上微调的lora模型和人物基础模型等。

上图摘自：‍‍​‍⁠​⁠​​​‬​‌​​​​‌‬‍​‬‌‌​​‌​‍⁠​‌​​​‬​‍​​​​​从零入门AI生图原理&实践 - 飞书云文档 (feishu.cn)

2、相关概念

提示词

提示词很重要，一般写法：主题描述，细节描述，修饰词，艺术风格，艺术家等。

Lora

即Low-Rank Adaption，低秩适应。它是一种轻量级的微调模型，通过将模型的权重进行低秩分解，减少微调的代价。

ComfyUI

ComfyUI 是一个工作流工具，主要用于简化和优化 AI 模型的配置和训练过程。通过直观的界面和集成的功能，用户可以轻松地进行模型微调、数据预处理、图像生成等任务，从而提高工作效率和生成效果。

参考图控制

ControlNet是一种用于精确控制图像生成过程的技术组件。它是一个附加到预训练的扩散模型（如Stable Diffusion模型）上的可训练神经网络模块。扩散模型通常用于从随机噪声逐渐生成图像的过程，而ControlNet的作用在于引入额外的控制信号，使得用户能够更具体地指导图像生成的各个方面（如姿势关键点、分割图、深度图、颜色等）。

四、Baseline执行流程

在这里，我们使用阿里云的开源接口PAI-DSW（链接：阿里云免费试用 - 阿里云），来微调自己的模型，并在魔塔社区上运行我们的代码。

1、代码总体流程

（1）下载所需要的库文件

<code>!pip install simple-aesthetics-predictor

!pip install -v -e data-juicer

!pip uninstall pytorch-lightning -y

!pip install peft lightning pandas torchvision

!pip install -e DiffSynth-Studio

（2）下载数据集

from modelscope.msdatasets import MsDataset

ds = MsDataset.load(

'AI-ModelScope/lowres_anime',

subset_name='default',code>

split='train',code>

cache_dir="/mnt/workspace/kolors/data"code>

)

（3）处理元数据保存为图片

import json, os

from data_juicer.utils.mm_utils import SpecialTokens

from tqdm import tqdm

os.makedirs("./data/lora_dataset/train", exist_ok=True)

os.makedirs("./data/data-juicer/input", exist_ok=True)

with open("./data/data-juicer/input/metadata.jsonl", "w") as f:

for data_id, data in enumerate(tqdm(ds)):

image = data["image"].convert("RGB")

image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg")

metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]}

f.write(json.dumps(metadata))

f.write("\n")

（4）数据预处理和保存

data_juicer_config = """

# global parameters

project_name: 'data-process'

dataset_path: './data/data-juicer/input/metadata.jsonl' # path to your dataset directory or file

np: 4 # number of subprocess to process your dataset

text_keys: 'text'

image_key: 'image'

image_special_token: '<__dj__image>'

export_path: './data/data-juicer/output/result.jsonl'

# process schedule

# a list of several process operators with their arguments

process:

- image_shape_filter:

min_width: 1024

min_height: 1024

any_or_all: any

- image_aspect_ratio_filter:

min_ratio: 0.5

max_ratio: 2.0

any_or_all: any

"""

with open("data/data-juicer/data_juicer_config.yaml", "w") as file:

file.write(data_juicer_config.strip())

!dj-process --config data/data-juicer/data_juicer_config.yaml

可以看到，数据预包含文本关键字和图像关键字，分别对应了训练输入和标签输出。

保存处理好的数据

import pandas as pd

import os, json

from PIL import Image

from tqdm import tqdm

texts, file_names = [], []

os.makedirs("./data/lora_dataset_processed/train", exist_ok=True)

with open("./data/data-juicer/output/result.jsonl", "r") as file:

for data_id, data in enumerate(tqdm(file.readlines())):

data = json.loads(data)

text = data["text"]

texts.append(text)

image = Image.open(data["image"][0])

image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg"

image.save(image_path)

file_names.append(f"{data_id}.jpg")

data_frame = pd.DataFrame()

data_frame["file_name"] = file_names

data_frame["text"] = texts

data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig")code>

data_frame

（5）下载模型

from diffsynth import download_models

download_models(["Kolors", "SDXL-vae-fp16-fix"])

（6）查看可设置的参数

!python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py -h

（7）训练模型

import os

cmd = """

python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \

--pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \

--pretrained_text_encoder_path models/kolors/Kolors/text_encoder \

--pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \

--lora_rank 16 \

--lora_alpha 4.0 \

--dataset_path data/lora_dataset_processed \

--output_path ./models \

--max_epochs 1 \

--center_crop \

--use_gradient_checkpointing \

--precision "16-mixed"

""".strip()

os.system(cmd)

（8）生成图像

torch.manual_seed(0)

image = pipe(

prompt="二次元，一个黄色短发小女孩，在家中沙发上坐着，双手托着腮，很无聊，全身，蓝色连衣裙",code>

negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",code>

cfg_scale=4,

num_inference_steps=50, height=1024, width=1024,

)

image.save("1.jpg")

在这里我们可以设置提示词Prompt和屏蔽词negative_prompt.

五、Baseline生成的图像