1. 准备

赛事报名链接可图Kolors-LoRA风格故事挑战赛_创新应用大赛_天池大赛-阿里云天池的赛制

开通阿里云PAI-DSW试用阿里云免费试用 - 阿里云

​

在魔搭社区进行授权,阿里云账户里，资金不能为负

创建实例：

​

如果阿里云DSW资源用完，可以尝试如下步骤：

2. 跑文生图代码

新建终端，运行如下命令

git lfs install

git clone https://www.modelscope.cn/datasets/maochase/kolors.git

进入kolors文件夹，打开baseline.ipynb文件，安装环境

依次运行后，到下图步骤：

在这里，请修改prompt的值，写出自己的故事，每个prompt都要修改，静静等待全部运行结束

3.保存模型文件

左上角file中new->terminal，新建一个terminal，输入如下命令：

mkdir /mnt/workspace/kolors/output & cd

cp /mnt/workspace/kolors/models/lightning_logs/version_0/checkpoints/epoch\=0-step\=500.ckpt /mnt/workspace/kolors/output/

cp /mnt/workspace/kolors/1.jpg /mnt/workspace/kolors/output/

执行后，进入output文件夹，下载里面的两个文件。

4.提交

魔搭社区

点击链接，创建模型

这里的队伍名称为天池赛事中，你的队伍名称,后面的xxxxx随便写

中文名称建议格式：队伍名称-可图Kolors训练-xxxxxx

6.详细代码

环境安装

!pip install simple-aesthetics-predictor

​

!pip install -v -e data-juicer

​

!pip uninstall pytorch-lightning -y

!pip install peft lightning pandas torchvision

​

!pip install -e DiffSynth-Studio

下载数据集

#下载数据集

from modelscope.msdatasets import MsDataset

​

ds = MsDataset.load(

   'AI-ModelScope/lowres_anime',

   subset_name='default',

   split='train',

   cache_dir="/mnt/workspace/kolors/data"

)

​

import json, os

from data_juicer.utils.mm_utils import SpecialTokens

from tqdm import tqdm

​

os.makedirs("./data/lora_dataset/train", exist_ok=True)

os.makedirs("./data/data-juicer/input", exist_ok=True)

with open("./data/data-juicer/input/metadata.jsonl", "w") as f:

   for data_id, data in enumerate(tqdm(ds)):

       image = data["image"].convert("RGB")

       image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg")

       metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]}

       f.write(json.dumps(metadata))

       f.write("\n")

这一行代码从<code>modelscope库中导入了MsDataset类，这个类用于加载和处理ModelScope平台上的数据集。然后使用MsDataset.load方法来加载名为’lowres_anime’的数据集，指定了数据集的子集为’default’，数据集的分割为’train’（即训练集），并且设置缓存目录为/mnt/workspace/kolors/data。

这里导入了几个Python标准库和其他第三方库：

json：用于读写JSON数据。

os：提供了许多与操作系统交互的函数。

SpecialTokens：可能是自定义的工具类，但在这里没有直接使用。

tqdm：提供一个快速、扩展性强的进度条。

with open这段代码做了以下几件事情：

打开（或创建）一个文件metadata.jsonl用于写入元数据。

遍历数据集ds中的每个条目，使用tqdm显示进度条。

对于每个条目，取出其中的图像，将其转换为RGB格式，并保存到指定的路径。

创建一个包含图像路径和描述性文本的元数据字典。

将元数据字典转换为JSON字符串，并写入到metadata.jsonl文件中，每个元数据占一行。

处理数据集，保存数据处理结果

data_juicer_config = """

# global parameters

project_name: 'data-process'

dataset_path: './data/data-juicer/input/metadata.jsonl' # path to your dataset directory or file

np: 4 # number of subprocess to process your dataset

​

text_keys: 'text'

image_key: 'image'

image_special_token: '<__dj__image>'

​

export_path: './data/data-juicer/output/result.jsonl'

​

# process schedule

# a list of several process operators with their arguments

process:

  - image_shape_filter:

      min_width: 1024

      min_height: 1024

      any_or_all: any

  - image_aspect_ratio_filter:

      min_ratio: 0.5

      max_ratio: 2.0

      any_or_all: any

"""

with open("data/data-juicer/data_juicer_config.yaml", "w") as file:

   file.write(data_juicer_config.strip())

​

!dj-process --config data/data-juicer/data_juicer_config.yaml

​

​

import pandas as pd

import os, json

from PIL import Image

from tqdm import tqdm

​

​

texts, file_names = [], []

os.makedirs("./data/lora_dataset_processed/train", exist_ok=True)

with open("./data/data-juicer/output/result.jsonl", "r") as file:

   for data_id, data in enumerate(tqdm(file.readlines())):

       data = json.loads(data)

       text = data["text"]

       texts.append(text)

       image = Image.open(data["image"][0])

       image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg"

       image.save(image_path)

       file_names.append(f"{data_id}.jpg")

data_frame = pd.DataFrame()

data_frame["file_name"] = file_names

data_frame["text"] = texts

data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig")

data_frame

代码定义了一个YAML格式的配置字符串，用于配置一个名为<code>data_juicer的数据处理工具。配置包括：

project_name：项目名称。

dataset_path：数据集的路径。

np：用于处理数据集的子进程数量。

text_keys：数据中包含文本的键名。

image_key：数据中包含图像的键名。

image_special_token：图像的特殊标记。

export_path：处理后的数据导出路径。

process：一个处理步骤列表，包括图像尺寸过滤和图像宽高比过滤。

lora微调

# 下载模型

from diffsynth import download_models

download_models(["Kolors", "SDXL-vae-fp16-fix"])

​

#模型训练

import os

​

cmd = """

python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \

--pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \

--pretrained_text_encoder_path models/kolors/Kolors/text_encoder \

--pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \

--lora_rank 16 \

--lora_alpha 4.0 \

--dataset_path data/lora_dataset_processed \

--output_path ./models \

--max_epochs 1 \

--center_crop \

--use_gradient_checkpointing \

--precision "16-mixed"

""".strip()

​

os.system(cmd)

加载微调好的模型

from diffsynth import ModelManager, SDXLImagePipeline

from peft import LoraConfig, inject_adapter_in_model

import torch

​

​

def load_lora(model, lora_rank, lora_alpha, lora_path):

   lora_config = LoraConfig(

       r=lora_rank,

       lora_alpha=lora_alpha,

       init_lora_weights="gaussian",

       target_modules=["to_q", "to_k", "to_v", "to_out"],

  )

   model = inject_adapter_in_model(lora_config, model)

   state_dict = torch.load(lora_path, map_location="cpu")

   model.load_state_dict(state_dict, strict=False)

   return model

​

​

# Load models

model_manager = ModelManager(torch_dtype=torch.float16, device="cuda",

                            file_path_list=[

                                "models/kolors/Kolors/text_encoder",

                                "models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors",

                                "models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors"

                            ])

pipe = SDXLImagePipeline.from_model_manager(model_manager)

​

# Load LoRA

pipe.unet = load_lora(

   pipe.unet,

   lora_rank=16, # This parameter should be consistent with that in your training script.

   lora_alpha=2.0, # lora_alpha can control the weight of LoRA.

   lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt"

)

代码创建了一个<code>ModelManager实例，用于管理模型的加载。以下是传递给ModelManager的参数：

torch_dtype=torch.float16：指定模型使用的浮点精度为16位浮点数。

device="cuda"code>：指定模型加载到GPU上，使用CUDA作为设备。

file_path_list：这是一个包含模型文件路径的列表，用于加载不同的模型组件，如文本编码器、U-Net网络和VAE（变分自编码器）。

pipe = SDXLImagePipeline.from_model_manager(model_manager)这行代码使用ModelManager实例来创建一个SDXLImagePipeline实例。这个管道对象可能用于处理图像，例如图像生成、转换或其他复杂的图像处理任务。

pipe.unet = load_lora(

   pipe.unet,

   lora_rank=16,

   lora_alpha=2.0,

   lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt"

)

这段代码使用<code>load_lora函数来加载LoRA（Low-Rank Adaptation）模型，这是一个用于模型微调的技术，可以在不改变原始模型参数的情况下，添加额外的参数来调整模型的行为。以下是传递给load_lora的参数：

pipe.unet：这是之前创建的管道对象中的U-Net模型组件。

lora_rank=16：指定LoRA模型的秩，这决定了LoRA模型的复杂度。

lora_alpha=2.0：这是LoRA的alpha参数，用于控制LoRA调整的权重。

lora_path：这是LoRA模型的路径，指定了要加载的LoRA模型的文件位置。

图片生成

        torch.manual_seed(0)

image = pipe(

    prompt="二次元，一个紫色短发小女孩，在家中沙发上坐着，双手托着腮，很无聊，全身，粉色连衣裙",

    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",

    cfg_scale=4,

    num_inference_steps=50, height=1024, width=1024,

)

image.save("1.jpg")