Datawhale官方的Task2链接：http://hhttps://datawhaler.feishu.cn/wiki/KxI2wIeAJiRQWhkRt9dcqlNVnFR

往期Task1链接：https://mp.csdn.net/mp_blog/creation/editor/141103197

目录

前沿背景了解

重要性

回顾一下AI生图的历史

AI生图的难点和挑战

通过魔搭社区持续探索AI生图前沿

用AI工具分析代码

使用的AI工具介绍

分析代码的主体架构

提示词：

返回的结果：

逐行解释代码

提示词：

返回的结果：

代码还有疑问

提示词：

实战演练一一基于话剧的连环画制作

数据准备

提示词

执行Task1的30分钟速通Baseline

提示词修改

结果显示：

更多的选择一一浅尝scepter webui

浅尝功能

私有部署

前沿背景了解

重要性

        AIGC(AI-Generated Content)是通过人工智能技术自动生成内容的生产方式，很早就有专家指出，AIGC将是未来人工智能的重点方向，也将改造相关行业和领域生产内容的方式。

​

对所有人来说，定期关注AI生图的最新能力情况都十分重要：

对于普通人来说，可以避免被常见的AI生图场景欺骗，偶尔也可以通过相关工具绘图

对于创作者来说，通过AI生图的工具可以提效，快速制作自己所需要的内容

对于技术人来说，了解AI生图的能力的玩法，可以更好地针对自己的业务进行开发和使用，甚至攻克难题开发更实用的工具

回顾一下AI生图的历史

早期阶段 (20世纪70年代)

AARON系统：艺术家哈罗德·科恩（Harold Cohen）发明了一个名为AARON的系统，该系统能够通过机械臂输出艺术作品。这是最早的尝试之一，利用计算机技术来创作视觉艺术。

深度学习时代的开端 (2012年)

吴恩达的“猫脸”模型：吴恩达领导的研究团队训练出了一个能够生成“猫脸”图像的深度学习模型。这个模型基于卷积神经网络（CNN），展示了深度学习模型有能力捕捉和生成复杂的图像特征。

图像生成的发展 (2015年)

谷歌的“深梦”(Deep Dream)：谷歌推出了一款名为“深梦”的图像生成工具，它能够对给定的图片应用复杂的视觉变换，产生出具有梦幻效果的新图像。这一工具基于已训练好的卷积神经网络，通过调整网络层的激活来生成新的视觉内容。

当代进展 (2021年)

OpenAI的DALL·E模型：2021年1月，OpenAI发布了一个名为DALL·E的模型，它是GPT-3语言处理模型的一个衍生版本。DALL·E能够根据文本提示生成各种风格的图像，这标志着AI生成图像技术的重大进步。DALL·E的出现表明了机器学习模型不仅能够理解和生成自然语言，还能够将其转化为视觉形式。

​

在当时，就已经被一些媒体评价为：“ 秒杀50%的设计行业打工人应该是没有问题的，而且是质量和速度双重意义上的“秒杀” ”。

相关知识点拓展：

1.恐怖谷效应：

AI生图在很长一段时间很难被人们所广泛接纳，一方面是生成的内容没有可用的生产场景，还有很大程度可能是由于“恐怖谷效应”

​

其核心观点是：随着仿真物(如机器人、玩偶等)模拟真实性程度的变化，人们对其亲和力也会产生变化，一般规律是亲和力随着仿真程度增高而增高，但当仿真程度达到一个临界点时，人的亲和反应会陡然跌入谷底，突然产生排斥、恐惧、困惑等负面心理。

2.Deepfake技术：

Deepfake是一种使用人工智能技术生成的伪造媒体，特别是视频和音频，它们看起来或听起来非常真实，但实际上是由计算机生成的。这种技术通常涉及到深度学习算法，特别是生成对抗网络（GANs），它们能够学习真实数据的特征，并生成新的、逼真的数据。

​

Deepfake技术虽然在多个领域展现出其创新潜力，但其滥用也带来了一系列严重的危害。在政治领域，Deepfake可能被用来制造假新闻或操纵舆论，影响选举结果和政治稳定。经济上，它可能破坏企业形象，引发市场恐慌，甚至操纵股市。法律体系也面临挑战，因为伪造的证据可能误导司法判断。此外，深度伪造技术还可能加剧身份盗窃的风险，成为恐怖分子的新工具，煽动暴力和社会动荡，威胁国家安全。

AI生图的难点和挑战

早期手部细节的挑战

手部结构复杂性：手部的形状和姿势变化多样，包含许多关节和手指的相互作用，这使得AI模型难以准确生成手部图像。早期的AI生图模型在生成包含手部的图像时经常会出现错误或不自然的表现。

解决方案探索

关键点标注：一种解决方案是通过对手部的关键点进行标注，帮助模型更好地理解手部结构，例如手掌、拇指和各手指的位置。这种标注有助于提高手部细节的准确性。

AI翻车案例

不一致性：AI生成的图像有时会出现逻辑上的不一致，比如身体部位的数量错误或者不符合解剖学规律的形状。

细节失真：AI可能会在细节处理上出现问题，例如衣物的纹理、物体表面的反射等。

风格不统一：AI生成的图像可能在整体风格上不一致，导致视觉上的不和谐。

AI生图的工作原理

学习与匹配：AI生图模型通过学习大量的图像数据及其描述，试图建立描述与图像特征之间的对应关系。当接收到文字描述时，模型会尝试复现这些特征以生成相应的图像。

有限性和偏差：由于训练数据集的局限性，模型可能无法覆盖所有可能的描述和特征组合，这可能导致生成的图像与预期有所偏差。

科研界的争议

理解世界的能力：尽管AI生图模型能够生成逼真的图像，但它们是否真正理解图像背后的含义仍然是一个开放性问题。这涉及到AI对世界的抽象理解和推理能力。

“AI味”问题：在很多情况下，人们可以轻易识别出AI生成的图像，这是因为这些图像通常具有一些特定的特征，如不自然的细节、不合逻辑的元素或不协调的风格。

辨别技巧

观察细节：仔细检查人物面部特征、特别是眼睛和嘴巴等细节。

分析光线和阴影：检查图片中的光源是否一致，阴影的方向是否与光源相符。

分析像素：放大图片，寻找是否有模糊或像素化的部分。

注意背景：检查背景中是否有不协调的元素，如不平滑的物体边缘或不自然的重复模式。

通过魔搭社区持续探索AI生图前沿

Kolors（可图）模型(点击即可跳转魔搭模型介绍页) 是快手开源的文本到图像生成模型，该模型具有对英语和汉语的深刻理解，并能够生成高质量、逼真的图像。

代码开源链接：https://github.com/Kwai-Kolors/Kolors

模型开源链接：https://modelscope.cn/models/Kwai-Kolors/Kolors

技术报告链接：https://github.com/Kwai-Kolors/Kolors/blob/master/imgs/Kolors_paper.pdf

魔搭研习社最佳实践说明：https://www.modelscope.cn/learn/575?pid=543

过去文生图主要以 SD 系列基础模型为主，仅支持英文的prompt，但可图是支持中文的文生图模型，文生图的prompt格式较为固定，魔搭社区还开源了专门的各种风格的可图优质咒语书(点击即可跳转)，可以针对600+种不同风格，完善prompt，生成各种风格图片，可以在我们的学习当中使用：

例如：

在某些设计的场景中，我们还希望AI能为我们将特定的文字生成在图片当中，但实际上，这种固定文字生成，往往难度较大，一是具体生成在哪些位置，往往需要人为设定，为了更方便地制作类似这样的海报还产生了PS等图片编辑工具，才能实现相应的效果，想要让AI稳定生成相似效果的图片可想而知难度之大。

像我们Task1中介绍的 创意海报生成 工具，早已在代码中固定了相应的文字位置和对应的字体，才能进行相应的生成，且大概率是进行了两个步骤——

一个步骤是AI生成背景，

另一个步骤是通过代码将对应的文字显示到对应位置，

然后渲染，合成图片，给到我们。

下面是我生成的内容

事实上，我们可以通过魔搭社区上感兴趣的工具，尝试思考——

可以用在哪些业务里？有哪些行业在使用？

用的是哪个 AI 模型？

是自己部署的AI模型，还是用的API？

使用到了哪些 AI 能力？

如果要复现，需要做哪些额外的设置和开发？

还可以有哪些优化点？

最方便的是，我们还可以直接点到空间文件，进行相关代码的查看甚至下载在 本地/云服务器 复现，以验证思考 & 学习相关的设计开发：

魔搭社区还有各种资料，可以供我们学习&探索AI生图的前沿：

用AI工具分析代码

使用的AI工具介绍

本次使用的AI工具为通义千问，它是具有信息查询、语言理解、文本创作等多能力的AI助手。（也可以自行选择其他的大语言模型使用，学习过程中不做限制）

作为一个AI助手，通义千问就是你专属的、可随时触达的、24小时随时待命的贴心助教，可以帮助你解决很多学习中遇到的问题。

关于代码阅读和理解，我们今天尝试让AI助手从两个角度帮助我们：

分析代码的主题架构；

逐行代码解析。

整理所有代码如下：

<code>!pip install simple-aesthetics-predictor

!pip install -v -e data-juicer

!pip uninstall pytorch-lightning -y

!pip install peft lightning pandas torchvision

!pip install -e DiffSynth-Studio

from modelscope.msdatasets import MsDataset

ds = MsDataset.load(

'AI-ModelScope/lowres_anime',

subset_name='default',code>

split='train',code>

cache_dir="/mnt/workspace/kolors/data"code>

)

import json, os

from data_juicer.utils.mm_utils import SpecialTokens

from tqdm import tqdm

os.makedirs("./data/lora_dataset/train", exist_ok=True)

os.makedirs("./data/data-juicer/input", exist_ok=True)

with open("./data/data-juicer/input/metadata.jsonl", "w") as f:

for data_id, data in enumerate(tqdm(ds)):

image = data["image"].convert("RGB")

image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg")

metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]}

f.write(json.dumps(metadata))

f.write("\n")

data_juicer_config = """

# global parameters

project_name: 'data-process'

dataset_path: './data/data-juicer/input/metadata.jsonl' # path to your dataset directory or file

np: 4 # number of subprocess to process your dataset

text_keys: 'text'

image_key: 'image'

image_special_token: '<__dj__image>'

export_path: './data/data-juicer/output/result.jsonl'

# process schedule

# a list of several process operators with their arguments

process:

- image_shape_filter:

min_width: 1024

min_height: 1024

any_or_all: any

- image_aspect_ratio_filter:

min_ratio: 0.5

max_ratio: 2.0

any_or_all: any

"""

with open("data/data-juicer/data_juicer_config.yaml", "w") as file:

file.write(data_juicer_config.strip())

!dj-process --config data/data-juicer/data_juicer_config.yaml

import pandas as pd

import os, json

from PIL import Image

from tqdm import tqdm

texts, file_names = [], []

os.makedirs("./data/data-juicer/output/images", exist_ok=True)

with open("./data/data-juicer/output/result.jsonl", "r") as f:

for line in tqdm(f):

metadata = json.loads(line)

texts.append(metadata["text"])

file_names.append(metadata["image"][0])

df = pd.DataFrame({"text": texts, "file_name": file_names})

df.to_csv("./data/data-juicer/output/result.csv", index=False)

df

from transformers import CLIPProcessor, CLIPModel

import torch

model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")

processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

images = [Image.open(img_path) for img_path in df["file_name"]]

inputs = processor(text=df["text"].tolist(), images=images, return_tensors="pt", padding=True)code>

outputs = model(**inputs)

logits_per_image = outputs.logits_per_image # this is the image-text similarity score

probs = logits_per_image.softmax(dim=1) # we can take the softmax to get the probabilities

probs

from torch.utils.data import Dataset, DataLoader

class CustomDataset(Dataset):

def __init__(self, df, processor):

self.texts = df["text"].tolist()

self.images = [Image.open(img_path) for img_path in df["file_name"]]

self.processor = processor

def __len__(self):

return len(self.texts)

def __getitem__(self, idx):

inputs = self.processor(text=self.texts[idx], images=self.images[idx], return_tensors="pt", padding=True)code>

return inputs

dataset = CustomDataset(df, processor)

dataloader = DataLoader(dataset, batch_size=8)

for batch in dataloader:

outputs = model(**batch)

logits_per_image = outputs.logits_per_image

probs = logits_per_image.softmax(dim=1)

print(probs)

import torch

from diffusers import StableDiffusionPipeline

torch.manual_seed(1)

pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v-1-4", torch_dtype=torch.float16)

pipe = pipe.to("cuda")

prompt = "二次元，一个紫色长发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌，手持话筒"

negative_prompt = "丑陋、变形、嘈杂、模糊、低对比度"

guidance_scale = 4

num_inference_steps = 50

image = pipe(

prompt=prompt,

negative_prompt=negative_prompt,

guidance_scale=guidance_scale,

num_inference_steps=num_inference_steps,

height=1024,

width=1024,

).images[0]

image.save("example_image.png")

image

from PIL import Image

torch.manual_seed(1)

image = pipe(

prompt="二次元，日系动漫，演唱会的观众席，人山人海，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，舞台上衣着华丽的歌星们在唱歌",code>

negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",code>

cfg_scale=4,

num_inference_steps=50, height=1024, width=1024,

)

image.save("1.jpg")

torch.manual_seed(1)

image = pipe(

prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，露出憧憬的神情",code>

negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，色情擦边",code>

cfg_scale=4,

num_inference_steps=50, height=1024, width=1024,

)

image.save("2.jpg")

torch.manual_seed(2)

image = pipe(

prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，露出憧憬的神情",code>

negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，色情擦边",code>

cfg_scale=4,

num_inference_steps=50, height=1024, width=1024,

)

image.save("3.jpg")

torch.manual_seed(5)

image = pipe(

prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙，对着流星许愿，闭着眼睛，十指交叉，侧面",code>

negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，扭曲的手指，多余的手指",code>

cfg_scale=4,

num_inference_steps=50, height=1024, width=1024,

)

image.save("4.jpg")

torch.manual_seed(0)

image = pipe(

prompt="二次元，一个紫色中等长度头发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌",code>

negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",code>

cfg_scale=4,

num_inference_steps=50, height=1024, width=1024,

)

image.save("5.jpg")

torch.manual_seed(1)

image = pipe(

prompt="二次元，一个紫色长发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌，手持话筒",code>

negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",code>

cfg_scale=4,

num_inference_steps=50, height=1024, width=1024,

)

image.save("6.jpg")

torch.manual_seed(7)

image = pipe(

prompt="二次元，紫色长发少女，穿着黑色连衣裙，试衣间，心情忐忑",code>

negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",code>

cfg_scale=4,

num_inference_steps=50, height=1024, width=1024,

)

image.save("7.jpg")

torch.manual_seed(0)

image = pipe(

prompt="二次元，紫色长发少女，穿着黑色礼服，连衣裙，在台上唱歌",code>

negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",code>

cfg_scale=4,

num_inference_steps=50, height=1024, width=1024,

)

image.save("8.jpg")

import numpy as np

from PIL import Image

images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)]

image = np.concatenate([

np.concatenate(images[0:2], axis=1),

np.concatenate(images[2:4], axis=1),

np.concatenate(images[4:6], axis=1),

np.concatenate(images[6:8], axis=1),

], axis=0)

image = Image.fromarray(image).resize((1024, 2048))

image

分析代码的主体架构