简介

从零入门AI生图原理&实践，是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“AIGC”方向），基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习

适用人群：

想入门并实践 AIGC文生图、工作流搭建、LoRA微调的学习者

内容概述：

  前期偏理论，后期简单介绍应用

赛题解读

关于可图Kolors-LoRA风格故事挑战赛

   要求：

在可图Kolors 模型的基础上训练LoRA 模型，生成 8 张图片组成连贯故事，故事内容可自定义。

   初赛截至：-2024年8月31日23:59

文生图历史

文生图是什么？

   文生图（Text-to-Image Generation）是一种通过文本生成图像的技术，其发展历程可以追溯到早期的计算机视觉和自然语言处理研究。

发展历程

    早期探索（20世纪60年代-20世纪90年代）：

       1. 主要依赖于规则和模板匹配，将文本转换为简单的图形。

2.生成的图像质量较低，应用场景也非常有限。

    基于统计模型的方法（2000年代）：

        1．利用概率图模型和统计语言模型来生成图像。

        2.  多样性和质量上有了一定提升，但较为粗糙，不够逼真。

    深度学习的崛起（2010年代）：

        卷积神经网络（CNN）和生成对抗网络（GAN）快速发展

 大规模预训练模型（2020年代）：

大规模的文本和图像配对数据训练，文本和图像高度一致提升图像的创意和细节表现能力，通过简单的文本描述生成高质量、复杂图像成为可能。

文生图基础知识介绍

运行原理：

提示词

   写法：

       主体描述，细节描述，修饰词，艺术风格，艺术家

Lora

  一类通过特定微调技术应用于基础模型的扩展应用。

   用途：

      针对性优化预训练好的大模型，以实现对特定主题、风格或任务的精细化控制。

ComfyUI

  用途：

简化和优化 AI 模型的配置和训练过程。用户可以基于节点/流程图的界面设计并执行AIGC文生图或者文生视频的pipeline。

参考图控制

    ControlNet是一种用于精确控制图像生成过程的技术组件。

        用途：

引入额外的控制信号，使得用户能够更具体地指导图像生成的各个方面（如姿势关键点、分割图、深度图、颜色等）。

        控制类型：

        OpenPose姿势控制

        Canny精准绘制：用于线稿图

        Hed绘制：获取渐变线条的线稿图

        深度图Midas：更有层次

        颜色color控制：实现更加精准和个性化的图像生成效果。

小白零基础 30 分钟 速通指南

从跑通最简的Baseline，到了解竞赛通用流程、深入各个竞赛环节，精读Baseline与进阶实践，这些一个都不会少！

Step0：开通阿里云PAI-DSW试用

链接：阿里云免费试用 - 阿里云

- 在魔搭社区进行授权：

  链接：魔搭社区

Step1：报名赛事！

     赛事链接：可图Kolors-LoRA风格故事挑战赛_创新应用大赛_天池大赛-阿里云天池的赛制

Step2：在魔搭社区创建PAI实例！

     链接：魔搭社区

Step3：30 分钟体验一站式 baseline！

1.下载baseline文件（大约需要2分钟）

2.进入文件夹，打开baseline文件

3.安装环境，然后重启kernel：

安装 Data-Juicer 和 DiffSynth-Studio

Data-Juicer：数据处理和转换工具，旨在简化数据的提取、转换和加载过程

DiffSynth-Studio：高效微调训练大模型工具

4.调整prompt，设置你想要的图片风格，依次修改8张图片的描述（可选）

  正向描述词：你想要生成的图片应该包含的内容

反向提示词：你不希望生成的图片的内容

 5.依次顺序运行剩余的代码块，点击代码框左上角执行按钮，最终获得图片（大约需要20分钟）

Step4：微调结果上传魔搭（点击即可跳转）

移动结果文件

下载结果文件：     双击进入output文件夹，分别下载两个文件到本地

创建并上传模型所需内容：    点击魔搭链接，创建模型

来到创空间，查看自己的模型是否发布

Step5：关闭PAI实例

      运行完成后，别忘了回到魔搭，【关闭】实例，否则会一直消耗你的试用额度！

每小时消耗大概7个试用额度！（总共5000个，有效期三个月）