2.2.1、各种常用模型

初步安装完成后，打开webui，可以看到左上角自带的模型。如下图示：

模型的分类大概有如下几种：

CheckPoint

Checkpoint 是 Stable Diffusion 中最重要的模型，也是主模型，几乎所有的操作都要依托于主模型进行。所有的主模型都是基于 Stable Diffusion 模型训练而来.

主模型后缀一般为 .ckpt 或者 .safetensors，并且体积比较庞大，一般在 2G - 7G 之间。放置在 webUI 目录下的 `models/Stable-diffusion` 目录下。LoRA/LyCORIS

LoRA 是除了主模型外最常用的模型。LoRA 和 LyCORIS 都属于微调模型，一般用于控制画风、控制生成的角色、控制角色的姿势等等。

LoRA 和 LyCORIS 的后缀均为 .safetensors，体积较主模型要小得多，一般在 4M - 300M 之间。一般使用 LoRA 模型较多，而 LyCORIS 与 LoRA 相比可调节范围更大，但是需要额外的扩展才可使用。放置在 `models/LoRA` 目录下。Textual Inversion

Textual Inversion 是文本编码器模型，用于改变文字向量。可以将其理解为一组 Prompt。

Textual Inversion 后缀为 .pt 或者 .safetensors，体积非常小，一般只有几 kb。放置在 `embeddings` 目录下。Hypernetworks

Hypernetworks 模型用于调整模型神经网络权重，进行风格的微调。

Hypernetworks 的后缀为 .pt 或者 .safetensors，体积一般在 20M - 200M 之间。放置在 `models/hypernetworks` 目录下。ControlNet

ControlNet 是一个及其强大的控制模型，它可以做到画面控制、动作控制、色深控制、色彩控制等等。使用时需要安装相应的扩展才可。

ControlNet 类模型的后缀为 .safetensors。放置在 `models/ControlNet` 目录下。

使用时我们需要先去 Extensions 页面搜索 ControlNet 扩展，然后 Install 并 Reload UI。然后便可以在 txt2img 和 img2img 菜单下找到。VAE

VAE全称是变分自动编码器 (Variational Auto-Encoder)，是机器学习中的一种人工神经网络结构。VAE在sd模型中负责微调，类似我们熟知的滤镜，调整生成图片的饱和度。

默认的sd-webui页面并没有VAE的设置，需要进入：Settings->User interface->Quick settings list，在输入框中添加sd_vae。然后依次点击Apply settings和Reload UI。随后就会在webui中看到对应区域。

下载好上述模型之后，可以在页面上直接通过标签进入选中，可以直接prompt使用：

2.3、问题

2.3.1、stable diffusion 安装tagger之后报错Attempt to free invalid pointer

报错信息：

3.1、使用示例

示例1： 提前下载Checkpoint模型：‘CheckpointLigneClair_120’

可以到p站上下载：civitai.com/

masterpiece,1girl,solo,incredibly absurdres,hoodie,headphones, street,outdoors,rain,neon lights, light smile, hood up, hands in pockets, looking away, from side,asymmetrical bangs, beautiful detailed eyes, eye shadow, huge clocks, glass strips, floating glass fragments, colorful refraction, beautiful detailed sky, dark intense shadows, cinematic lighting, overexposure, expressionless, blank stare, big top sleeves, frills, hair ornament, ribbon, bowtie, buttons, small breasts, pleated skirt, sharp focus, masterpiece, best quality, extremely detailed, colorful, hdr

Sampler: DPM++ 2M Karras

Negative prompt: EasyNegative

CFG scale: 7

Steps: 20

效果如下：

3.2、Controlnet

3.2.1、Controlnet部署使用

1、插件安装：Extension->Install from URL->输入：jihulab.com/hanamizuki/… ->点击Install->安装完毕后，重启ui，可以看到controlnet：

2、controlnet模型安装

进入如下网址：huggingface.co/lllyasviel/… 下载所有pth文件，然后放置到：~/stable-diffusion-webui/extensions/sd-webui-controlnet/models 路径下（yaml文件已有，如果没有可以在url中重新下载）

3.2.2、Controlnet常见模型

汇总如下：

3.2.3、Canny

Canny用于识别输入图像的边缘信息。分成两个部分，canny预处理器和canny模型：

首先canny预处理器从上传的图片中生成线稿；然后canny模型根据关键词来生成与上传图片相同构图的画面。

（1）线稿生图

步骤如下：

首先将controlnet插件的enable打开

->如果显存不足(小于4G)，还可以将Low VRAM打开

->如果是白底黑线的线稿，Preprocessor选择invert，如果是黑底白线的线稿，Preprocessor选择none

->Model选择canny

->Resize Mode选择Resize and Fill（不然比例会不对） 然后选择合适的sd model，输入prompt，我这里是： (masterpiece:1.2), (best quality), (ultra detailed), (8k, 4k, intricate), oil painting texture, 1girl, solo, black eyes, pink hair, lightly smile, upper body, blue shirts, simple background, lips, long hair, black hair 最后效果如下：

图上红框中选择的controlnet模型为control_v11p_sd15_canny,其含义如下：

（2）以图生图

一般用来给图换色，和第一步不同的是，将Preprocessor选择canny，其他可以保持不变：

3.2.4、Reference

Reference 是官方最新推出的预处理器，共有三种：Reference_only、Reference_adain和Reference_adain+atten。它只有yaml配置文件，没有pth模型文件，可以根据上传的图像生成类似的变体。

使用reference_only的预处理器和0.5的Style Fidelity：

选中Tagger标签，上传一张图片，点击interrogate image，即可生成图片的对应标签

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

​

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

​