AI 绘画Stable Diffusion 研究（十五）SD Embedding详解

CSDN 2024-06-23 09:01:02 阅读 90

大家好，我是风雨无阻。

本期内容：

Embedding是什么？Embedding有什么作用？Embedding如何下载安装？如何使用Embedding？

大家还记得 AI 绘画Stable Diffusion 研究（七）一文读懂 Stable Diffusion 工作原理这篇文章中，曾提到过词嵌入（Embedding）吗？

我们来简单回顾一下：Embedding 将输入的tokens转换为一个连续的向量，然后stable diffusion再将 Embedding 向量通过text transformer转换后，作为模型输入，进行训练。

那在上一篇中只是简单提到了Embedding，对于我们实际使用stable diffusion过程中，可能很多朋友对Embedding的概念还不是很清楚。今天我们就来详细介绍一下Embedding，它到底是干嘛的？有什么作用？以及应该怎么安装和使用Embedding ？

一、Embedding 的介绍

1、Embedding是什么？

Embedding 又名 textual inversion 中文名：“嵌入或文本反转”。

在计算机科学中，Embedding是将高维数据映射到低维空间的过程。

在图像处理中，Embedding通常用于将图像转换为向量表示，以便进行机器学习和深度学习任务。

在使用stable diffusion进行绘画时，Embedding可以用于将输入的图像转换为向量表示，以便于算法对其进行处理和生成新的图像。这种技术可以使算法更加高效地处理图像数据，并提高生成图像的质量和准确性。

2、Embedding有什么作用？

通俗来讲，Embedding 的作用就是对提示词进行打包。

如果你有做 UI 的经验，那么应该知道组件的概念。

在 Stable Diffusion 中，Embedding 技术就可以被理解为一种组件，它可以将输入数据转换成向量表示，方便模型进行处理和生成。

在日常使用中，Embedding 技术通常用于控制人物的动作和特征，或者生成特定的画风。

我们来举例，思考一个问题：

如果我们直接使用原版本的stable diffusion 文生图功能，不使用stable diffusion 任何插件，我们应该怎么来生成如下的图片呢？

在这里插入图片描述

想必大家首先想到的是，写一大堆的提示词来进行控制生成，类似例如：

masterpiece, high-quality,1girl,clothes with Pink pattern,(brown hair), pinkearphones, green pattern on the earphones, blue tights, white gloves, ((pinkpattern on the clothes)), cat pattern on the face, detailed eyes, (pink theme), rabbitdecoration on the chest, green word pattern, sewing line on the clothes, long hair.thin girl, delicate face, beautiful face, melon face, skin full of details, pinkbackground, white gloves, thin neck, Sexy figure, (brown eyes:1.2), smile, wearingwhite shoes, green patterns, blushing,.....以下省略N个tag

但是，如果我们引入Embedding 后，只需要如下的提示词就可以生成上面的图：

masterpiece, high-quality,corneo dva

通过上面的问题，相信大家已经对 Embedding 的作用有所理解了吧。

3、Embedding 的特点

相比于其他模型来说（如 LORA），Embedding 文件的大小只有几十 KB。

除了还原度对比 LORA 差一些外，在存储和使用上却更方便。

总而言之：

Embedding 技术将输入数据转换为向量表示，为模型的处理和生成提供了便利。

通过使用 Embedding，我们可以更加轻松地生成符合预期的样本，而不需要手动输入大量的描述词汇。

二、Embedding下载和安装

既然Embedding 这么便利，我们一定得好好用起来，那么在哪里可以下载呢？

主要还是在c站下载。