AI绘画SD中，如何保持生成人物角色脸部一致？Stable Diffusion精准控制AI人像一致性两种实用方法教程！

程序员晓晓 2024-10-09 15:01:02 阅读 84

大家好，程序员晓晓

在AI绘画StableDiffusion中，一直都有一个比较困难的问题，就是如何保证每次出图都是同一个人。今天就这个问题分享一些个人实践，大家和我一起来看看吧。

一. 有哪些实现方式

方式1：固定Seed种子值。

固定Seed种子值出来的图片人物确实可以做到一致，但Seed种子值是相对整个画面的，导致这种方式生成的新图片效果差别太小，可能除了人物的脸保存了一致，人物的姿势也保持了一致，甚至画面的背景也保持了一致，出来的图片太过单调。

此时我们虽然可以通过ContolNet来控制人物的姿势，但是效果并不可控。

方式2：使用Reactor换脸插件

Reactor插件是我们常见的换脸插件，将生成的图片中人物都使用一张人脸图片去替换，可以很好地做到图片中人脸一致。Reactor换脸操作可以看看我的往期入门教程：最新SD换脸工具ReActor（附插件），比Roop更强的存在！一键换脸！流畅丝滑！

方式3：直接利用已有的人物LORA模型

直接使用C站提供的LORA模型，我们也可以生成人脸基本一致的图片。这里的基本一致，不能百分百一致。因为每个人物Lora的训练数据集不一定很全面，主要包括数量、质量、角度等因素不同，出的图很难保证人脸完全一致。

方式4：使用ControlNet预处理Reference only

下面我们重点看一下方式3和方式4，尤其是方式4，是目前实现人脸一致效果的最好方式，不仅适用于人，而且还适用于动物和二次元形象。

教程实操演示

1、LORA模型实现人脸一致的效果

在本期教程开始之前，我们需要安装好AI绘画工具StableDiffusion，如果你还没有使用过这款目前世上最强大的AI绘画工具，那么可以看看我的往期入门安装教程：AI绘画 Stable Diffusion【SD入门】：如何体验AI绘画工具Stable Diffusion，附SD安装教程和三种体验方式！

本期教程中所使用到的AI绘画大模型、Lora模型、插件等可以看下方或文末扫描免费获取哦

我们先通过一个实例看看如何通过LORA实现人脸一致效果。

大模型：majicmixRealistic_v6.safetensors

正向提示词：a beautiful girl, very delicate features, very detailed eyes and mouth, long hair, delicate skin, big eyes,red sweater, necklace,standing in the classroom, upper body photos,best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper,lora:cuteGirlMix4\_v10:1

反向提示词：(worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), ((grayscale)), bad anatomy,DeepNegative, skin spots, acnes, skin blemishes,(fat:1.2),facing away, looking away,tilted head, lowres,bad anatomy,bad hands, missing fingers,extra digit, fewer digits,bad feet,poorly drawn hands,poorly drawn face,mutation,deformed,extra fingers,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,polar lowres,bad body,bad proportions,gross proportions,missing arms,missing legs,extra digit, extra arms, extra leg, extra foot,teethcroppe,signature, watermark, username,blurry,cropped,jpeg artifacts,text,error

这里我们选择LORA模型cuteGirlMix4 （模型下载请看文末扫描免费获取哦），权重设置为1

在这里插入图片描述

生成效果：

在这里插入图片描述

是不是感觉还不错？好像是比较相似，那接下来我把LORA模型 cuteGirlMix4的权重调整到0.6，我们再看一下效果。

在这里插入图片描述

4张美女的脸差别有些明显了。

关于LORA模型cuteGirlMix4，官网推荐搭配的模型是Chilloutmix。它的训练集来自国外抖音(tiktok)网红，而不是任何特定的真人，权重建议值是0.4-0.7。我们看到当权重设置为1时，人物的效果还是比较好。

可见，将LORA模型cuteGirlMix4的权重设置为1，可以实现最简单的人脸一致。

2、使用ControlNet预处理Reference only实现人脸一致

使用Reference Only时，需要安装好ControlNet插件，如果你还没有安装过，那么可以看下方扫描免费获取ControlNet插件安装包，包含内置的各种组件和模型文件！

Reference only是去年5月份ControlNet重大更新中推出的新功能。它不需要任何控制模型即可实现直接使用一张图片作为参考来引导扩散。

我们来使用看一下效果。

大模型：majicmixRealistic_v6.safetensors

正向提示词：a beautiful girl, very delicate features, very detailed eyes and mouth, long hair, delicate skin, big eyes,red sweater, necklace,standing in the classroom, upper body photos,best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper, lora:cuteGirlMix4\_v10:0.6

采样器：DPM++ SDE Karras

采样迭代步数：28

我们先直接生成一张图片，效果如下：

在这里插入图片描述

我们使用这张图作为底图，使用ControlNet的预处理

在这里插入图片描述

我们修改一下正向提示词：将背景换为海边，衣服换为皮夹克。

a beautiful girl, very delicate features, very detailed eyes and mouth, long hair, delicate skin, big eyes,leather jacket, necklace, standing by the sea, upper body photos,best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper,

生成图片的效果如下：

在这里插入图片描述

我们修改一下大模型，改变一下画面风格，例如换成anything-v4.5-pruned-fp16.ckpt，提示词和参数设置都保持不变。我们看一下生成图片的效果。

在这里插入图片描述

我们再看一个实例：一只奔跑的狗

大模型：majicmixRealistic_v6.safetensors

正向提示词：best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper,a running dog

采样器：DPM++ SDE Karras

采样迭代步数：28

生成的图片效果如下：

在这里插入图片描述

我们使用这张图作为底图，使用ControlNet的预处理。

在这里插入图片描述

重新生成效果如下：

在这里插入图片描述

通过上面的实例，可以看到通过使用ControlNet的预处理reference-only实现人物（动物）的一致效果还是相当不错的。然后我们再通过背景的改变，实现同一个人物在不同场景下的图片效果了。

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述