ControlNetPlus:是时候更新你的AI工具箱了,一站式图像生成与编辑组件,ComfyUI最全使用指南

AIGC安琪 2024-07-31 14:31:01 阅读 64

大家好我是安琪!!!

随着AI技术的飞速发展,图像生成与编辑工具已经成为艺术创作和设计领域的重要工具。ControlNetPlus作为一款一站式的图像生成与编辑组件,凭借其强大的功能和便捷的操作,深受广大艺术爱好者和专业人士的青睐。本文将带你深入了解ControlNetPlus的使用方法,助你轻松掌握这款工具,让你的创作更上一层楼。

ControlNetPlus是一款基于深度学习的图像生成与编辑工具,它能够在没有任何人类指导的情况下生成高质量、逼真的图像。与传统的图像生成技术相比,ControlNetPlus具有更高的生成质量和更快的生成速度。

在这里插入图片描述

ControlNetPlus简介

最新xinsir团队发布了一款名为controlnet-union-sdxl-1.0框架,这是一套全新的ControlNet架构,一款专为图像生成和编辑设计的控制模型支持10余种ControlNet控制类型一体(本次发布ControlNetPlus集齐更多的CN功能一体化方案),在条件文本到图像生成中表现出色,并且能够生成视觉上与Midjourney相媲美的高分辨率图像。

ControlNet++采用设计了一种新架构:在基于原始ControlNet架构基础上,提出了两个新模块:

• 扩展原始ControlNet,使用相同的网络参数支持不同的图像条件。

• 在不增加计算负担的情况下,支持多种条件输入。这对于需要详细编辑图像的设计师来说尤其重要,不同的条件使用相同的条件编码器,无需添加额外的计算或参数。

研发团队通过在SDXL上进行了广泛的实验评估,展示了ControlNet++在控制能力和审美评分上都取得了优越的性能。

• Github代码库:https://github.com/xinsir6/ControlNetPlus/tree/main

• 模型下载地址:https://huggingface.co/xinsir/controlnet-union-sdxl-1.0

官方视觉演示案例

Openpose

深度 (Depth)

Canny

线稿 (Lineart)

动漫线稿 (AnimeLineart)

MLSD

涂鸦 (Scribble)

HED

Pidi(Softedge)

Teed

分割 (Segment)

法线 (Normal)

更多演示案例,请参见官方主页:https://huggingface.co/xinsir/controlnet-union-sdxl-1.0 。

ControlNetPlus使用指南

就在昨天ComfyUI的最新提交版本已经支持 ControlNet++ 的运行。因此,首先请确保更新ComfyUI到最新版本,并在插件管理器中搜索comfyui-art-venture并安装插件。最后加载文末工作流文件,即可开始体验。涉及下载模型如下:

controlnet-union-sdxl-1.0:下载对应模型并放置在 /ComfyUI/models/controlnet/ 目录下。建议将diffusion_pytorch_model.safetensors 重命名为controlnet-union-sdxl-1.0.safetensors,便于后续管理。

(需要的小伙伴文末可自行扫描获取)

工作流界面

ControlNetPlus体验

在本文中涉及的基础模型和模型配置如下:

• 绘图模型:Dream Tech XL | 筑梦工业XL

• 采样方法:DPM++ 2M Karras

• 迭代步数:30步

• 提示词引导系数 (CFG Scale):7

本文涉及模型下载地址:

Dream Tech XL | 筑梦工业XL

(需要的小伙伴文末可自行扫描获取)

通用负向提示词

NSFW,(nsfw:1.3),render,childlike,text,signature,(worst quality, low quality, very displeasing, lowres),(interlocked fingers, badly drawn hands and fingers, anatomically incorrect hands),blurry,watermark,

01:(姿势)Openpose

1girl,chinese girl, solo,black hair,look at viewer,anteversion, dress, red dress,red lips, long hair, looking at viewer, makeup, realistic, solo,simple background, indoor,

输出图像

02:深度 (Depth)

1girl,chinese girl, solo,black hair,look at viewer,anteversion, dress, red dress,red lips, long hair, looking at viewer, makeup, realistic, solo,simple background, indoor,

输出图像

03:硬边缘(Canny)

关于Canny的更多信息参考之前文章:SD必备知识系列11:CN Canny边缘检测增强图像生成控制力,适用图像还原&着色&风格化多元化场景。

big eyes,dress,blue eye,white hair,red lipstick,clean face,soft sunshine,side view close-up shot of a beautiful woman holding a kitsune mask in her hands,half covering her face,open eyes,1girl,Mask,(mask:1.3),reality,best quality,high definition,

输出图像

04:MLSD

Oriental architectural design,townhouses,80’s houses,lawns

输出图像

05:涂鸦 (Scribble)

1girl,simple background,Turn your back on the audience, half backless, hand covering,shadow killer, dress, simple background, pink background

输出图像

ControlNet++是一套一站式全套的ControlNet功能集,不仅上面展示了这些功能集,还包含更多的功能。这需要读者去更多的尝试。欢迎大家讲体验结果反馈文末留言。

资料软件免费放送

次日同一发放请耐心等待

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

需要的可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

在这里插入图片描述

在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

在这里插入图片描述

这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。