掌握AI创作神器:10分钟搞定ComfyUI和Flux大模型

Ai_绘画小南 2024-10-16 12:01:05 阅读 66

前言

最近大火的Flux 1.0模型,大家都去体验过没?

此模型是由SD的前员工创立的黑森林实验室推出,一经推出,业界掀起了非常大的反响,相关从业人员都感叹模型可以媲美甚至赶超SD了;现象级的成为了现在很多AI从业者的首选作图模型;

Flux模型的生成效果

我自己测试实验玩了一周多,发现确实很值得入手研究;

对比Midjourney丝毫不逊色:

可以看到,在真实人物和虚拟场景上已经不输MJ了,但是在一些虚拟人物的还原度上,还是有差距,比如游戏领域经典角色《战神》里的奎托斯,显然MJ有更多的训练数据,出来的效果还是会更好一些;(这个也受限于目前Flux的Lora模型比较少,后面应该会越来越多的)

因为Flux官方已经开源了模型,所以只需要简单的几步就可以部署到你自己的电脑上,不用再花冤枉钱去买MJ或者一些收费的画图AI工具了。

那么,接下来我就手把手教大家快速部署ComfyUI和Flux模型到本地;

所有的AI设计工具,模型和插件,都已经整理好了,👇获取~

在这里插入图片描述

01

安装部署ComfyUI

下载最新的ComfyUI版本

1)官方地址:

https://github.com/comfyanonymous/ComfyUI

使用GIt clone到本地即可,也可以直接下载Zip压缩包,解压完就可以使用;

2)适用于Win版N卡的一键安装包,下载后解压即可使用;(推荐拥有N卡的同学)

记住对应的模型放到\models这个库里面即可;

02

设置中文语言包

同样,通过Git命令,直接将语言包下载到ComfyUI\custom_nodes下即可;

当然,你如果在ComfyUI里面安装了Manager,也可以通过Manager进行安装语言包,安装完成后,在Setting里面完成语言包切换就可以了;

地址:

https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation

03

下载Flux模型

FLUX 模型有四个可选,大家根据显卡的配置自行选择,我用的fp8的模型,跑出来的效果依然不输给市面上主流的作图工具;

不管你下载的哪个模型,都存放在这个文件夹下:ComfyUI/models/unet/

FLUX.1 [dev] : 官方完整版,需要24G以上的显存

https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

FLUX.1 [dev] fp8**:优化后的版本,效果跟dev差不太多;最低12G显存就可以跑**

https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-dev-fp8.safetensors

**FLUX.1 [schnell]:**四步蒸馏模型,大部分的显卡都可以跑

https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/flux1-schnell.safetensors

**FLUX.1 [schnell] fp8:**在schnell的基础上的更优化版本,适合更多显卡配置

https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-schnell-fp8.safetensors

04

下载Clip模型

请下载Clip模型文件到 ComfyUI/models/clip/ 目录:

Clip模型能更好理解Flux模型,所以跟之前用的Clip还是很不一样,建议大家都要下载;

t5xxl_fp16.safetensorst5xxl_fp8_e4m3fn.safetensors

建议选择:如果显存超过 32GB,建议使用 fp16 版本,否则请选择 fp8 版本

https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

05

下载VAE模型

适用于Flux的编解码专用VAE模型,下载后存放至 ComfyUI/models/vae/ 目录

https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.safetensors

完成

如果你严格按照上面的步骤下载完所有的模型文件,并成功的安装好ComfyUI,那么接下来就可以享受Flux模型带给你的一点点震撼了;

启动ComfyUI,加载一套官方给的工作流便可以开始玩转Flux了;

https://comfyanonymous.github.io/ComfyUI_examples/flux/

(里面的图片保存下来,拖入到ComfyUI中即可转换成工作流)

进阶教程,如何用Flux做出更好附带文字效果的图;

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

一、ComfyUI配置指南

报错指南环境配置脚本更新后记…

img

二、ComfyUI基础入门

软件安装篇插件安装篇…

img

三、 ComfyUI工作流节点/底层逻辑详解

ComfyUI 基础概念理解Stable diffusion 工作原理工作流底层逻辑必备插件补全…

img

四、ComfyUI节点技巧进阶/多模型串联

节点进阶详解提词技巧精通多模型节点串联…

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

图像分辨率姿势…

img

六、ComfyUI超实用SDXL工作流手把手搭建

Refined模型SDXL风格化提示词SDXL工作流搭建…

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

img



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。