掌握AI创作神器:10分钟搞定ComfyUI和Flux大模型
Ai_绘画小南 2024-10-16 12:01:05 阅读 66
前言
最近大火的Flux 1.0模型,大家都去体验过没?
此模型是由SD的前员工创立的黑森林实验室推出,一经推出,业界掀起了非常大的反响,相关从业人员都感叹模型可以媲美甚至赶超SD了;现象级的成为了现在很多AI从业者的首选作图模型;
Flux模型的生成效果
我自己测试实验玩了一周多,发现确实很值得入手研究;
对比Midjourney丝毫不逊色:
可以看到,在真实人物和虚拟场景上已经不输MJ了,但是在一些虚拟人物的还原度上,还是有差距,比如游戏领域经典角色《战神》里的奎托斯,显然MJ有更多的训练数据,出来的效果还是会更好一些;(这个也受限于目前Flux的Lora模型比较少,后面应该会越来越多的)
因为Flux官方已经开源了模型,所以只需要简单的几步就可以部署到你自己的电脑上,不用再花冤枉钱去买MJ或者一些收费的画图AI工具了。
那么,接下来我就手把手教大家快速部署ComfyUI和Flux模型到本地;
所有的AI设计工具,模型和插件,都已经整理好了,👇获取~
01
安装部署ComfyUI
下载最新的ComfyUI版本
1)官方地址:
https://github.com/comfyanonymous/ComfyUI
使用GIt clone到本地即可,也可以直接下载Zip压缩包,解压完就可以使用;
2)适用于Win版N卡的一键安装包,下载后解压即可使用;(推荐拥有N卡的同学)
记住对应的模型放到\models这个库里面即可;
02
设置中文语言包
同样,通过Git命令,直接将语言包下载到ComfyUI\custom_nodes下即可;
当然,你如果在ComfyUI里面安装了Manager,也可以通过Manager进行安装语言包,安装完成后,在Setting里面完成语言包切换就可以了;
地址:
https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation
03
下载Flux模型
FLUX 模型有四个可选,大家根据显卡的配置自行选择,我用的fp8的模型,跑出来的效果依然不输给市面上主流的作图工具;
不管你下载的哪个模型,都存放在这个文件夹下:ComfyUI/models/unet/
FLUX.1 [dev] : 官方完整版,需要24G以上的显存
https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main
FLUX.1 [dev] fp8**:优化后的版本,效果跟dev差不太多;最低12G显存就可以跑**
https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-dev-fp8.safetensors
**FLUX.1 [schnell]:**四步蒸馏模型,大部分的显卡都可以跑
https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/flux1-schnell.safetensors
**FLUX.1 [schnell] fp8:**在schnell的基础上的更优化版本,适合更多显卡配置
https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-schnell-fp8.safetensors
04
下载Clip模型
请下载Clip模型文件到 ComfyUI/models/clip/ 目录:
Clip模型能更好理解Flux模型,所以跟之前用的Clip还是很不一样,建议大家都要下载;
• t5xxl_fp16.safetensors 或 t5xxl_fp8_e4m3fn.safetensors:
• 建议选择:如果显存超过 32GB,建议使用 fp16 版本,否则请选择 fp8 版本。
https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
05
下载VAE模型
适用于Flux的编解码专用VAE模型,下载后存放至 ComfyUI/models/vae/ 目录
https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.safetensors
完成
如果你严格按照上面的步骤下载完所有的模型文件,并成功的安装好ComfyUI,那么接下来就可以享受Flux模型带给你的一点点震撼了;
启动ComfyUI,加载一套官方给的工作流便可以开始玩转Flux了;
https://comfyanonymous.github.io/ComfyUI_examples/flux/
(里面的图片保存下来,拖入到ComfyUI中即可转换成工作流)
进阶教程,如何用Flux做出更好附带文字效果的图;
为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
一、ComfyUI配置指南
报错指南环境配置脚本更新后记…
二、ComfyUI基础入门
软件安装篇插件安装篇…
三、 ComfyUI工作流节点/底层逻辑详解
ComfyUI 基础概念理解Stable diffusion 工作原理工作流底层逻辑必备插件补全…
四、ComfyUI节点技巧进阶/多模型串联
节点进阶详解提词技巧精通多模型节点串联…
五、ComfyUI遮罩修改重绘/Inpenting模块详解
图像分辨率姿势…
六、ComfyUI超实用SDXL工作流手把手搭建
Refined模型SDXL风格化提示词SDXL工作流搭建…
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。