从零开始快速使用comfyUI进行文生图或者图生视频制作

星空下的惶然 2024-08-20 09:31:02 阅读 82

前言

今天花时间试了试怎么用 ComfyUI,今天晚上就来介绍一下,怎么简单使用。

在这里插入图片描述

上面是用 comfyUI 生成的视频。

安装

首先进行安装。

Snipaste_2024-07-21_20-41-47.png

在 github 上搜索 comfyUI,第一个就是,点进去然后点击左侧 Releases 的内容。

Snipaste_2024-07-21_20-42-02.png

选择第一个,下载下来,然后解压。

Snipaste_2024-07-21_20-42-30.png

OK,这就结束了,你已经安装完了。

接下来点击. bat 文件,你就可以使用 comfyUI 了。

有英伟达显卡的点击 run_nvidia_gpu,没有的就用上面 run_cpu。

找个模型

在 Civita 上找个模型,注意左上角得显示 checkpoint,下载好后,放入 ComfyUI_windows_portable\ComfyUI\models\checkpoints 这个路径里面。

启动

Snipaste_2024-07-21_21-02-38.png

点击 .bat 文件后出现控制台,然后就是等待,有时候很快,有时候很慢,我不清楚是什么原因。这次等了有个七分钟,有时候 1 秒就进了,我没排查出什么问题。可能是我的电脑不太行了。(快写完博客的时候发现了,是我磁盘读写速度太慢了)不过也可以看出 comfyUI 如果使用不是特别的吃配置。

Snipaste_2024-07-21_22-58-35.png

Snipaste_2024-07-21_21-07-12.png

进入浏览器,在 checkpoint 加载器中选择你下载的那个(如果没有模型是没法用的),然后点击右上角的 queue,等一会就能生成一张图片,我这台渣机也只需要十秒左右的时间。

Snipaste_2024-07-21_21-18-08.png

加上插件

我这里是已经加上汉化插件了,原本的是全英语的,所以我接下来介绍怎么安装插件。

ConfyUI-Manager

前提是要安装 git,安装过程这里不多赘述。

我们先来安装插件管理器,方便之后插件的安装。

ComfyUI_windows_portable\ComfyUI\custom_nodes 在这个路径,选中路径框。

Snipaste_2024-07-21_21-20-45.png

输入 cmd,进入控制台。

Snipaste_2024-07-21_21-21-29.png

输入下面的指令:

git clone https://github.com/ltdrdata/ComfyUI-Manager.git

然后重启 comfyUI,就能够通过管理器来安装插件,不用手动 git clone 了。

使用 manager 安装汉化插件

Snipaste_2024-07-21_21-24-52.png

重启后再进入,发现右下角多了 manager,点击进入插件管理。

Snipaste_2024-07-21_21-26-04.png

我画了四个红框,这是我觉得会比较常用到的,从上到下,第一个是插件的管理,第二个是模型的管理,第三个第四个是更新 comfyUI 本体与插件的。

点击第一个,搜索 AIGODLIKE,点击 INSTALL,进行汉化。

Snipaste_2024-07-21_21-28-50.png

还要重启一下 comfyUI。

Snipaste_2024-07-21_21-30-07.png

这里就汉化成功了。

至于其他的插件,我就不多介绍了。大家可以看看。github 上看看 readme 就能大致清楚怎么用了。

工作流 work flow

comfyUI 玩的就是工作流,这里可以看看作者的一些例子 comfyanonymous/ComfyUI_examples: Examples of ComfyUI workflows (github.com) 作为学习与参考。

简单的文生图工作流

建立节点

右键就可以新建节点。

先整个 checkpoint加载器,这是一切的原点。

Snipaste_2024-07-21_21-35-44.png

然后在条件一栏选择 clip 文本编码器,在这里我们可以填写正面或者负面的 promot,

Snipaste_2024-07-21_21-38-45.png

点击节点,可以对标题进行修改,同时也能改变颜色,让节点更加清晰。

Snipaste_2024-07-21_21-39-43.png

效果如下:

Snipaste_2024-07-21_21-42-05.png

然后加入采样器,在采样里面。选择那个 K 采样器就行。

接着是空的 latent,用来控制图片的大小。

Snipaste_2024-07-21_21-41-13.png

最后是 vae 的解码器和图片下载,vae 解码器也在 latent 里面,注意别跟编码器弄混了,图片下载在图片里面。

Snipaste_2024-07-21_21-46-17.png

就这几个节点,然后连线。相同颜色的能连到一起。左边的点代表输入,右边的点代表输出,把相对应的连起来,一个简单的文生图工作流就完成了。

Snipaste_2024-07-21_21-49-07.png

输入提示词。我这里用了自动的负面提示词,这是 one button 插件的自定义节点。最后点击添加提示词队列,进行测试。

稍等片刻,第一次使用一个模型会很慢,之后就非常快了。

Snipaste_2024-07-21_21-55-58.png

这里就得到了一张 ai 生成的图片。

进行分组

右键也可以进行分组。

Snipaste_2024-07-21_22-03-37.png

对着分组再右键,缩放组到节点就是能全部包裹住已经包裹的节点,让节点不那么乱。

Snipaste_2024-07-21_22-04-00.png

编辑组可以设置颜色与标题,使组更明显,让工作流更加井井有条。

视频工作流

大家可以看看作者给的例子中的 video 部分,注意一定要使用 svd 模型,下载是在之前的 manager 中点击 model manager 搜索 svd 下载即可。然后在工作流中选择这个。

Snipaste_2024-07-21_22-51-16.png

使用下面的图片进行视频制作。这张图也是用 comfyUI 简单生成的。

ComfyUI_00080_.png

等了一会,视频如下:

在这里插入图片描述

笔者的话

comfyUI 上手十分简单,可以说是解压即用了,至于进阶的内容就是看看大神们的工作流是怎么设计的。自己也比葫芦画瓢尝试尝试。



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。