comfyui虚拟试衣、ai换装、电商换装源码

被子里 2024-07-27 13:31:01 阅读 52

一、AI换装技术博客

1. 项目介绍

IDM-VTON 是一个虚拟试衣模型,可以在 ComfyUI 中进行部署。相比于其他虚拟试衣模型,如 OOTDiffusion,IDM-VTON 提升了图像保真度和细节保留,更强调真实感,而且就算是侧面的模特或者背面的模特都能上身,已经完全达到了商用的水平。该项目简化了部署过程,是一个不错的选择。

项目地址

GitHub项目地址:https://github.com/TemryL/ComfyUI-IDM-VTON

Huggingface模型地址:https://huggingface.co/yisol/IDM-VTON

体验地址:https://pcai.wailikeji.com

2.配置要求

显存:建议 16G 以上,12G 也可以运行但速度较慢。模型下载:第一次运行工作流时模型会自动下载,约 26G。请确保网络环境良好并设置好代理。

3. 插件安装与模型下载

3.1插件安装

在 ComfyUI 中部署 IDM-VTON 的过程较为简单。首先,在管理器中搜索 “ComfyUI-IDM-VTON” 并进行安装。安装完成后重启 ComfyUI 即可。

在这里插入图片描述

在这里插入图片描述

3.2模型下载

下载地址 :

https://huggingface.co/yisol/IDM-VTON/tree/main

下载到的目录:

在这里插入图片描述

二、使用教程

1. 工作流配置

IDM-VTON 的主要工作流涉及使用 segment anything 插件来对衣服进行遮罩,然后用 IDM-VTON 对遮罩区域的衣服进行替换。为了更好地控制人物姿势,还可以使用 ControlNet 插件。

2. 辅助插件安装

在 ComfyUI 管理器中安装segment anything和ControlNet插件。同上面安装ComfyUI-IDM-VTON一样,通过管理器进行安装,此处不再赘述。

3. 配置提示词

在提示词中指定需要进行蒙版遮罩的部位。例如,要替换上半身的T恤,在提示词中写 “T-shirt” 或 “shirt” 即可,如果shirt识别不出来,也可以试下用"clothing"。

在这里插入图片描述

4. 精度设置

根据本地配置选择合适的精度:

bfloat16:最省内存且速度最快,但精度有所损失。float16:平衡内存和精度。float32:最高精度,但内存消耗大。

在这里插入图片描述

三、示例效果

1. 更换T恤

通过配置正面提示词,上传衣服图片,生成的效果如下:

在这里插入图片描述

侧面效果也很好噢!这个就是与OOTDiffusion的区别所在!

像下面这种模特图片不好通过提示词扣除蒙版,也不要紧,我们可以去掉 segment anything 的节点,直接加载图像链接遮罩,手动绘制蒙版,就可以精准控制上身的效果!

3. 更换牛仔裤

同样的流程,可以轻松更换下半身的牛仔裤:

在这里插入图片描述

在这里插入图片描述

4. 手动遮罩

如果 segment anything 插件无法满足需求,可以手动画遮罩。加载图像后,右键点击图片,在遮罩编辑器中打开进行编辑。

在这里插入图片描述

手动绘制遮罩后效果展示:

在这里插入图片描述

四、Comfyui工作流与绘图应用源码获取

对应的工作流我也已经整理好了!一个是自动换装,一个是手动换装!

我们项目中也接入了IDM-VTON的ai换装工作流。绘图中接入了comfyui、dalle、mj实现了电商换装、换脸、ai抠图、图片变高清、智能扩图、艺术二维码等功能。另外还接入了国内外各大平台的gpt聊天模型,使用milvus作为向量数据库,可上传知识库文档。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

项目体验地址:

https://pcai.wailikeji.com/

需要工作流文件或者整个项目源码的联系我v:bjxueai



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。