Comfyui插件系列 | IC-Light照明控制,完美解决AI作图打光问题!

鱼白蓝 2024-06-23 12:01:01 阅读 94

Part 1 插件介绍

IC-Light的全称是“Imposing Consistent Light”,即“施加一致光线”,它能够完美地解决Ai作图一直被吐槽的光线问题,使图片的光影和色彩看起来更接近真实拍摄的效果。

IC-light支持文本控制和参考图控制,可以通过描述词描述光线和场景或者添加一张背景图片,实现重新对图片进行打光,让主体与环境融合得更加自然。

Part 2 如何使用

目前有三种方法可以使用IC-Light:

1. 在线体验

最简单快捷方法是可以直接在huggingface上在线体验。链接:https://huggingface.co/spaces/lllyasviel/IC-Light。

但在线体验版本只提供了一种模型,即我们只能上传图片,无法上传背景,但确实可以体验到非常好的效果。我试验了一下,使用默认参数即可,没有什么调整的空间。

ps:参考图使用lib原创作者油条的【油条】端午节3D视觉 Lora模型辅助生成.

2. SD WebUI Forge

SD WebUI Forge是作者大佬lllyasviel自研,里面也加入了IC-Light的插件,可以在 扩展中通过网址安装,并下载 clight_sd15_fc_unet_ldm和 iclight_sd15_fbc_unet_ldm两个模型,安装路径:stable-diffusion-webui-forge/models/unet。用SD WebUI Forge可以使用完整的IC-Light功能,比在线版多了oUse Background image(使用背景图像)和Use Flipped Background image(使用翻转背景图像)。

3.Comfyui中下载使用

目前comfyui中已经有IC-Light这个插件,我们可以在管理器(Manager)中进行安装。

除了插件,还需要安装3个模型:

iclight_sd15_fc.safetensors:

默认的重新照明模型,以文本和前景为条件。您可以使用初始潜伏来影响重新照明。

iclight_sd15_fcon.safetensors:

“iclight sd15 fc.safetensors”相同,但使用偏移噪声进行训练。默认的“iclight sd15 fc.safetensors”稍微优于此模型。

iclight_sd15_fbc.safetensors:

以文本、前景和背景为条件的重新照明模型。也即可以自己导入背景图。

大家可以自行在网上搜索下载,我也把它们放在了百度网盘,有需要请自取:

链接:https://pan.baidu.com/s/1_QZ6oehGrUaeGrrDrfd9ww?pwd=YBL1

提取码:YBL1

Part 3 Comfyui工作流

官方提供了以下6个基本工作流:

workflow-gaffer-iclight-all.json

workflow-gaffer-iclight-fbc.json

workflow-gaffer-iclight-fc-animated.json

workflow-gaffer-iclight-fc-normal.json

workflow-gaffer-iclight-fc-text.json

workflow-gaffer-iclight-fc.json

大家可以自行在网上搜索下载,我也把它们放在了百度网盘,有需要请自取:

链接:https://pan.baidu.com/s/1Zq_F2lIIK1xYbsy5zjRPyA?pwd=YBL1

提取码:YBL1

Part 4 工作流主要节点介绍&测试

工作流主要节点介绍

Apply IC-Light

应用IC-Light,multiplier乘数的大小会影响出图质量,一般根据需要调整(推荐1.0~1.3)

Load IC-Light Model

加载IC-Light模型(按照上文的介绍选择合适的模型)

Gray Scaler

灰度器,对图片进行灰度检测

Image Remove Background

移除原图的背景

工作流测试

我测试了所有工作流:

workflow-gaffer-iclight-fc-text(文生背景)

workflow-gaffer-iclight-all(包含3种模型,相当于3个工作流,可以按需选择)

workflow-gaffer-iclight-fc-normal(生成法线图)

workflow-gaffer-iclight-fc-animated(生成动态打光视频)

测试效果图如下:

workflow-gaffer-iclight-fc-text(文生背景)

通过文字对背景进行描述。

workflow-gaffer-iclight-all(包含3种模型

通过描述词生成背景时,选择fc或fcon模型(原作者的文章中提到fc的效果比fcon好,但在测试中,根据不同的需求,有时候fcon的效果更符合预期。)如果要上传背景图,就选择fbc模型。

workflow-gaffer-iclight-fc-normal(生成法线图

分别从4个方向打光。

workflow-gaffer-iclight-fc-animated(生成动态打光视频)

通过对【曲线编辑器】设置光源走向,生成光线变化的视频。

以上就是整个IC-Light工作流了,实验下来我觉得效果非常惊艳,在解决Ai做图不完美的问题上是一个巨大的提升。但略有不足之处在于,在变化光线的时候,主体的颜色可能发生改变,产生色差,需要结合其他的节点进行控制。

如果我的内容对你有帮助,请给我点个赞鼓励一下吧~



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。