Comfyui插件系列 | IC-Light照明控制,完美解决AI作图打光问题!
鱼白蓝 2024-06-23 12:01:01 阅读 94
Part 1 插件介绍
IC-Light的全称是“Imposing Consistent Light”,即“施加一致光线”,它能够完美地解决Ai作图一直被吐槽的光线问题,使图片的光影和色彩看起来更接近真实拍摄的效果。
IC-light支持文本控制和参考图控制,可以通过描述词描述光线和场景或者添加一张背景图片,实现重新对图片进行打光,让主体与环境融合得更加自然。
Part 2 如何使用
目前有三种方法可以使用IC-Light:
1. 在线体验
最简单快捷方法是可以直接在huggingface上在线体验。链接:https://huggingface.co/spaces/lllyasviel/IC-Light。
但在线体验版本只提供了一种模型,即我们只能上传图片,无法上传背景,但确实可以体验到非常好的效果。我试验了一下,使用默认参数即可,没有什么调整的空间。
ps:参考图使用lib原创作者油条的【油条】端午节3D视觉 Lora模型辅助生成.
2. SD WebUI Forge
SD WebUI Forge是作者大佬lllyasviel自研,里面也加入了IC-Light的插件,可以在 扩展中通过网址安装,并下载 clight_sd15_fc_unet_ldm和 iclight_sd15_fbc_unet_ldm两个模型,安装路径:stable-diffusion-webui-forge/models/unet。用SD WebUI Forge可以使用完整的IC-Light功能,比在线版多了oUse Background image(使用背景图像)和Use Flipped Background image(使用翻转背景图像)。
3.Comfyui中下载使用
目前comfyui中已经有IC-Light这个插件,我们可以在管理器(Manager)中进行安装。
除了插件,还需要安装3个模型:
iclight_sd15_fc.safetensors:
默认的重新照明模型,以文本和前景为条件。您可以使用初始潜伏来影响重新照明。
iclight_sd15_fcon.safetensors:
“iclight sd15 fc.safetensors”相同,但使用偏移噪声进行训练。默认的“iclight sd15 fc.safetensors”稍微优于此模型。
iclight_sd15_fbc.safetensors:
以文本、前景和背景为条件的重新照明模型。也即可以自己导入背景图。
大家可以自行在网上搜索下载,我也把它们放在了百度网盘,有需要请自取:
链接:https://pan.baidu.com/s/1_QZ6oehGrUaeGrrDrfd9ww?pwd=YBL1
提取码:YBL1
Part 3 Comfyui工作流
官方提供了以下6个基本工作流:
workflow-gaffer-iclight-all.json
workflow-gaffer-iclight-fbc.json
workflow-gaffer-iclight-fc-animated.json
workflow-gaffer-iclight-fc-normal.json
workflow-gaffer-iclight-fc-text.json
workflow-gaffer-iclight-fc.json
大家可以自行在网上搜索下载,我也把它们放在了百度网盘,有需要请自取:
链接:https://pan.baidu.com/s/1Zq_F2lIIK1xYbsy5zjRPyA?pwd=YBL1
提取码:YBL1
Part 4 工作流主要节点介绍&测试
工作流主要节点介绍
Apply IC-Light
应用IC-Light,multiplier乘数的大小会影响出图质量,一般根据需要调整(推荐1.0~1.3)
Load IC-Light Model
加载IC-Light模型(按照上文的介绍选择合适的模型)
Gray Scaler
灰度器,对图片进行灰度检测
Image Remove Background
移除原图的背景
工作流测试
我测试了所有工作流:
workflow-gaffer-iclight-fc-text(文生背景)
workflow-gaffer-iclight-all(包含3种模型,相当于3个工作流,可以按需选择)
workflow-gaffer-iclight-fc-normal(生成法线图)
workflow-gaffer-iclight-fc-animated(生成动态打光视频)
测试效果图如下:
workflow-gaffer-iclight-fc-text(文生背景)
通过文字对背景进行描述。
workflow-gaffer-iclight-all(包含3种模型)
通过描述词生成背景时,选择fc或fcon模型(原作者的文章中提到fc的效果比fcon好,但在测试中,根据不同的需求,有时候fcon的效果更符合预期。)如果要上传背景图,就选择fbc模型。
workflow-gaffer-iclight-fc-normal(生成法线图)
分别从4个方向打光。
workflow-gaffer-iclight-fc-animated(生成动态打光视频)
通过对【曲线编辑器】设置光源走向,生成光线变化的视频。
以上就是整个IC-Light工作流了,实验下来我觉得效果非常惊艳,在解决Ai做图不完美的问题上是一个巨大的提升。但略有不足之处在于,在变化光线的时候,主体的颜色可能发生改变,产生色差,需要结合其他的节点进行控制。
如果我的内容对你有帮助,请给我点个赞鼓励一下吧~
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。