Stable Diffusion【应用篇】【艺术写真】:AI写真看过来,使用IP-Adapter-FaceId插件实现AI写真
程序员 超超 2024-08-05 16:01:02 阅读 80
目前换脸插件有很多,比较典型的有Roop,ReActor,IP-Adapter,InstantID,今天我们来看看使用IP-Adapter-FaceId插件实现AI写真的制作方法。
一. IP-Adapter新模型的下载
插件下载地址(文末扫码也可获取)
HuggingFace:https://huggingface.co/h94/IP-Adapter-FaceID/tree/main
用于换脸的IP-Adapter-Faceid的型号有很多种,用于AI写真我们推荐使用ip-adapter-faceid-plusv2系列,该系列分为SD15和SDXL两类,分别针对SD1.5基础大模型和SDXL基础大模型。
文件存放目录
将以.bin结尾的模型文件存放在WebUI根目录\extensions\sd-webui-controlnet\models目录下。
将以.safetensors结尾的Lora文件存放在WebUI根目录\models\lora目录下
这里我们以ip-adapter-faceid-plusv2_sdxl模型以及ip-adapter-faceid-plusv2_sdxl_lora为例来讲解。
二. IP-Adapter插件换脸的制作方法
【第一步】:大模型的选择
我们使用万享XL_超写实摄影V8.2大模型。
模型下载地址(文末扫码也可获取)
LiblibAI: https://www.liblib.art/modelinfo/b27d7c6bd9184acfbfefd2a89909c6d3
【第二步】:提示词的编写
正向提示词:
Prompt:high quality,masterpiece,rich details,realistic photography,8k,high-definition image quality,
1 girl,solo,brown eyes,brown hair,long hair,dress,earrings,white dress,fields,flowers,fields of flowers,looking at the audience,
outdoors,pink flowers,lora:ip-adapter-faceid-plusv2\_sdxl\_lora:1
******提示词:******高品质,杰作,细节丰富,摄影逼真,8k,高清画质,一个女孩,独唱,棕色眼睛,棕色头发,长发,衣服,耳环,白色连衣裙,田野,鲜花,鲜花的田野,看着观众,户外,粉色的花朵,
为了提高生成图像与指定人物相似度,加入ip-adapter-faceid-plusv2_sdxl_lora模型。关于lora模型的权重,这里我们设置为1。
反向提示词:
easynegative,ng_deepnegative_v1_75t,(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,normal quality,((monochrome)),((grayscale)),((watermark)),
文生图相关参数设置
采样器:Euler a
采样迭代步数:50
图片宽高:1024*1024。
提示词引导系数(CFG):3
【第三步】ControlNet插件IP-Adapter模型设置
这里我们使用幂姐姐的照片生成AI艺术写真照片。
相关参数设置如下:
控制类型:选择"IP-Adapter"
预处理器:ip-adapter_face_id_plus
模型:ip-adapter-faceid-plusv2_sdxl
控制权重:1
引导介入时机:0
引导终止时机:0.9
【第四步】图片的生成
点击【生成】按钮,我们来看一下最终生成的图片效果。
三. 改变人物服装背景
提示词1:圣诞写真
**Prompt:**high quality,masterpiece,rich details,realistic photography,8k,high-definition image quality,
1 girl,solo,exquisite hairstyle,brown hair,long hair,Christmas clothing,Christmas dress,bow,Christmas hat,Christmas,festive atmosphere,indoor,upper body,christmas lights,tree,gift box,roses,ribbons,Christmas decorations,lighting,fireplace,warm,
lora:ip-adapter-faceid-plusv2\_sdxl\_lora:1
**提示词:**高品质,杰作,细节丰富,摄影逼真,8k,高清画质,
1个女孩,独唱,精致的发型,棕色头发,长发,圣诞服装,圣诞礼服,蝴蝶结,圣诞帽,圣诞,喜庆气氛,室内、上半身、圣诞彩灯、圣诞树、礼盒、玫瑰、彩带、圣诞装饰品、灯饰、壁炉、暖炉、
生成的图片效果如下。
提示词2:婚纱
**Prompt:**high quality,masterpiece,rich details,realistic photography,8k,high-definition image quality,
1 girl,solo,exquisite hairstyle,crown,headscarf,hair bun,
White wedding dress,long dress,jewelry,looking at the audience,
**提示词:**高品质,杰作,细节丰富,摄影逼真,8k,高清画质,
1个女孩,独唱,精致的发型,皇冠,头巾,发髻,
白色婚纱,长裙,珠宝,看着观众,
四. 相关说明
下面我们先重点说一下影响最终生成图片质量的几个要素。
(1)ControlNet上传人物照片的选择,最好是无表情正面头像,并且光线分布均匀。大小和我们生成的图片大小一致。这非常有助于生成更自然、更精确的换脸图片效果。
(2)ip-adapter-faceid-plusv2_sdxl_lora模型的权重,这个值要结合选择的大模型进行调整,建议大家在0.7-1之间多尝试。
(3)引导终止时机(Ending Control Step)这个参数对出图影响特别大。最大值为1时,生成的图片经常融合度很不好,表情特别夸张。值为0.8时,生成的图片相似度就比较低。建议在0.8-1之间尝试。
下面是引导终止时机值为1时生成的图片效果,人脸相似度较高但是人脸不太自然。
总结:使用IP-Adapter-FaceID实现AI写真,个人感觉获取到人脸相似度且质量高的图片还是比较有难度的,尤其上传的图片,参数设置等都不太具有共性,我尝试改换了别的大模型,相关的参数也要进行调整,尤其是在制图过程中提高了图片相似度时,人脸又容易夸张变形,二者难以平衡。
虽然直接使用IP-Adapter-FaceID实现人物换脸调整参数比较困难,但是该方案获取人脸相似度也相当高,多进行尝试还是可以获取到比较好的图片。
后面我们再介绍一种方案,将IP-Adapter-FaceID和InstantID两种模型进行融合,可以超高相似度换脸实现AI写真。感兴趣的朋友可以保持关注。
好了,今天的分享就到这里了,希望今天分享的内容对大家有所帮助。
文章使用的AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,有需要的小伙伴文末扫码自行获取。
写在最后
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
若有侵权,请联系删除
下一篇: 【AI】通义千问使用指南:让你快速上手,成为问题解决高手!
本文标签
Stable Diffusion【应用篇】【艺术写真】:AI写真看过来 使用IP-Adapter-FaceId插件实现AI写真
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。