国产可图大模型:厚积薄发,GLM3加持质的飞跃,ComfyUI最全指南与SD3综合评比孰更强?
AIGC安琪 2024-10-13 14:31:01 阅读 90
🌹大家好!我是安琪!!!
Kolors大模型简
就在上周末,国内大厂快手开源了可图大模型文生图模型,这是由快手可图团队开发的基于潜在扩散的大规模文本到图像生成模型。
• Kolors 是在数10亿图文对下进行训练,
• 在 视觉质量、复杂语义理解、文字生成(中英文字符) 等方面,相比于当前业界开源/闭源模型,都展示出了巨大的优势。特别是在中文文字生成方面领先于当前所有业界模型。
• Kolors 支持中英双语,在中文特色内容理解方面更具竞争力。
研发团队构建了一个包含14种垂类,12个挑战项,总数量为一千多个 prompt 的文生图评估集 KolorsPrompts。在 KolorsPrompts 上,并且收集了 Kolors 与市面上常见的 SOTA 级别的开源/闭源系统的文生图结果,并进行了人工评测和机器评测。
人工评测
研发团队邀请了50个业界领域专家对生成图像打分,评估维度包括:画面质量、图文相关性、整体满意度三个方面。结果表明:Kolors 在整体满意度方面处于最优水平,其中画面质量显著领先其他模型。
机器评测
研发团队采用 MPS(Multi-dimensional Human preference Score) 来模型评估。结果表明:Kolors 实现了最高的MPS 指标,这以结果与人工评估的指标一致。
官方演示
高质量人像
中国元素
复杂语义理解
文字渲染能力
Kolors大模型ComfyUI安装
当前快手已经提供了在线的Kolors文生图服务可使用,不想本地部署的同学可以使用在线服务体验:https://klingai.kuaishou.com/。
(需要Kolors大模型ComfyUI安装包的同学文末可自行扫描获取)
模型安装
如果需要本地部署,则使用社区的ComfyUI-KwaiKolorsWrapper插件实现。
• 首先需要更新ComfyUI到最新版本,然后通过ComfyUI插件管理器安装ComfyUI-KwaiKolorsWrapper。插件地址为:https://github.com/kijai/ComfyUI-KwaiKolorsWrapper。
• 下载ChatGLM3量化模型,并放置在本地目录ComfyUI/models/LLM/checkpoints。模型地址为:https://hf-mirror.com/Kijai/ChatGLM3-safetensors/tree/main 。这里提供了3种量化权重文件,根据本地显存选择合适模型权重。对于小显存建议直接chatglm3-4bit.safetensors。
• 下载Kolors模型,本模型会在首次运行时自动下载(切记科学!!!),并放置在ComfyUI/models/diffusers/Kolors目录下。模型地址为:https://hf-mirror.com/Kwai-Kolors/Kolors/tree/main。
• 加载文末工作流文件,然后重启ComfyUI,即可开始体验。
本地模型结构为:
<code>/ComfyUI/models/LLM/checkpoints
│ chatglm3-4bit.safetensors // 4bit、8bit、fb16中选择一个版本
/ComfyUI/models/diffusers/Kolors
│ model_index.json
│
├───scheduler
│ scheduler_config.json
│
├───text_encoder
│ config.json
│ pytorch_model-00001-of-00007.bin
│ pytorch_model-00002-of-00007.bin
│ pytorch_model-00003-of-00007.bin
│ pytorch_model-00004-of-00007.bin
│ pytorch_model-00005-of-00007.bin
│ pytorch_model-00006-of-00007.bin
│ pytorch_model-00007-of-00007.bin
│ pytorch_model.bin.index.json
│ tokenizer.model
│ tokenizer_config.json
│ vocab.txt
│
└───unet
config.json
diffusion_pytorch_model.fp16.safetensors
不同量化模型对应的显存要求如下所示:
文生图工作流
图生图工作流
Kolors与SD3工作流
Kolors和SD3评比体验
关于SD3的ComfyUI安装指南,请参见之前文章:SD3Medium震撼来袭:SabilityAI最先进模型,10亿图训练&3千万图精调,全面评估体验&ComfyUI体验指南。另外,最近几周StabilityAI将会继续推出优化版本SD3模型,改进之前社区反馈问题。
注:本文为了保持评比图像的真实性,未对脸、手等做后期二次处理。如需修手参见笔者文章:[SD必备知识18]修图扩图AI神器:ComfyUI+Krita加速修手抽卡,告别低效抽卡还原光滑细腻双手,写真无需隐藏手势
01:中文提示语
因为SD3输入提示语理解主要为英文,但Kolors是支持直接中文和英文双语提示的。SD3并没有收据木牌。
1个中国女孩,手举这木牌,木牌上写着文字“我爱你中华”。身穿中国古风旗袍,淡黄色旗袍,18岁女孩,年轻美貌
SD3效果:
Kolors效果:
02:中文渲染
Kolors中文渲染能力胜出。提示这里也能看出SD3手部问题明显大于Kolors。但都未很好的解决。笔者抽卡中感觉Kolors会更容易一些,因为巧妙的藏起来了,特别在后续多人场景更明显。
A Chinese girl holds up a wooden sign with the chinese words “我爱你中华” written on it. Dressed in ancient Chinese style cheongsam, light yellow cheongsam,
SD3效果:
Kolors效果:
03:中文元素与光影效果
在中文元素方面会Kolors稍强一些,但在光影效果方面SD3各有千秋。
A young model in Chinese dress poses, in front of divine light with silhouette light illuminating the edges of the long curly hair, snowflake, solid color red background, Excellent skin texture, gaze deeply, cheerful atmosphere, in the style of eye-catching resin jewelry, Beauty product advertising, photo
SD3效果:
Kolors效果:
04:人物写实
在人物写实艺术感和光影上SD3会更多变彩色元素融合,Kolors会贴近现实,各有千秋。
masterpiece, best quality, 1girl ((pure gradient background, )), long hair, floating hair, blush, looking at viewers, happy, ((front)),(upper body), (studio light), soft light, dark style, night style,Real photography
SD3效果:
Kolors效果:
05:玉莲花
笔者测试SD3中始终无法避免莲花底盘,笔者认为Kolors会更好些。
Three-dimensional ancient style, dazzling light and shadow, jade carving technology, jade and jade material, jade carving art composed of lotus and lotus seed, translucent jade petals, crystal clear texture, transparent light sense, carved murals, optical fiber effect, simple composition, commercial photography, studio lighting, luminous three-dimensional particles, natural light and shadow, beautiful light sense, light tracing, SSS material, Subsurface Reflection, Bioluminescence, Volume Light, Center Light, Contour Light, Light Penetration, Octane rendering, Soft focus, Scene depth, Soft Color, Advanced lighting, Film Light effect,3d rendering, Master Works, 8K
SD3效果:
Kolors效果:
06:动漫
动漫Kolors更有质感,Kolors对NSFW安全更严格。
Animation style, a female character with long, flowing hair that appears to be made of ethereal, swirling patterns resembling the Northern Lights or Aurora Borealis. The background is dominated by deep blues and purples, creating a mysterious and dramatic atmosphere. The character’s face is serene, with pale skin and striking features. She wears a dark-colored outfit with subtle patterns. The overall style of the artwork is reminiscent of fantasy or supernatural genres
SD3效果:
Kolors效果:
07:复杂提示语理解
复杂文本理解上SD3会稍强一些,Kolors包含ChatGLM3 LLM大语言加持。但后者能够巧妙的把手部问题隐藏起来,更机智。
3 fashionable young female models in dynamic poses, photorealistic, 8k resolution: Model 1 wearing a chic blue blouse and red pants, looking over her shoulder with a confident smile. Model 2 in a tight red mini dress, hair blowing dramatically as she strikes a playful pose. Model 3 with blue skinny jeans and a cropped red top, hands on hips exuding youthful attitude. Vibrant colors, sharp focus, dramatic lighting and depth of field. Capture a sense of youth, energy and movement in an urban setting like a city street or rooftop. Pay attention to details like makeup, accessories and fabric textures. Photographic style, no visible artifacts or unnatural elements. Aim for a fashionable, trendy and aspirational vibe that could appear in magazines or advertisements.
SD3效果:
Kolors效果:
总结,综合评估结果笔者感觉如Kolors的评估结果,对于中文语境的创作会显著优于SD3,特别对中文提示语支持,中文语言了解,以及ChatGLM3大语言模型的加持下。特别是在与可灵图生视频结合,极大的推进了国产AIGC迈进的里程碑。当然这只是感性评估,仁者见仁。
资料软件免费放送
次日同一发放请耐心等待
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
需要的可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】
**一、AIGC所有方向的学习路线**
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。