【GitHub项目推荐--AI修图/绘图工具】【转载】
旅之灵夫 2024-07-05 12:01:04 阅读 76
Lama-Cleaner
Lama-Cleaner 是一款基于 SOTA AI 模型的图像修复工具,它能够帮助您轻松地从照片中删除不需要的物体、缺陷、人物等,实现高质量的图像修复
github地址:
https://github.com/Sanster/lama-cleaner
国内源代码:
http://www.gitpp.com/pythonking/lama-cleaner
Lama-Cleaner的介绍
Lama-Cleaner 是一款基于 SOTA AI 模型的图像修复工具,它能够帮助您轻松地从照片中删除不需要的物体、缺陷、人物等,实现高质量的图像修复。其核心功能是通过稳定扩散驱动技术擦除并替换照片上的任何内容。
以下是使用 Lama-Cleaner 进行图像修复的基本步骤:
1. 准备照片:首先,选择一张包含需要删除物体的照片。
2. 下载并安装 Lama-Cleaner:根据您的操作系统(如 Windows、macOS 或 Linux)下载相应的安装包,并按照安装向导进行操作。
3. 运行 Lama-Cleaner:打开命令行或终端,运行以下命令以启动 Lama-Cleaner:
```
lama-cleaner --modellama --devicecpu --port8080
```
4. 访问 Web 界面:在浏览器中输入 `http://localhost:8080`,访问 Lama-Cleaner 的 Web 界面。
5. 选择模型:在 Web 界面中,选择适用于您的图像修复任务的模型。Lama-Cleaner 提供了多种模型,如基础模型、夜间模式等。
6. 预览和调整:在预览区域查看图像修复效果,根据需要调整参数,如强度、模糊度等。
7. 应用修复:满意预览效果后,点击“应用”按钮,Lama-Cleaner 将开始处理照片。处理完成后,您将获得一个修复后的照片文件。
8. 导出结果:在 Lama-Cleaner 的 Web 界面中,您可以将修复后的照片导出为常见的图像格式(如 JPEG、PNG 等)。
通过以上步骤,您可以使用 Lama-Cleaner 擦除照片中的不需要的物体、缺陷、人物等,得到干净整洁的图像。需要注意的是,Lama-Cleaner 可能无法处理所有类型的图像修复任务,对于复杂的情况,您可能需要尝试多次或使用其他图像处理软件。祝您使用愉快!
lama模型介绍
github地址: https://github.com/advimman/lama
从上面两张动图可以看出,lama模型可以删除图片上不需要的元素,并且删除后的图片看起来还比较完整
lama模型结构是这样的:
然后看下面这张对比图,它的原理通俗理解类似,先用一张蒙版把原图中不需要的元素覆盖,然后再由AI模型去修复
因为AI模型学习过很多图片的特征,所以它知道这个黑色蒙版下面可能是什么样子,能根据以前学习的内容将黑色部分恢复出来 。
lama-cleaner使用方法
Lama Cleaner 只需两个命令即可轻松使用 SOTA AI 模型:
# In order to use the GPU, install cuda version of pytorch first.
# pip install torch==1.13.1+cu117 torchvision==0.14.1 --extra-index-url https://download.pytorch.org/whl/cu117
pip install lama-cleaner
lama-cleaner --model=lama --device=cpu --port=8080
就是这样,Lama Cleaner 现在正在http://localhost:8080上运行
Lama Cleaner的操作非常简单,即使没有图像处理经验的用户也可以轻松上手。软件界面简洁明了,所有功能均可通过直观的按钮和选项进行操作,无需进行繁琐的设置和调整。
Lama Cleaner 是一款由 SOTA AI 模型驱动的免费开源图像修复工具,具有以下特点和优势:
1. 完全免费且开源:Lama Cleaner 致力于为用户提供免费的图像修复服务,无需支付任何费用。同时,该项目遵循开源原则,允许用户查看、修改和分享代码。
2. 多样化的 AI 模型:Lama Cleaner 内置了多种 SOTA AI 模型,包括擦除模型(如 LaMa、LDM、ZITS、MAT、FcF、Manga)和擦除与替换模型(如稳定扩散、示例绘制)。这些模型可以满足用户在不同场景下的图像修复需求。
3. 支持多种硬件设备:Lama Cleaner 支持 CPU、GPU 和 M1/2 等硬件设备,适应性强,可在各种环境中运行。
4. 易用性:Lama Cleaner 的界面简洁明了,操作方便。用户只需一键安装即可开始使用,无需复杂的学习过程。
5. 跨平台支持:Lama Cleaner 提供了 Windows 一键安装程序和原生 macOS 应用,满足不同用户的操作系统需求。
6. 高效的图像修复:Lama Cleaner 能够快速去除图像中的各种水印、物体、人物、字体等,同时支持老照片修复和文本替换图像内容等功能。
7. 不断更新:Lama Cleaner 的 GitHub 仓库持续更新,表明该项目受到广泛关注和支持。随着 AI 技术的不断发展,Lama Cleaner 将会引入更多先进的模型,提高图像修复效果。
总之,Lama Cleaner 是一款具有丰富功能、易用性强、支持多种硬件设备和平台的图像修复工具,适用于各种场景。其免费开源的特性以及强大的 AI 模型支持使其成为图像修复领域的热门选择。
Lama Cleaner也支持修复老照片,将受损或者老旧的照片恢复成原来的样子,保留历史的记忆。
更多详情官网
github地址:
https://github.com/Sanster/lama-cleaner
StreamDiffusion
一个为实时图像生成服务设计的开源项目,它基于最新的生成模型技术,旨在提供高性能的图像生成能力
github地址:
https://github.com/cumulo-autumn/StreamDiffusion
项目介绍
StreamDiffusion 是一个为实时图像生成服务设计的开源项目,它基于最新的生成模型技术,旨在提供高性能的图像生成能力。此项目专注于优化扩散模型,使其能够快速生成高质量的图像,并支持多种不同的模型和输出帧率。其背后的技术包括LCM(Latent Diffusion Model)和SDXL Turbo,这些技术的结合使得StreamDiffusion在图像生成领域表现出色。
StreamDiffusion 项目的核心优势在于其高效率,据报道,它能够每秒生成高达110张图像,这对于需要实时生成图像的应用场景来说是一个巨大的进步。此外,StreamDiffusion 不仅仅关注速度,它还通过优化数据处理流程、改进指导机制和提升GPU利用率等多种方式,确保了图像生成的质量。
这个项目对于开发者来说是一个宝贵的资源,因为它提供了一个强大的工具集,使得开发实时图像生成产品变得更加容易。StreamDiffusion 的这些能力,使得它在图像生成社区中受到了广泛的关注,并被视为推动实时图像生成技术发展的重要力量。
主要特征
流批处理
通过高效的批处理操作简化数据处理。
无残差分类器指导
改进的引导机制可最大限度地减少计算冗余。
随机相似性过滤器
通过先进的过滤技术提高GPU利用效率。
IO队列
有效管理输入和输出操作,以实现更顺畅的执行。
KV-Cache 的预计算
优化缓存策略以加速处理。
模型加速工具
利用各种工具进行模型优化和性能提升。
安装
Step0: 克隆这个存储库
git clone https://github.com/cumulo-autumn/StreamDiffusion.git
Step1:搭建环境
您可以通过 pip、conda 或 Docker 安装 StreamDiffusion(解释如下)。
conda create -n streamdiffusion python=3.10
conda activate streamdiffusion
或者
python -m venv .venv
# Windows
.\.venv\Scripts\activate
# Linux
source .venv/bin/activate
第二步:安装PyTorch
选择适合您的系统的版本。
CUDA 11.8
pip3 install torch==2.1.0 torchvision==0.16.0 xformers --index-url https://download.pytorch.org/whl/cu118
CUDA 12.1
pip3 install torch==2.1.0 torchvision==0.16.0 xformers --index-url https://download.pytorch.org/whl/cu121
详细信息:https: //pytorch.org/
第三步:安装StreamDiffusion
对于用户
安装 StreamDiffusion
#for Latest Version (recommended)
pip install git+https://github.com/cumulo-autumn/StreamDiffusion.git@main#egg=streamdiffusion[tensorrt]
#or
#for Stable Version
pip install streamdiffusion[tensorrt]
安装 TensorRT 扩展
python -m streamdiffusion.tools.install-tensorrt
(仅适用于Windows)如果您安装了稳定版本( ),您可能需要额外安装pywin32 pip install streamdiffusion[tensorrt]
。
pip install --force-reinstall pywin32
以下是 StreamDiffusion 的工作原理的简要概述:
1. 扩散阶段:在这个阶段,模型将一个干净的图像逐渐转换成一个噪声图像。这个过程涉及到在图像上逐步添加噪声,直到图像完全变成随机噪声。这个阶段通常使用一个预先训练好的噪声模型来完成。
2. 去噪阶段:在扩散阶段之后,模型尝试从噪声图像中恢复出干净的图像。这通常通过训练一个去噪模型来完成,该模型学习如何从噪声图像中去除噪声并恢复出原始的干净图像。这个去噪模型可以是基于各种神经网络架构的,例如卷积神经网络(CNN)或变分自编码器(VAE)。
StreamDiffusion 通过优化这两个阶段的模型来实现高效的图像生成。它使用了一些技术,如高效的数据处理管道、优化的神经网络架构、以及针对GPU加速的算法,从而提高了生成图像的速度和质量。
此外,StreamDiffusion 还可能使用了一些特定的技术来进一步提高性能,例如:
多尺度生成:在不同尺度上生成图像,可以更快地产生细节。
动态阈值:在生成过程中动态调整噪声阈值,以平衡生成速度和图像质量。
渐进式采样:在生成过程中逐步增加采样点,以减少计算量并提高效率。
总的来说,StreamDiffusion 通过结合高效的算法和优化的神经网络设计,实现了在实时交互环境中快速生成高质量图像的能力。这使得它在需要实时图像生成的应用场景中非常有用,例如视频游戏、虚拟现实和增强现实应用。
github地址:
https://github.com/cumulo-autumn/StreamDiffusion
thumor AI 免费、轻松优化图片
thumor 是一项智能成像服务,可实现按需裁剪、调整大小、应用滤镜和优化照片。
github地址:
https://github.com/thumbor/thumbor
国内源代码:
http://www.gitpp.com/pythonking/thumbor
Thumor的介绍
Thumor 这个名字很有趣,它结合了 "thumb"(拇指)和 "morph"(变形)两个词,意味着这项服务可以对图像进行各种变形处理。这项智能成像服务确实提供了按需裁剪、调整大小、应用滤镜和优化图像等功能,非常方便用户对图片进行个性化处理。
Thumor 是一款由 AI 驱动的开源照片缩略图服务,它具备强大的图像处理能力。通过AI 驱动的图像处理技术使得 Thumor 能够根据用户的需求和场景智能地调整图片。例如,在制作证件照时,Thumor 可以自动将人脸居中,并调整照片尺寸以符合不同证件的要求;在编辑社交媒体头像时,Thumor 可以智能地优化图片质量,使头像更加清晰、美观。
Thumor 的 AI 技术还具有以下优点:
1. 自动化:AI 可以自动识别并处理图像中的关键区域,如人脸、风景等,确保图片在缩放和裁剪过程中保持高质量。
2. 实时预览:在应用滤镜、调整大小等操作时,Thumor 可以实时预览效果,让用户在操作过程中直观地感受到变化。
3. 智能优化:Thumor 的 AI 技术可以根据图像的特性自动优化图片,提高图像质量,使图片在各种场景下都能保持良好的观赏效果。
4. 开源:作为一款开源项目,Thumor 吸引了众多开发者参与,不断推动项目的更新和完善。这意味着用户可以期待 Thumor 未来带来更多创新功能和更好的用户体验。
总之,Thumor 是一款 AI 驱动的开源照片缩略图服务,它凭借强大的图像处理能力为用户提供了个性化、智能化的图片处理服务。随着人工智能技术的不断进步,Thumor 有望在未来成为智能成像服务领域的领导者。
在我国,类似的智能成像服务有很多,如美图秀秀、PicsArt 等。这些软件为广大用户提供了丰富的图片处理功能,包括滤镜、贴纸、文字、涂鸦等,可以满足大家在日常生活、社交和娱乐等方面的需求。
值得一提的是,随着人工智能技术的发展,这些智能成像服务还在不断升级,未来或能提供更多智能化、个性化的图像处理功能。
Thumor 是一款由 Globo.com 提供的开源照片缩略图服务。它是一款智能成像服务,可以实现按需裁剪、调整大小、应用滤镜和优化图像等功能。Thumor 可以帮助用户对图片进行个性化处理,满足他们在日常生活、社交和娱乐等方面的需求。
作为一款开源项目,Thumor 吸引了众多开发者和用户的关注。它在全球范围内得到了广泛的部署和使用,为用户提供了便捷、高效的图片处理能力。与此同时,Thumor 项目也在不断发展和完善,以满足不断变化的市场需求和用户期望。
Thumor 是一款实用的开源照片缩略图服务,它为用户提供了一系列丰富的图片处理功能,使得用户可以轻松地对照片进行定制和优化。随着项目的不断推进,Thumor 很有潜力在未来成为智能成像服务领域的佼佼者。
Thumor 是一款由 AI 驱动的开源照片缩略图服务,其主要应用场景如下:
1. 图片压缩与优化:Thumor 可以自动识别图片中的主要对象,并针对性地进行压缩和优化,使图片在保证质量的前提下,体积更小,加载速度更快。
2. 图片缩略图生成:为网站、应用程序或其他平台生成合适的图片缩略图,提高用户体验。Thumor 可以智能地调整图片尺寸,同时保持图像质量。
3. 图片加水印:为企业、个人或网站添加图片水印,保护图片版权,防止图片被盗用。Thumor 可以根据需求自动调整水印位置、大小和透明度。
4. 图片裁剪与拼接:Thumor 可以智能地裁剪图片,提取所需区域,或将多张图片拼接成一张。这对于图片编辑、设计等领域具有实用价值。
5. 图片增强与处理:通过 AI 技术,Thumor 可以对图片进行智能增强、对比度调整、色彩平衡等处理,使图片更加美观或符合特定场景的需求。
6. 动态图片处理:Thumor 可以处理动态图片(如 GIF、视频截图等),实现图片的实时压缩、优化和转换。
7. 跨平台应用:Thumor 可以轻松集成到各种操作系统、网站和应用程序中,为用户提供便捷的图片处理功能。
8. 人工智能与机器视觉:Thumor 可以与其他 AI 技术和机器视觉应用相结合,实现更多创新性的图像处理场景,如人脸识别、物体检测等。
9. 开发者工具:Thumor 可以作为一款强大的开发者工具,帮助开发者轻松实现图片处理功能,提高项目效率。
10. 教育与培训:Thumor 可以作为图像处理教育的实践工具,帮助学生和开发者掌握图像处理的基本知识和技能。
安装方式
决定您要使用哪个安装选项。
选项 1:点
# thumbor with main dependencies only
pip install thumbor
# thumbor with OpenCV dependency
pip install thumbor[opencv]
# thumbor with all dependencies
pip install thumbor[all]
选项 2:二进制
sudo add-apt-repository ppa:thumbor/ppa
sudo aptitude update
sudo aptitude install thumbor
更多方式请查看安装。
运行它就像点击一样简单:
thumbor
之后,您可以通过https://localhost:8888/unsafe/https://raw.githubusercontent.com/thumbor/thumbor/master/example.jpg访问它
项目名: ImgPilot -- 通过提示词及涂鸦生成图片
Github 开源地址: https://github.com/leptonai/imgpilot
在线地址: https://www.imgpilot.com/
ImgPilot 是一个采用了基于通用大模型、个性化微调以及多模态提示工具的 AI绘图工具。
用户只需提供简单的提示语,即可实时生成精彩画面。
通过实时绘制图像的功能,让普通人也能通过简单的涂鸦创作出 AI 大作。
画一个长发的男孩:
画一个我们的功夫熊猫:
再来一个圣诞老人,必须带礼物,没礼物不要来:
一杯在桌子上的啤酒:
视频演示:
,时长00:54
项目特点:
完整的前端和后端代码: 该项目提供了前端和后端的全部代码,使用户能够深入了解并定制整个系统。前端代码涉及用户界面和交互,而后端代码涉及服务器端逻辑和数据处理。
本地和云端部署支持: 用户可以选择将系统部署在本地环境,也可以选择在云端进行部署。这种灵活性使项目适用于各种使用场景,无论是个人项目还是大规模商业应用。
完全基于开源: 该项目完全基于开源技术和代码,用户可以自由地查看、修改和共享源代码。同时,由于支持商业目的使用,用户可以在满足开源许可协议的前提下将系统集成到商业产品中。
安装:
# 安装前端的 web 依赖
npm install
# 安装服务端的依赖
pip install -r requirements.txt -U
启动:
# 服务端启动,访问地址 localhost:8080
lep photon run -n imgpilot -m photon/main.py --local
# web 端启动,访问地址 localhost:3000
npm run dev
使用的相关项目:
Lepton AI(AI 服务框架):https://github.com/leptonai/leptonai
Excalidraw(前端绘图工具):https://github.com/excalidraw/excalidraw
Real-Time-Latent-Consistency-Model(AI 模型):https://huggingface.co/spaces/radames/Real-Time-Latent-Consistency-Model
1、DeepFaceLab:
开源地址:https://github.com/iperov/DeepFaceLab
DeepFaceLab是一个用于深度学习驱动的人脸合成和转换的项目,它可以用于制作面部表情转换、面部替换等应用。
2.YOLO(You Only Look Once):
开源地址:https://github.com/AlexeyAB/darknet
YOLO是一个实时目标检测系统,它能够高效地检测图像中的多个对象。YOLO的多个版本和变种都可在GitHub上找到。
3、FastAI
开源地址:https://github.com/fastai/fastai
FastAI是一个高级深度学习库,它提供了用于图像分类、分割、文本处理和推理等任务的快速、易用的API。
4、DeOldify:
开源地址:https://github.com/jantic/DeOldify
DeOldify是一个用于自动着色和修复黑白照片的项目。它使用深度学习模型来还原老照片的色彩。
原文链接:
一款开源的AI修图工具
AI绘图工具开源,它能够每秒生成高达110张图像
一款免费、开源智能成像服务,可轻松优化照片
免费开源的 AI 绘图工具
github上的AI图像开源项目
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。