文章目录

资料支撑

资料结论

sdwebui A1111 速度对比测试

sdxl

xformers 用contorlnet sdxl

sdpa（--opt-sdp-no-mem-attention） 用contorlnet sdxl

sdpa(--opt-sdp-attention) 用contorlnet sdxl

不用xformers或者sdpa ,用contorlnet sdxl

不用xformers或者sdpa 纯生图 sdxl

用sdpa 纯生图 不用contorlnet 生图时间

sd1.5

不用xformers或者sdpa sd1.5+hirefix2倍 纯生图512

用sdpa sd1.5+hirefix2倍 纯生图512

不用xformers或者sdpa sd1.5 纯生图512

用sdpa sd1.5 纯生图512

其他速度

结论

资料支撑

xformers中可以使用Flashv2

https://github.com/facebookresearch/xformers/issues/795

https://github.com/vllm-project/vllm/issues/485

https://github.com/facebookresearch/xformers/issues/832

PyTorch 支持 Flash Attention 2。

Flash Attention 2 是 Flash Attention 的改进版本，它提供了更高的性能和更好的并行性。它于 2023 年 11 月发布，并被集成到 PyTorch 2.2 中。

PyTorch 2.2 于 2024 年 2 月发布，它包含以下与 Flash Attention 2 相关的更新：

将 Flash Attention 内核更新到 v2 版本

支持 aarch64 平台上的 Flash Attention 2

修复了 Flash Attention 2 中的一些已知问题

要使用 Flash Attention 2，您需要安装 PyTorch 2.2 或更高版本。您还可以使用 torch.nn.functional.flash_attn() 函数显式调用 Flash Attention 2。

以下是一些有关如何使用 Flash Attention 2 的资源：

PyTorch 文档：https://discuss.pytorch.org/t/flash-attention/174955

Flash Attention 2 论文：https://arxiv.org/abs/2307.08691

Flash Attention 2 GitHub 存储库：https://github.com/Dao-AI