前置文档：Python｜Windows 安装 DeepSpeed 报错 Unable to pre-compile async_io 处理

直接 pip 安装 deepspeed 的报错信息

如果直接使用 <code>pip install DeepSpeed 安装，会触发如下报错信息。出现后，需使用如下方法完成安装。

Collecting deepspeed

Downloading deepspeed-0.14.3.tar.gz (1.3 MB)

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1.3/1.3 MB 4.1 MB/s eta 0:00:00

Preparing metadata (setup.py) ... error

error: subprocess-exited-with-error

× python setup.py egg_info did not run successfully.

│ exit code: 1

╰─> [15 lines of output]

test.c

LINK : fatal error LNK1181: 无法打开输入文件“aio.lib”

Traceback (most recent call last):

File "<string>", line 2, in <module>

File "<pip-setuptools-caller>", line 34, in <module>

File "C:\Users\Changxing\AppData\Local\Temp\pip-install-m3_5w4lm\deepspeed_f82b888e581d4d19a24987ccd691885a\setup.py", line 181, in <module>

abort(f"Unable to pre-compile {op_name}")

File "C:\Users\Changxing\AppData\Local\Temp\pip-install-m3_5w4lm\deepspeed_f82b888e581d4d19a24987ccd691885a\setup.py", line 53, in abort

assert False, msg

AssertionError: Unable to pre-compile async_io

DS_BUILD_OPS=1

[WARNING] async_io requires the dev libaio .so object and headers but these were not found.

[WARNING] If libaio is already installed (perhaps from source), try setting the CFLAGS and LDFLAGS environment variables to where it can be found.

[WARNING] One can disable async_io with DS_BUILD_AIO=0

[ERROR] Unable to pre-compile async_io

[end of output]

note: This error originates from a subprocess, and is likely not a problem with pip.

error: metadata-generation-failed

× Encountered error while generating package metadata.

╰─> See above for output.

note: This is an issue with the package mentioned above, not pip.

hint: See above for details.

Windows 安装 DeepSpeed 的方法

Step 1｜克隆 DeepSpeed 仓库

git clone https://github.com/microsoft/DeepSpeed.git

Step 2｜使用 PowerShell，进入 DeepSpeed 仓库路径

PowerShell 可以通过 Win + r 搜索 powershell 启动。

<code>cd DeepSpeed

Step 3｜设置环境变量

Set-Item Env:\DS_BUILD_OPS 0

Step 4｜修复 DeepSpeed 仓库 2024.06.01 提交引入的 Bug

此时如果直接执行 setup.py 编译 DeepSpeed，可能会触发如下报错，这是因为 2024.06.01 的提交引入的 Bug：

Traceback (most recent call last):

File "C:\Git-source\DeepSpeed\setup.py", line 212, in <module>

shutil.copytree('.\\csrc', '.\\deepspeed\\ops')

File "C:\py\py311\Lib\shutil.py", line 561, in copytree

return _copytree(entries=entries, src=src, dst=dst, symlinks=symlinks,

^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

File "C:\py\py311\Lib\shutil.py", line 459, in _copytree

os.makedirs(dst, exist_ok=dirs_exist_ok)

File "<frozen os>", line 225, in makedirs

FileExistsError: [WinError 183] 当文件已存在时，无法创建该文件。: '.\\deepspeed\\ops'

观察报错信息，可以看到是 setup.py 中的第 211 - 215 行，这段代码如下：

if sys.platform == "win32":

shutil.copytree('.\\csrc', '.\\deepspeed\\ops')

shutil.copytree('.\\op_builder', '.\\deepspeed\\ops')

shutil.copytree('.\\accelerator', '.\\deepspeed\\accelerator')

egg_info.manifest_maker.template = 'MANIFEST_win.in'

可以看到，这三行尝试将 csrc 复制到 deepspeed/ops 下时，发现路径已存在。查看这 3 个文件，发现其中 Linux 中使用的重定向文件。但是，这里的用法时错误的，无法覆盖文件，且路径也是错误的。这个提交是 2024.06.01 的提交，对应的 Issue 是：https://github.com/microsoft/DeepSpeed/pull/5596。

而无法 Build 的问题也已经提交了 Issue：https://github.com/microsoft/DeepSpeed/issues/5679。

将 211 - 215 行修改为如下逻辑：

<code>if sys.platform == "win32":

shutil.copytree('.\\csrc', '.\\deepspeed\\ops\\csrc')

shutil.copytree('.\\op_builder', '.\\deepspeed\\ops\\op_builder')

shutil.copytree('.\\accelerator', '.\\deepspeed\\accelerator')

egg_info.manifest_maker.template = 'MANIFEST_win.in'

并且，因为 shutil.copytree 不会实现覆盖，所以需要手动删除掉 DeepSpeed/deepspeed/ops 下的 crsc 和 op_builder 文件，以及 DeepSpeed/deepspeed 路径下的 accelerator 文件。

Step 5｜编译 DeepSpeed 仓库

执行 <code>build_win.bat 脚本编译，其中在配置环境变量后，也是通过 setup.py 完成编译：

.\build_win.bat

如果运行出现如下报错，则说明需要执行 Step 4 的步骤：

FileExistsError: [WinError 183] 当文件已存在时，无法创建该文件。: '.\\deepspeed\\ops'

FileExistsError: [WinError 183] 当文件已存在时，无法创建该文件。: '.\\deepspeed\\accelerator'

Step 6｜进入 dist 路径

进入 dist 路径，查看其中文件，应已经包含刚才成功编译的包：

<code>cd dist

ls

目录: C:\Git-source\DeepSpeed\dist

Mode LastWriteTime Length Name

---- ------------- ------ ----

-a---- 2024/6/17 8:34 1018363 deepspeed-0.14.4+eda5075b-py3-none-any.whl

Step 7｜安装编译生成的包

pip install deepspeed-0.14.4+eda5075b-py3-none-any.whl

安装成功。