文章目录

前言关键词主要参考一、conda配置esmfold基础环境step1. 将以下内容保存为：`conda_environment.yml`step2. 构建conda环境step3. 检查conda安装包的版本号step4. 将以下内容保存为：`pip_requirements.txt`step5. pip更新安装包版本

二、esmfold安装三、openfold安装step1：Github克隆特定版本openfold并安装step2：mkl版本问题step3：pytorch+gcc+cuda对应问题step4：torch-gpu未安装step5： setup.py更改step6：openfold成功安装

四、成功调用测试五、其他可行方案和小TIPS小TIPS-1：miniforge的mamba小TIPS-2：如何查看自己显卡构架信息其他可行方案

六、更新信息总结

前言

机器学习的各种软件版本对应真的是深度学习初学者（我）的一生之敌啊，继上一次部署了一周的colabfold后，如今我又开始和esmfold的安装在掰头了，还好这次只花了两天就取得了阶段性胜利。本文主要记录一下配置的全流程以及主要问题的解决。

关键词

esmfold安装全流程，GPU配置和部署，github克隆和安装

主要参考

esmfold 参考

1. https://blog.csdn.net/weixin_40192882/article/details/136178381/

2. https://github.com/facebookresearch/esm/openfold 参考

3. https://github.com/aqlaboratory/openfold/tree/f434a2786b5a6b39171f358fb3470ad9f4fd2a58/

4. https://openfold.readthedocs.io/en/latest/Installation.html#%22https://github.com/conda-forge/miniforge/releases/latest/download/

一、conda配置esmfold基础环境

step1. 将以下内容保存为：<code>conda_environment.yml

name: esmfold

channels:

- conda-forge

- bioconda

- pytorch

dependencies:

- conda-forge::python=3.7

- conda-forge::setuptools=59.5.0

- conda-forge::pip

- conda-forge::openmm=7.5.1

- conda-forge::pdbfixer

- conda-forge::cudatoolkit==11.3.*

- conda-forge::cudatoolkit-dev==11.3.*

- conda-forge::einops==0.6.1

- conda-forge::fairscale

- conda-forge::omegaconf

- conda-forge::hydra-core

- conda-forge::pandas

- conda-forge::pytest

- bioconda::hmmer==3.3.2

- bioconda::hhsuite==3.3.0

- bioconda::kalign2==2.04

- pytorch::pytorch=1.12.*

step2. 构建conda环境

conda env create -f conda_environment.yml ##创建esmfold环境

step3. 检查conda安装包的版本号

conda env list ##查看刚构建的conda环境

conda activate esmfold ##进入构建的conda环境

conda list ##列出此conda环境的所有软件包

step4. 将以下内容保存为：pip_requirements.txt

biopython==1.79

deepspeed==0.5.9

dm-tree==0.1.6

ml-collections==0.1.0

numpy==1.21.2

PyYAML==5.4.1

requests==2.26.0

scipy==1.7.1

tqdm==4.62.2

typing-extensions==3.10.0.2

pytorch_lightning==1.5.10

wandb==0.12.21

biotite==0.39.0

matplotlib

joblib

step5. pip更新安装包版本

pip install -r pip_requirements.txt

二、esmfold安装

按照官网教程，下一步就应该跑这几个pip，然后就完美收官了！BUT！以我半年来装带显卡的深度学习软件经验来看，配置可能还会和本机原有配置冲突，果不其然，openfold就是怎么也装不上。

pip install fair-esm # latest release，OR

pip install git+https://github.com/facebookresearch/esm.git # bleeding edge, current repo main branch

pip install "fair-esm[esmfold]"

# OpenFold and its remaining dependency

pip install 'dllogger @ git+https://github.com/NVIDIA/dllogger.git'

pip install 'openfold @ git+https://github.com/aqlaboratory/openfold.git@4b41059694619831a7db195b7e0988fc4ff3a307'

如果有小伙伴在这一步就完美通关了，恭喜你，可以直接跳过第三部分openfold的曲折安装直接调用程序了！

三、openfold安装

> 由于实在不清楚git+https://github.com/aqlaboratory/openfold.git@4b41059694619831a7db195b7e0988fc4ff3a307是openfold的哪个版本号，所以下文安装的是目前最新的openfoldv.2.1.0

更正：由于后续发现只有openfoldv.1才能正常使用esmfold模拟，下文重新介绍如何安装openfoldv.1

（备注：使用openfoldv.2.1.0时模拟出现的问题：Keys ‘trunk.structure_module.ipa.linear_q_points.linear.weight, trunk.structure_module.ipa.linear_q_points.linear.bias, trunk.structure_module.ipa.linear_kv_points.linear.weight, trunk.structure_module.ipa.linear_kv_points.linear.bias’ are missing.）

（建议：step2-5是我安装时遇到的问题及解决办法，给大家提供个参考。建议大家运行完step1后根据自己安装的报错信息找相应的问题，无需按照我的顺序安装）

step1：Github克隆特定版本openfold并安装

https://blog.csdn.net/qq_45961101/article/details/130384117

https://blog.csdn.net/weixin_44789022/article/details/138523343

重新再看这段信息，会发现救赎之道就在其中。所有pip install ‘git’ 失败的都可以尝试下以下方法。

<code>## 下载最新版本的openfold（弃用）

# git clone --depth=1 https://github.com/aqlaboratory/openfold.git

## 下载指定版本的openfold

git clone --filter=blob:none --quiet https://github.com/aqlaboratory/openfold.git ./openfold

cd ./openfold/

git rev-parse -q --verify 'sha^4b41059694619831a7db195b7e0988fc4ff3a307'

git fetch -q https://github.com/aqlaboratory/openfold.git 4b41059694619831a7db195b7e0988fc4ff3a307

git checkout -q 4b41059694619831a7db195b7e0988fc4ff3a307

运行完这几步，会发现在./openfold/setup.py里version由原来的2.0.0变成了1.0.0，说明指定版本openfold下载成功。

<code>## 安装

pip install -e .

step2：mkl版本问题

报错：“undefined symbol: iJIT_NotifyEvent”

解决方法：对mkl进行降级

https://blog.csdn.net/mr_hore/article/details/138961434

<code>conda uninstall mkl

conda install mkl=2018 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/linux-64/

step3：pytorch+gcc+cuda对应问题

提供一下我多次尝试安装成功的配置（网上也有很多提到配置pytorch和cuda配置的问题，但很少会提到偶尔也会出现的gcc配置问题）：pytorch1.12.1+cuda11.3+cudnn8.9+gcc7

(备注：有时候不改gcc版本也可安装成功)

##cuda和cudnn只能在nvidia下载，conda下载cuda环境对openfold不管用

#https://blog.csdn.net/ksws0292756/article/details/80120561

##conda下载gcc和gxx

conda install -c moussi gcc_impl_linux-64=7.3.0

conda install -c moussi gxx_impl_linux-64=7.3.0

cd /home/line2/anaconda3/envs/esmfold_env/bin

##链接到gcc和gxx(进入自己的bin看叫gcc和gxx什么名字)

ln -s ./x86_64-conda_cos6-linux-gnu-gcc ./gcc

ln -s ./x86_64-conda_cos6-linux-gnu-g++ ./g++

到此为止，在自己的conda环境下检查cuda和gcc应该都是对应新安装的版本

nvcc -V ##cuda版本

gcc -v ##gcc版本

step4：torch-gpu未安装

报错：“No CUDA runtime is found, using CUDA_HOME=‘/usr/local/cuda’”

解决办法：安装对应的torch

https://pytorch.org/get-started/previous-versions/

<code>pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 -f https://mirror.sjtu.edu.cn/pytorch-wheels/torch_stable.html

conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3 -c pytorch

step5： setup.py更改

报错：“subprocess.CalledProcessError: Command ‘[‘ninja‘, ‘-v‘]‘ returned non-zero exit status 1”

解决办法：https://blog.csdn.net/fq9200/article/details/125362088

将setup.py中的"cmdclass={‘build_ext’: BuildExtension}”这一行改为“cmdclass={‘build_ext’: BuildExtension.with_options(use_ninja=False)}"

报错：“nvcc fatal : Unsupported gpu architecture ‘compute_89’”

解决办法：将setup.py中"f’arch=compute_{major}{minor},code=sm_{major}{minor}‘，"改为"f’arch=compute_70,code=sm_70’,"（备注：理论上替换成你的nvcc支持的compute构架就行，详见后文小TIPS-2）

step6：openfold成功安装

四、成功调用测试

将以下内容保存为：<code>test.fasta

>test

MKTVRQERLKSIVRILERSKEPVSGAQLAEELSVSRQVIVQDIAYLRSLGYNIVATPRGYVLAGG

运行测试代码

esm-fold -i test.fasta -o ./

恭喜！完结撒花！

五、其他可行方案和小TIPS

小TIPS-1：miniforge的mamba

我发现用miniforge3构建esmfold的conda环境比用anaconda3构建的少很多报错（本来openfold官网推荐的也是miniforge的mamba安装哈哈），推荐大家尝试miniforge3安装。

<code>mkdir miniforge

cd miniforge

wget https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge-pypy3-Linux-x86_64.sh

bash Miniforge3-Linux-x86_64.sh

小TIPS-2：如何查看自己显卡构架信息

网页搜索：NVIDIA Ada（替换成自己显卡架构名字） GPU Architecture Compatibility

nvidia-smi -q | grep -i arch ##方法一：查看显卡构架名字

nvcc --list-gpu-arch ##方法二：直接查看支持的compute构架

其他可行方案

所有步骤运行下来会发现esmfold安装的核心在于正确安装openfoldv.1.0.0，既然如此我们打蛇打七寸，直接先参考openfold安装步骤安装openfoldv.1.0.0，然后在openfoldv.1.0.0环境中补充安装esmfold即可（两者给出的environment.yml基本是一样的）

cd openfold

## 安装完成openfold

/home/line2/miniforge3/bin/mamba env create -n openfold_venv -f environment.yml

#conda config --show envs_dirs

#conda config --append envs_dirs /home/line2/miniforge3/envs

conda activate openfold_venv

bash scripts/install_third_party_dependencies.sh

pip install -e .

## 安装完成esmfold

pip install fair-esm # latest release，OR

pip install git+https://github.com/facebookresearch/esm.git # bleeding edge, current repo main branch

pip install "fair-esm[esmfold]"

## 成功

六、更新信息

20240730 第一次更新：更正安装openfold版本，增加调用数据测试。

总结

世上无难事，只怕有心人。