【Python】conda镜像配置,.condarc文件详解,channel镜像
Code_LT 2024-06-19 09:05:06 阅读 82
1. conda 环境
安装miniconda即可,Miniconda 安装包可以到 http://mirrors.aliyun.com/anaconda/miniconda/ 下载。
安装完后,可进入开始菜单栏中点击Anaconda Promot,通过conda命令进行使用。
.condarc
是conda 应用程序的配置文件,在用户家目录(windows:C:\users\username\),用于管理镜像源。如果不存在,则打开conda的,执行一下:
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
2. conda包管理目录
anaconda安装的位置/pkgs
该目录是用户指定update或install时由 Conda 下载并提取的包,都是解压后的包,可以在 conda 环境中通过link关联。
anaconda安装的位置\envs\虚拟环境\Lib\site-packages
则是启用虚拟环境后import时导入包的地方。它们来自anaconda安装的位置/pkgs。
anaconda安装的位置/Lib/site-packages
是base环境的路径。
3. 配置镜像源
3.1 通过命令配置和删除
# 查看当前conda配置conda config --show channels# 增加channelconda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud//pytorch/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ #设置搜索是显示通道地址conda config --set show_channel_urls yes
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
会直接加到.condarc
文件的channels下面,成为一个独立的channel:
3.2 通过修改文件添加(推荐)
直接修改.condarc
文件是最方便的。
大家常搜到的配置文件如下:
阿里源(来自阿里云官方镜像配置指导):
channels: - defaultsshow_channel_urls: truedefault_channels: - http://mirrors.aliyun.com/anaconda/pkgs/main - http://mirrors.aliyun.com/anaconda/pkgs/r - http://mirrors.aliyun.com/anaconda/pkgs/msys2custom_channels: conda-forge: http://mirrors.aliyun.com/anaconda/cloud msys2: http://mirrors.aliyun.com/anaconda/cloud bioconda: http://mirrors.aliyun.com/anaconda/cloud menpo: http://mirrors.aliyun.com/anaconda/cloud pytorch: http://mirrors.aliyun.com/anaconda/cloud simpleitk: http://mirrors.aliyun.com/anaconda/cloud
清华源:
channels: - defaultsshow_channel_urls: truedefault_channels: - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2custom_channels: conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
配置完后如果不生效可清空conda缓存再试试:
conda clean -i
4. .conda文件详解
conda 配置文件.condarc
是一个可选的运行时配置文件,允许用户配置 conda 的各个方面,例如在哪些channel中搜索包、代理设置和环境目录。本文仅讨论和channel相关的部分。
4.1 channels
channels下面配置的就是可访问的chennel。
修改.condarc
文件的channels会覆盖 conda 搜索的默认值,导致 conda 仅按给定顺序搜索此处列出的频道。
频道有url和非url之分:
url:自定义的搜索地址,如前面的https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
非url: Anaconda.org 用户或组织名称,如conda-forge对应着https://conda.anaconda.org
中的conda-forge。
如果.condarc
文件如下:
channels: - conda-forge - http://Code_LT - defaults
则conda搜索pandas
包的时候就会按conda-forge->http://Code_LT->defaults
的顺序搜索。
4.2 channels分类
conda把channel分为两类
默认channel(default channels)社区channel(community channels)
如果不修改.condarc
文件,conda会默认从这两类channel中搜索需要的包:
默认channel:对应repo.anaconda.com
仓,硬编码写死了对应如下三个仓库(:
https://repo.anaconda.com/pkgs/mainhttps://repo.anaconda.com/pkgs/rhttps://repo.anaconda.com/pkgs/msys2
社区channel:对应conda.anaconda.org
仓,即https://conda.anaconda.org
4.3 channels镜像修改
.condarc
文件除了把url硬编码进chennels下面,还可以把非url的Anaconda.org 用户或组织名称映射到指定的仓。
根据channels分类可知道,要修改的化就涉及默认channel和社区channel的修改。
利用
default_channels
修改默认channel
如前面讲的阿里镜像中的:
default_channels: - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
则把原有的defaults
对应的仓换成了上面的阿里仓。
利用
channel_alias
修改社区channel
所有社区频道都会被修改,这个用得比较少,如:
channel_alias: https://my-mirror.com
则配置conda-forge频道后,conda不会再去https://conda.anaconda.org
搜。
利用
custom_channels
修改指定社区channel
custom_channels: conda-forge: https://Code_LT/conda-forge
这样写进.condarc文件中后,配置conda-forge就不会再去https://conda.anaconda.org
搜,而是到https://Code_LT/conda-forge
搜,其他社区频道不变。
这样,清华源和阿里源的配置就弄明白了。
4.4 channel_priority
频道优先级,可以通过命令
conda config --describe channel_priority
查看该字段的含义
# # Accepts values of 'strict', 'flexible', and 'disabled'. The default# # value is 'flexible'. With strict channel priority, packages in lower# # priority channels are not considered if a package with the same name# # appears in a higher priority channel. With flexible channel priority,# # the solver may reach into lower priority channels to fulfill# # dependencies, rather than raising an unsatisfiable error. With channel# # priority disabled, package version takes precedence, and the# # configured priority of channels is used only to break ties. In# # previous versions of conda, this parameter was configured as either# # True or False. True is now an alias to 'flexible'.
默认是flexible,看不少博客推荐strict
,可通过如下方式修改:
conda config --set channel_priority strict
或者直接在.condarc
文件中添加:channel_priority: strict
4.5 为环境配置单独的.condarc文件
要为单个环境选择通道,请将.condarc 文件放入该环境的根目录中(或 使用conda config
时使用--env
选项)。
示例:如果您已在主目录中安装了带有 Python 3 的 Miniconda,并且环境名为“flowers”,则路径可能为:
~/miniconda3/envs/flowers/.condarc
5. 配置文件冲突解决
conda会在如下目录中搜索.condarc文件
if on_win: SEARCH_PATH = ( "C:/ProgramData/conda/.condarc", "C:/ProgramData/conda/condarc", "C:/ProgramData/conda/condarc.d", )else: SEARCH_PATH = ( "/etc/conda/.condarc", "/etc/conda/condarc", "/etc/conda/condarc.d/", "/var/lib/conda/.condarc", "/var/lib/conda/condarc", "/var/lib/conda/condarc.d/", )SEARCH_PATH += ( "$CONDA_ROOT/.condarc", "$CONDA_ROOT/condarc", "$CONDA_ROOT/condarc.d/", "$XDG_CONFIG_HOME/conda/.condarc", "$XDG_CONFIG_HOME/conda/condarc", "$XDG_CONFIG_HOME/conda/condarc.d/", "~/.config/conda/.condarc", "~/.config/conda/condarc", "~/.config/conda/condarc.d/", "~/.conda/.condarc", "~/.conda/condarc", "~/.conda/condarc.d/", "~/.condarc", "$CONDA_PREFIX/.condarc", "$CONDA_PREFIX/condarc", "$CONDA_PREFIX/condarc.d/", "$CONDARC",)
多个文件之间可能会发生冲突,按照如下原则解决冲突(具体不展开了,可自行查看官网资料):
Lists - mergeDictionaries - mergePrimitive - clobber
冲突解决的优先级:
6. conda常用命令
# 获取版本号conda -V# 获取帮助conda -h# 环境管理命令帮助conda env -h# 列举所有环境conda info --envconda env list# Python创建虚拟环境conda create -n your_env_name python=x.x# 复制某个环境conda create --name new_env_name --clone old_env_name # 彻底删除旧环境,则可以实现重命名环境conda remove --name old_env_name --all # 注意:必须在base环境下进行以上操作,否则会出现各种莫名的问题。# 激活或者切换虚拟环境Windows: activate your_env_nameLinux: source activate your_env_nam # 关闭虚拟环境(即从当前环境退出返回使用PATH环境中的默认python版本)Windows: deactivate 或者 activate root 切回root环境Linux:source deactivate # 删除虚拟环境conda remove -n your_env_name --all# 删除环境钟的某个包conda remove --name $your_env_name $package_name # 列举包conda listconda list -n your_env_name # 列举非当前活跃环境下的所有包# 安装包conda install [package]conda install -n your_env_name [package] # 安装非当前活跃环境下的包conda install --channel https://conda.anaconda.org/anaconda tensorflow=1.8.0 # 指定版本和channel# 升级包conda update [package] conda update conda # 升级conda# 查找包conda search -h # 查看search使用帮助信息conda search tensorflow # 查看指定包可安装版本信息命令conda search llama-index --channel conda-forge #指定频道搜索# 卸载包conda uninstall [package] # 卸载xxx文件包# 清理包conda clean -p //删除没有用的包 # 这个命令会检查哪些包没有在包缓存中被硬依赖到其他地方,并删除它们conda clean -t //删除tar包conda clean -y --all //删除所有的安装包及cache# 分享环境activate target_env # 进入要分享的环境conda env export > environment.yml # 当前工作目录下生成一个environment.ymlconda env create -f environment.yml # 拿到environment.yml文件后,将该文件放在工作目录下,可以通过以下命令从该文件创建环境
7. conda install和pip install
先说结论:conda 中可以使用pip, 但conda 并不兼容pip, pip 安装的包越多, 越容易引发包版本依赖问题, 所以能用conda安装的包先用conda 安装, 不能的再到激活的虚拟环境里用pip安装.
conda install xxx
:这种方式安装的库都会放在anaconda安装的位置/pkgs
目录下,这样的好处就是,当在某个环境下已经下载好了某个库,再在另一个环境中还需要这个库时,就可以直接从pkgs目录下将该库复制至新环境而不用重复下载。
pip install xxx
:分两种情况,一种情况就是当前conda环境的python是conda安装的,和系统的不一样,那么xxx会被安装到anaconda安装的位置/envs/current_env/lib/python3.x/site-packages
文件夹中,如果当前conda环境用的是系统的python,那么xxx会通常会被安装到~/.local/lib/python3.x/site-packages
文件夹中。
8. conda配置代理
.condarc
文件中加入代理信息即可
channels: - defaultsshow_channel_urls: true... proxy_servers: http: http://xxx.xx.com:8080 https: https://xxx.xx.com:8080ssl_verify: false
注意把http:和https:后面的链接换成你的代理链接和端口号。
9. 常见报错
9.1 PackagesNotFoundError
PackagesNotFoundError: The following packages are not available from current channels
两个常见原因:
镜像本身的问题(比如网络问题或者服务问题),解决方法:清华源和阿里源切换着试试要安装的包不在default频道里,从上面的配置说明可以知道,默认.condarc
文件配置,只启用了default频道,如果知道某些包在其他频道,比如tiktoken就在conda-forge频道里,那就要把conda-forge在channels下面启用
channels: - defaults - conda-forgeshow_channel_urls: truedefault_channels: - http://mirrors.aliyun.com/anaconda/pkgs/main - http://mirrors.aliyun.com/anaconda/pkgs/r - http://mirrors.aliyun.com/anaconda/pkgs/msys2custom_channels: conda-forge: http://mirrors.aliyun.com/anaconda/cloud msys2: http://mirrors.aliyun.com/anaconda/cloud bioconda: http://mirrors.aliyun.com/anaconda/cloud menpo: http://mirrors.aliyun.com/anaconda/cloud pytorch: http://mirrors.aliyun.com/anaconda/cloud simpleitk: http://mirrors.aliyun.com/anaconda/cloud
或者不想改配置文件也可以conda命令行里带指定频道:
conda install --channel conda-forge tiktoken
9.2 CondaHTTPError: HTTP 000 CONNECTION FAILED for url
应该是网速的原因,因为下载时间过长,会自动断开,就会提示连接失败,设置延时1000s,如果还是不行的话就设置2000s。
conda config --set remote_read_timeout_secs 1000.0
或者在.condarc
文件中添加
参考:
Anaconda安装的包所在的位置
Anaconda的包路径,终于讲清楚了
官网:安装包list和位置相关
【conda】配置国内镜像源
官网:conda目录结构介绍
官网:.condarc文件官方解释
官网:channel镜像的官方说明
阿里云官方镜像配置指导
python中的PYTHONHASHSEED
pip install 和conda install有什么区别吗?
工具篇:conda and pip
conda常用命令:安装,更新,创建,激活,关闭,查看,卸载,删除,清理,重命名,换源,问题
conda配置代理
CondaHTTPError: HTTP 000 CONNECTION FAILED for url解决方法
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。