卸载<code>.deb(local)安装的CUDA

很麻烦，这也是为什么上面推荐使用.run的方式安装CUDA

查看有什么包，以防止误删（针对已经安装多个版本的CUDA）

通过.deb安装的CUDA版本可以使用以下命令查看：dpkg -l | grep cuda通过.run文件安装的CUDA版本通常可以通过查看/usr/local目录来检查：ls /usr/local | grep cuda

卸载CUDA工具包和相关组件：

sudo apt-get remove --purge '^cuda-.*'

sudo apt-get remove --purge '^libnvidia-.*'

sudo apt-get remove --purge '^nvidia-.*'

'^cuda-.*'：匹配所有以cuda-开头的包，如cuda-toolkit-12-6、cuda-drivers等。'^libnvidia-.*' 和 '^nvidia-.*'：匹配所有以libnvidia-或nvidia-开头的包，删除与NVIDIA相关的库和驱动程序。一般删完第一个'^cuda-.*'，后面都没有了

移除本地的CUDA存储库和GPG密钥：

sudo rm /etc/apt/sources.list.d/cuda*

sudo rm /etc/apt/preferences.d/cuda-repository-pin-600

sudo rm /usr/share/keyrings/cuda-*-keyring.gpg

sudo rm /etc/apt/sources.list.d/cuda*：删除CUDA存储库的源列表文件，以免APT继续尝试从NVIDIA存储库中获取更新。sudo rm /etc/apt/preferences.d/cuda-repository-pin-600：删除为CUDA存储库设置的APT优先级文件。sudo rm /usr/share/keyrings/cuda-*-keyring.gpg： 删除CUDA存储库的GPG密钥。

清理APT缓存：

sudo apt-get autoremove

sudo apt-get autoclean

autoremove：删除系统中不再需要的依赖包。autoclean：清除APT缓存中的旧版本软件包文件。

删除CUDA安装目录（可选）：

bash复制代码

sudo rm -rf /usr/local/cuda*

删除默认安装的CUDA目录（一般在/usr/local/cuda），包括所有版本的CUDA。如果安装了多个CUDA版本，可以只删除特定版本的目录。

检查：dpkg -l | grep cuda，应该没有输出

卸载残留软件：Nsight system和Nsight compute

$ sudo apt list --installed | grep 'nsight'

nsight-compute-2024.1.1/now 2024.1.1.4-1 amd64 [installed,local]

nsight-systems-2023.4.4/now 2023.4.4.54-234433681190v0 amd64 [installed,local]

$ sudo apt purge nsight-compute-2024.1.1 nsight-systems-2023.4.4

$ sudo apt autoremove

cuDNN for Linux

安装准备

下载页面：cuDNN Archive

官方安装文档：

.tar压缩包安装方式：Tarball Installation.deb安装方式：Package Manager Local Installation-Ubuntu/Debian Local Installation

安装方式选择：

.tar压缩包安装：没有使用系统的软件包管理（dpkg），需要对Linux有一定的了解，但是可以同时安装多个版本并人为控制调用.deb包安装：探索起来麻烦，但是去除弯路后安装方便，然而不方便进行多版本控制省流：有多版本需求考虑.tar压缩包安装，否则用.deb包一键安装

下载对应CUDA版本的cuDNN（需要登录）

.tar压缩包安装方式

我的下载版本为：

cuDNN v8.9.7 (December 5th, 2023), for CUDA 12.x 的 Local Installer for Linux x86_64 (Tar)

得到文件cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz

.deb包安装方式

我的下载版本为：

cuDNN v8.9.7 (December 5th, 2023), for CUDA 12.x 的 Local Installer for Ubuntu22.04 x86_64 (Deb)

得到文件cudnn-local-repo-ubuntu2204-8.9.7.29_1.0-1_amd64.deb

.tar.xz压缩包安装方式

安装

创建目录：sudo mkdir -p /opt/cudnn/cudnn-8.9.7

解压缩并移动文件夹并重命名：

如果没有多版本需求，也可以不放在opt内，或许可以直接写在/usr/local/cudnn下，看个人需求

# 解压、移动、strip-components=1将解压文件中的第一层目录去掉

$ sudo tar -xJvf cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz -C /opt/cudnn/cudnn-8.9.7 --strip-components=1

# 查看一下目录结构

$ cd /opt/

$ tree -L 2 cudnn

cudnn

└── cudnn-8.9.7

├── include

├── lib

└── LICENSE

链接文件夹：

此处需要注意链接的是cuda软链接，需要留意到底链接到了哪个版本下的cuda（如果有多个版本）

sudo ln -sf /opt/cudnn/cudnn-8.9.7/include/* /usr/local/cuda/include/

sudo ln -sf /opt/cudnn/cudnn-8.9.7/lib/* /usr/local/cuda/lib64/

验证安装

查看已安装的 cuDNN 版本，只能证明能够文件索引，无法验证系统路径是否能正常索引：

cat /opt/cudnn/cudnn-8.9.7/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

Sample_demo验证

如果是.deb安装，ibcudnn8-samples包将包含这些cudnn_samples，但因为没有这样安装，只能自己下载了。下载官方的测试样例：cuDNN-samples-v8，这是我从ibcudnn8-samples的.deb包中提取的官方样例下载后：

$ cd ~/Downloads/cudnn_samples_v8/mnistCUDNN

$ ~/Downloads/cudnn_samples_v8/mnistCUDNN$ sudo make clean && make

# 运行文件

$ ./mnistCUDNN

……

……

Test passed！

# 说明cuDNN正常运行

参考：

【Linux】安装CUDA 11.2 和 cuDNN 8.4.0并检查是否安装成功

Linux下CUDA的多版本安装及切换

.deb包安装方式

省流版

以下面的安装探索过程总结出的安装方式

直接解压下载的.deb文件到文件夹./cudnn：

$ dpkg -x cudnn-local-repo-ubuntu2204-8.9.7.29_1.0-1_amd64.deb ./cudnn-deb

# 看看文件结构

$ tree -L 3 ./cudnn

./cudnn

├── etc

│ └── apt

│ └── sources.list.d

├── usr

│ └── share

│ └── doc

└── var

└── cudnn-local-repo-ubuntu2204-8.9.7.29

├── 08A7D361.pub

├── cudnn-local-08A7D361-keyring.gpg

├── InRelease

├── libcudnn8_8.9.7.29-1+cuda12.2_amd64.deb

├── libcudnn8-dev_8.9.7.29-1+cuda12.2_amd64.deb

├── libcudnn8-samples_8.9.7.29-1+cuda12.2_amd64.deb

├── Local.md5

├── Local.md5.gpg

├── Packages

├── Packages.gz

├── Release

└── Release.gpg

8 directories, 12 files

安装./cudnn/var/cudnn-local-repo-ubuntu2204-8.9.7.29中的这三个.deb文件

注意，有依赖需求，必须从上往下按顺序安装

cd ./cudnn/var/cudnn-local-repo-ubuntu2204-8.9.7.29

sudo dpkg -i libcudnn8_8.9.7.29-1+cuda12.2_amd64.deb

sudo dpkg -i libcudnn8-dev_8.9.7.29-1+cuda12.2_amd64.deb

sudo dpkg -i libcudnn8-samples_8.9.7.29-1+cuda12.2_amd64.deb

我的安装探索过程

不想看可以直接过，看下面的验证安装环节，主要目的是留个档，希望后人不要趟我这些坑

先跟着官网的走：

# 安装deb包

cd ~/Downloads/

sudo dpkg -i cudnn-local-repo-ubuntu2204-8.9.7.29_1.0-1_amd64.deb

# 导入CUDA GPG key

sudo cp /var/cudnn-local-repo-*/cudnn-local-*-keyring.gpg /usr/share/keyrings/

# 刷新apt

sudo apt-get update

到目前为止都是与官网一样的，但是接下来的步骤，官网写着：

To install for CUDA 11, run：sudo apt-get -y install cudnn9-cuda-11

To install for CUDA 12, run：sudo apt-get -y install cudnn9-cuda-12

但实际上会找不到cudnn9-cuda-12这个包：

$ sudo apt-get -y install cudnn9-cuda-12

Reading package lists… Done

Building dependency tree… Done

Reading state information… Done

E: Unable to locate package cudnn9-cuda-12

使用apt-cache search cudnn可以发现要装的文件有3个：3个libcudnn8文件

$ apt-cache search cudnn

nvidia-cudnn - NVIDIA CUDA Deep Neural Network library (install script)

libcudnn8 - cuDNN runtime libraries

libcudnn8-dev - cuDNN development libraries and headers

libcudnn8-samples - cuDNN samples

cudnn-local-repo-ubuntu2204-8.9.7.29 - cudnn-local repository configuration files

查看/var/cudnn-local-repo-ubuntu2204-8.9.7.29目录可以发现三个libcudnn8文件

$ ls /var/cudnn-local-repo-ubuntu2204-8.9.7.29 -l

total 865868

-rw-r--r-- 1 root root 1660 12月 2 2023 08A7D361.pub

-rw-r--r-- 1 root root 1166 12月 2 2023 cudnn-local-08A7D361-keyring.gpg

-rw-r--r-- 1 root root 1572 12月 2 2023 InRelease

-rw-r--r-- 1 root root 444477788 12月 2 2023 libcudnn8_8.9.7.29-1+cuda12.2_amd64.deb

-rw-r--r-- 1 root root 440462722 12月 2 2023 libcudnn8-dev_8.9.7.29-1+cuda12.2_amd64.deb

-rw-r--r-- 1 root root 1664468 12月 2 2023 libcudnn8-samples_8.9.7.29-1+cuda12.2_amd64.deb

-rw-r--r-- 1 root root 1928 12月 2 2023 Local.md5

-rw-r--r-- 1 root root 836 12月 2 2023 Local.md5.gpg

-rw-r--r-- 1 root root 2121 12月 2 2023 Packages

-rw-r--r-- 1 root root 949 12月 2 2023 Packages.gz

-rw-r--r-- 1 root root 690 12月 2 2023 Release

-rw-r--r-- 1 root root 833 12月 2 2023 Release.gpg

手动安装这三个包

$ cd /var/cudnn-local-repo-ubuntu2204-8.9.7.29

$ sudo dpkg -i libcudnn8_8.9.7.29-1+cuda12.2_amd64.deb

$ sudo dpkg -i libcudnn8-dev_8.9.7.29-1+cuda12.2_amd64.deb

$ sudo dpkg -i libcudnn8-samples_8.9.7.29-1+cuda12.2_amd64.deb

探索总结：

安装cuDNN本地仓库没必要，因为反正都无法找到想要的包而且由于需要的包已经在deb文件包含，解压直接安装即可

验证安装

基础验证，仅验证可以访问并查询到对应版本信息

# 先找到cudnn_version文件在哪

$ whereis cudnn_version.h

cudnn_version.h: /usr/include/cudnn_version.h

# 打印cudnn_version.h中的信息（匹配到“CUDNN_MAJOR”后打印此行和后(After)2两行）

# 我的版本号为CUDNN_MAJOR.CUDNN_MINOR.CUDNN_PATCHLEVEL=8.9.7

$ cat /usr/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

#define CUDNN_MAJOR 8

#define CUDNN_MINOR 9

#define CUDNN_PATCHLEVEL 7

--

#define CUDNN_VERSION (CUDNN_MAJOR * 1000 + CUDNN_MINOR * 100 + CUDNN_PATCHLEVEL)

/* cannot use constexpr here since this is a C-only file */

基础验证，仅验证包被正确安装

$ ldconfig -v | grep cudnn

…………

libcudnn_cnn_train.so.8 -> libcudnn_cnn_train.so.8.9.7

libcudnn.so.8 -> libcudnn.so.8.9.7

libcudnn_adv_infer.so.8 -> libcudnn_adv_infer.so.8.9.7

libcudnn_ops_infer.so.8 -> libcudnn_ops_infer.so.8.9.7

libcudnn_cnn_infer.so.8 -> libcudnn_cnn_infer.so.8.9.7

libcudnn_ops_train.so.8 -> libcudnn_ops_train.so.8.9.7

libcudnn_adv_train.so.8 -> libcudnn_adv_train.so.8.9.7

/sbin/ldconfig.real: Can't create temporary cache file /etc/ld.so.cache~: Permission denied

官方的Sample_demo验证

$ cd /usr/src/cudnn_samples_v8/mnistCUDNN

# 编译the mnistCUDNN sample，成功编译的文件为mnistCUDNN

$ sudo make clean && make

# 运行文件

$ ./mnistCUDNN

……

……

Test passed！

# 说明cuDNN正常运行

sudo make可能会报编译错误：fatal error: FreeImage.h: No such file or directory

$ sudo make

CUDA_VERSION is 11010

Linking agains cublasLt = true

CUDA VERSION: 11010

TARGET ARCH: x86_64

HOST_ARCH: x86_64

TARGET OS: linux

SMS: 35 50 53 60 61 62 70 72 75 80 86

test.c:1:10: fatal error: FreeImage.h: No such file or directory

1 | #include "FreeImage.h"

| ^~~~~~~~~~~~~

compilation terminated.

解决：

$ sudo apt install libfreeimage3 libfreeimage-dev

# 重新编译，成功

$ sudo make clean && make

参考：

ubuntu安装anaconda3+cuda11.2＋cuDNN+pytorch1.7

编译mnistCUDNN时出错：fatal error: FreeImage.h: No such file or directory

切换不同版本的cuDNN

.deb包安装，大概只能重新安装？不知道直接安装不同版本会不会起冲突，没有试验过

.tar.xz压缩包安装，我使用的是这个方式

cuDNN的软链接比较多直接用脚本了，这个脚本为上面CUDA与这里cuDNN版本切换的复合脚本

例如存为switch_cuda_cuDNN.sh，使用时直接调用./switch_cuda_cuDNN.sh即可

#!/bin/bash

# 设置 CUDA 和 cuDNN 的安装路径

CUDA_BASE_PATH="/usr/local"code>

CUDNN_BASE_PATH="/opt/cudnn"code>

# 读取用户输入的 CUDA 和 cuDNN 版本

echo "Available CUDA versions: 12.1, 12.4"

read -p "Enter the CUDA version you want to switch to (e.g., 12.1): " CUDA_VERSION

echo "Available cuDNN versions: 8.9.5, 8.9.7"

read -p "Enter the cuDNN version you want to switch to (e.g., 8.9.7): " CUDNN_VERSION

# 检查 CUDA 版本目录是否存在

CUDA_PATH="$CUDA_BASE_PATH/cuda-$CUDA_VERSION"code>

if [ ! -d "$CUDA_PATH" ]; then

echo "Error: CUDA version $CUDA_VERSION not found in $CUDA_BASE_PATH."

exit 1

fi

# 检查 cuDNN 版本目录是否存在

CUDNN_PATH="$CUDNN_BASE_PATH/cudnn-$CUDNN_VERSION"code>

if [ ! -d "$CUDNN_PATH" ]; then

echo "Error: cuDNN version $CUDNN_VERSION not found in $CUDNN_BASE_PATH."

exit 1

fi

# 删除旧的 CUDA 符号链接

if [ -L "$CUDA_BASE_PATH/cuda" ]; then

sudo rm "$CUDA_BASE_PATH/cuda"

echo "Removed existing CUDA symbolic link."

fi

# 删除旧的 cuDNN 符号链接，只删除带有 "cudnn" 的链接

if [ -d "$CUDA_BASE_PATH/cuda/include" ]; then

sudo find "$CUDA_BASE_PATH/cuda/include" -type l -name "*cudnn*" -exec rm { } \;

echo "Removed existing cuDNN include symbolic links."

fi

if [ -d "$CUDA_BASE_PATH/cuda/lib64" ]; then

sudo find "$CUDA_BASE_PATH/cuda/lib64" -type l -name "*libcudnn*" -exec rm { } \;

echo "Removed existing cuDNN lib symbolic links."

fi

# 创建新的 CUDA 符号链接

sudo ln -sf "$CUDA_PATH" "$CUDA_BASE_PATH/cuda"

echo "Switched to CUDA $CUDA_VERSION."

# 创建新的 cuDNN 符号链接

sudo ln -sf "$CUDNN_PATH/include/"* "$CUDA_BASE_PATH/cuda/include/"

sudo ln -sf "$CUDNN_PATH/lib/"* "$CUDA_BASE_PATH/cuda/lib64/"

echo "Switched to cuDNN $CUDNN_VERSION."

# 刷新库缓存

sudo ldconfig

echo "CUDA $CUDA_VERSION and cuDNN $CUDNN_VERSION have been successfully switched."

卸载cuDNN