nvitop: 史上最强GPU性能实时监测工具

AGI之心 2024-06-19 12:01:08 阅读 94

原文链接:https://mp.weixin.qq.com/s/SlOJZmF08v3-6o6rXWIHaQ

Code: https://github.com/XuehaiPan/nvitop

引言


相信大家在用NVIDIA-GPU训练网络模型的时候,都会习惯性的在终端nvidia-smi一下吧?最直接的目的是为了查看哪些卡正在使用,哪些卡处在空闲,然后挑选空闲的卡号进行网络训练。

「了解哪块卡处在空闲只是普通算法工程师的普通需求」

咱们作为一名资深的算法工程师,毕竟身兼多职:上要开发AI算法,下要管理服务器,左要带新人,右要PPT汇报上级。

对于管理服务器:刚买的新服务器你得装系统吧?得装Driver,Cuda,Cudnn吧?时不时还得盯一下服务器各个卡的运行状况,毕竟刚入职的小年青有时候一顿操作,一个人占用全服务器95%以上的内存把服务器直接卡死也不是没有可能。

nvitop是一个非常全面的NVIDIA-GPU设备运行状况的实时监控工具,它将GPU利用率,显存占比,卡号使用者,CPU利用率,进程使用时间,命令行等等集于一身,并以差异化的颜色进行个性化展示,安装过程也非常简单,强烈大家推荐使用,让自己在管理服务器的时候事半功倍!

以下图1展示了nvitop和nvidia-smi命令的界面对比结果:

图1. nvitop(左) VS nvidia-smi(右)

nvitop效果展示


「NviTop」 An interactive NVIDIA-GPU process viewer and beyond, the one-stop solution for GPU process management.

nvitop是一款交互式NVIDIA-GPU设备性能&资源&进程的实时监测工具。

相比于nvidia-smi命令,nvitop在实时监控GPU设备资源&性能上具备全方位优势:

以更美观的颜色,和更直观的进度条实时展示某块GPU卡所处进程的GPU&CPU内存以及利用率占比

作为资源监控器,它包括如下功能:树状视图、环境变量查看、进程过滤、进程指标检测等

可追踪某个单项进程在GPU&CPU上内存和利用率占比的历史纪录,并利用Bar直观展示

可直观展示某块GPU的使用者、使用时间、使用命令行、GPU和CPU占用率记录

可使用工具提供的API搭建自定义监控工具

完整API说明文档请移步:https://nvitop.readthedocs.io

以下展示了nvitop命令工具的部分效果图:

图2. nvitop有多种监控模式可供选择

图3. 监控过程信息过滤和丰富的色彩界面

图4. 支持MIG

图5. 类似频谱的条形图(with option --colorful)

图6. 监控特定进程的关键性性能指标 (shortcut: Enter / Return).

图7. nvitop同时也支持windows系统!

nvitop特性


监控信息丰富且展示直观

显示比nvidia-smi更全面的资源监控信息,和更直观的表现形式

监控模式

可以作为资源监控器一直运行,而不是只能单独查看一次结果

支持条形图和历史图

监控信息排序 & 监控信息过滤

可通过键盘向进程发送信号

GPU进程及其父进程的树视图屏幕享受

提供环境变量屏幕,帮助信息屏幕,并支持鼠标点击的交互式操作

交互式

可在监控模式下响应用户输入(来自键盘或鼠标),比gpustat和py3nvml更具优势

高效性

该工具直接使用NVML Python bindings进行绑定并查询设备运行状态,而不是解析nvidia-smi(与nvidia-htop相比)

TTLCache使用from cachetools支持稀疏查询和缓存结果(与py3nvml相比)

curses使用库而不是printANSI转义码显示信息(与py3nvml相比)

使用多线程异步收集信息并更快的响应用户输入(与nvtop相比)

便携性

适用于Linux和Windows

使用跨平台库psutil获取主机进程信息,而不是调用ps -p <pid>子进程(与nvidia-htop和py3nvml相比)

用纯Python编写,支持pip安装(与nvtop相比)

可集成

易于集成到其它应用程序中,而不仅仅是监控功能(与nvidia-htop和nvtop相比)

安装指南


「官方安装教程」 https://github.com/XuehaiPan/nvitop/blob/main/README.md

因为nvitop采用纯Python编写,所以推荐采用pip命令进行安装,官方安装说明文档中提供了五种安装方式:

使用pipx进行安装

pipx run nvitop

使用pip3进行安装

pip3 install --upgrade nvitop

使用conda进行安装

conda install -c conda-forge nvitop

从Github拉取最新版本进行安装

pip3 install git+https://github.com/XuehaiPan/nvitop.git#egg=nvitop

clone项目并手动安装

git clone --depth=1 https://github.com/XuehaiPan/nvitop.gitcd nvitoppip3 install .

「注意」 如果在安装后遇到nvitop: command not found错误,请检查你是否将Python控制台脚本路径(例如,${HOME}/.local/bin)添加到您的PATH环境变量中。或者,你可以直接使用python3 -m nvitop命令

使用方法


命令行使用方法

# Monitor mode (when the display mode is omitted, `NVITOP_MONITOR_MODE` will be used)$ nvitop # or use `python3 -m nvitop`# Automatically configure the display mode according to the terminal size$ nvitop -m auto # shortcut: `a` key# Arbitrarily display as `full` mode$ nvitop -m full # shortcut: `f` key# Arbitrarily display as `compact` mode$ nvitop -m compact # shortcut: `c` key# Specify query devices (by integer indices)$ nvitop -o 0 1 # only show <GPU 0> and <GPU 1># Only show devices in `CUDA_VISIBLE_DEVICES` (by integer indices or UUID strings)$ nvitop -ov# Only show GPU processes with the compute context (type: 'C' or 'C+G')$ nvitop -c# Use ASCII characters only$ nvitop -U # useful for terminals without Unicode support# For light terminals$ nvitop --light# For spectrum-like bar charts (requires the terminal supports 256-color)$ nvitop --colorful

将监控信息写入到TensorBoard中

import osimport torchimport torch.nn as nnimport torch.nn.functional as Ffrom torch.utils.tensorboard import SummaryWriterfrom nvitop import CudaDevice, ResourceMetricCollectorfrom nvitop.callbacks.tensorboard import add_scalar_dict# Build networks and prepare datasets...# Logger and status collectorwriter = SummaryWriter()collector = ResourceMetricCollector(devices=CudaDevice.all(), # log all visible CUDA devices and use the CUDA ordinal root_pids={os.getpid()}, # only log the descendant processes of the current process interval=1.0) # snapshot interval for background daemon thread# Start trainingglobal_step = 0for epoch in range(num_epoch): with collector(tag='train'): for batch in train_dataset: with collector(tag='batch'): metrics = train(net, batch) global_step += 1 add_scalar_dict(writer, 'train', metrics, global_step=global_step) add_scalar_dict(writer, 'resources', # tag='resources/train/batch/...' collector.collect(), global_step=global_step) add_scalar_dict(writer, 'resources', # tag='resources/train/...' collector.collect(), global_step=epoch) with collector(tag='validate'): metrics = validate(net, validation_dataset) add_scalar_dict(writer, 'validate', metrics, global_step=epoch) add_scalar_dict(writer, 'resources', # tag='resources/validate/...' collector.collect(), global_step=epoch)

API使用手册

「详见」 https://nvitop.readthedocs.io/

写在最后


本文介绍了一款NVIDIA-GPU设备的性能实时监控工具,相比于其它监控工具而言(eg, nvidia-smi,nvidia-htop,py3nvml,nvtop等等),具有全方位碾压的优势,推荐大家使用!



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。