2023年⼤语⾔ AI 模型的蓬勃发展，在⽣产环境中部署应⽤⼤模型的需求也与⽇俱增，然⽽开发⼀个推理解决⽅案来部署这些模型是⼀项艰巨的任务。时延、吞吐量、AI 框架的⽀持度、模型并⾏和负载均衡、GPU优化等因素都是要考虑到的重点，如何进⾏快速部署及管理是⽐较迫切的需求。

NVIDIA作为全球领先的 GPU 芯⽚制造商，为 AI 训练领域提升算⼒赋能⼤模型突破的同时，致⼒于软件⽣态开发，推出了NVIDIA AI Enterprise (NAIE) 的全栈软件套件，其中包含丰富的SDK⼯具库。

本⽂将简单介绍 NAIE 的组件：Triton inference server 和 TensorRT-LLM，并使⽤容器化⽅式部署和测试了 LlaMa2 ⼤模型的推理应⽤。

Triton inference server

Triton 推理服务器是英伟达 NVIDIA AIE 的组成部分，同时也是一个开源的推理服务软件，用于简化 AI 模型的部署和推理过程，并提供高性能的推理服务。

NVIDIA AI Enterprise 平台（图片源于NVIDIA）

Triton 推理服务器提供了标准化的 AI 推理流程，支持部署各种深度学习和机器学习框架的AI模型， 包括 TensorRT、TensorFlow、PyTorch、ONNX、OpenVINO、Python、RAPIDS FIL等 。Triton 推理服务器可以在 NVIDIA GPU、x86 和 ARM CPU 以及 AWS Inferentia 等设备上进行云端、数据中心、边缘和嵌入式设备的推理。

Triton 推理服务器框架（图片源于NVIDIA）

Triton的主要特性包括：

支持多种机器学习/深度学习框架

并发模型执行

动态批处理

序列批处理和隐式状态管理用于有状态模型

提供后端API，允许添加自定义后端和前/后处理操作

使用集成（ Ensembles）和业务逻辑脚本（ BLS）构建模型Pipeline

基于社区开发的KServe协议的HTTP/REST和GRPC推理协议

支持C API和Java API直接链接到应用程序

指示GPU利用率 、服务器吞吐量 、服务器延迟等指标

Triton 推理服务器对多种查询类型提供高效的推理，支持实时查询、批处理查询、集成模型查询和音视频流查询等。下图示意了使用 Triton 推理服务器在云端、数据中心上部署 AI 生产服务的解决方案。

（图片源于NVIDIA）

TensorRT-LLM

2023年10月中旬 NVIDIA 发布了第一版的 TensorRT-LLM，目前更新频繁已经发布了三个版本。它是针对大型语言模型构建最优化的 TensorRT 引擎，以在 NVIDIA GPU 上高效执行推理 。

TensorRT-LLM 包含用于创建执行这些 TensorRT 引擎的 Python 和 C++ 运行时的组件，还包括与 NVIDIA Triton 推理服务器集成的后端，用于提供大模型服务的生产级系统。TensorRT-LLM 支持单个 GPU 到多节点多 GPU 的各种配置环境的使用，同时支持近30余种国内外流行大模型的优化。

TensorRT-LLM 的具体性能可以查看官方性能页面，其优势在一些测试和报道中也已经得到体现：NVIDIA TensorRT-LLM 在 NVIDIA H*GPU （80GB）上大幅提升大型语言模型的推理速度。

TensorRT-LLM 优化特性覆盖了以下几个方面：

1. 注意力优化（Attention Optimizations）

Multi-head Attention (MHA)：将注意力计算分解为多个头，提高并行性，并允许模型关注输入的不同维度语义空间的信息，然后再进行拼接。

Multi-query Attention (MQA)：与MHA不同的，MQA 让所有的头之间共享同一份 Key 和 Value 矩阵，每个头只单独保留了一份 Query 参数，从而大大减少 Key 和 Value 矩阵的参数量，提高吞吐量并降低延迟。

Group-query Attention (GQA)：介于MHA和MQA，将查询分组以减少内存访问和计算，提高效率。

In-flight Batching：重叠计算和数据传输以隐藏延迟并提高性能。

Paged KV Cache for the Attention ：在注意力层中缓存键值对，减少内存访问并加快计算速度。

2. 并行性（ Parallelism）

Tensor Parallelism ：将模型层分布在多个 GPU 上，使其能够扩展到大型模型。

Pipeline Parallelism ：重叠不同层的计算，降低整体延迟。

3. 量化（ Quantization）

INT4/INT8 weight-only (W4A16 和 W8A16)：将权重存储为 4 位或 8 位整型减少模型大小和内存占用，同时保持激活在 16 位浮点精度。

SmoothQuant：为注意力层提供平滑量化，保留准确性。

GPTQ：一次性权重量化方法，针对 GPT 类似模型架构量身定制的量化技术，同时保持精度。

AWQ：自适应权重量化，动态调整不同部分模型的量化精度，确保高精度和效率。

FP8：在支持的 GPU（ 如 NVIDIA Hopper）上利用 8 位浮点精度进行计算，进一步减少内存占用并加速处理。

4. 解码优化（ Decoding Optimizations）

Greedy-search：贪婪搜索，一次生成一个文本令牌，通过选择最可能的下一个令牌，快速但可能不太准确。

Beam-search：束搜索，跟踪多个可能的令牌序列，提高准确性但增加计算成本。

5. 其他

RoPE (相对位置编码)：高效地嵌入令牌的相对位置信息，增强模型对上下文的理解。

能否使用特定优化取决于模型架构、硬件配置和所需的性能权衡，目前最新版本中，并非所有模型都支持上述优化。TensorRT-LLM 提供了一个灵活的框架，可用于尝试不同的优化策略，以实现特定用例的最佳结果。通过一系列的优化技术，能显著提高大语言模型在 NVIDIA GPU 上的性能和效率。

部署实践

1、系统环境

CPU: Intel® Xeon® Gold 6326 CPU @ 2.90GHz

GPU: NVIDIA GPU （80GB PCIe）

Memory: 512GB

Host OS：Rocky Linux 8.9

GPU Driver：535.129.03

Docker：25.0.0

Docker Image：nvcr.io/nvidia/tritonserver:23.12-trtllm-python-py3

本次部署主机使⽤NVIDIA 80G GPU单卡，系统为Rocky Linux 8.9，是类似CentOS, RHEL下游的⼀个新发⾏版本，系统的docker容器环境可以参考此链接（Install Docker Engine on CentOS | Docker Docs）配置，使⽤当前最新的NVIDIA官⽅提供的镜像tritonserver:23.12-trtllm-python-py3，此版本镜像部分配置如下，⼏乎包含了运⾏TensorRT-LLM的所有环境，详情请参考此链接：（Release Notes :: NVIDIA Deep Learning Triton Inference Server Documentation）

Image Version: 23.12

Triton Inference Server: 2.41

Ubuntu: 22.04

Python: 3.10

CUDA Toolkit: 12.3.2

TensorRT: 8.6.1.6

TensorRT-LLM: release/0.7.0

2、拉取镜像

# host

主机上拉取镜像

docker pull nvcr.io/nvidia/tritonserver:23.12-trtllm-python-py3

3、启动容器

# host

主机上启动容器

docker run -it -d --cap-add=SYS_PTRACE --cap-add=SYS_ADMIN --security-opt

seccomp=unconfined --gpus=all --shm-size=16g --privileged --

ulimit

memlock=-1 --name=

test

-v /home/docker/mnt:/home

nvcr.io/nvidia/tritonserver:23.12-trtllm-python-py3

注意：

容器挂载模型⽂件所在的主机⽬录

先安装NVIDIA Container Toolkit，容器才能使⽤NVIDIA GPU（安装地址：https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html）

4、模型准备

本⽂使⽤ Meta 的 llama2-7b-hf ⼤模型作为测试，TensorRT-LLM 对于 LlaMA 的⽀持详情可以查看链接：https://github.com/NVIDIA/TensorRT-LLM/tree/main/examples/llama。

镜像容器中只有运⾏依赖库，类似地TensorRT使⽤时将模型转为 tensorrt 引擎，需要⾃⾏构建不同⼤模型的引擎。我们可以使⽤TensorRT-LLM仓库的LLaMA示例，代码位于：https://github.com/NVIDIA/TensorRT-LLM/tree/main/examples/llama，以模型HF权重作为输⼊，并构建相应的TensorRT引擎，TensorRT引擎的数量取决于⽤于推理的GPU数量。 

#

进⼊容器交互式

bash

docker

exec

-it

test

bash

#

以下命令在容器内操作

#

安装

git

和

git-lfs

apt-get update && apt-get -y install cmake git git-lfs

#

拉取

TensorRT-LLM git

仓库

cd

/home/

git

clone

https://github.com/NVIDIA/TensorRT-LLM.git

cd

TensorRT-LLM

git submodule update --init --recursive

git lfs install

git lfs pull

#

下载

Huggingface

上的

LlaMA2-7b-hf

模型

GIT_LFS_SKIP_SMUDGE=1 git

clone

https://huggingface.co/meta-llama/Llama-2-

7b-hf

cd

Llama-2-7b-hf

git lfs install

git lfs pull

#

编译⽣成

TensorRT-LLM python wheel

cd

TensorRT-LLM/

python ./scripts/build_wheel.py --trt_root /usr/local/tensorrt

#

安装

TensorRT-LLM python wheel

pip install build/tensorrt_llm-0.7.0-cp310-cp310-linux_x86_64.whl

#

安装

Python libs

依赖

pip3 install torch torchvision torchaudio

#

以下编译构建

engine

mkdir

trt_engines

#

单卡

+ INT8 weight-only

量化

python TensorRT-LLM/examples/llama/build.py \

--model_dir ./models/Llama-2-7b-hf/ \

--dtype float16 \

--use_gpt_attention_plugin float16 \

--use_weight_only \

--output_dir ./trt_engines/Llama-2-7b-hf-WINT8-1gpu/

# trt engines

⽂件列表

tree trt_engines/ -lh

[ 116] trt_engines/

|-- [ 98] Llama-2-7b-hf-WINT8-1gpu

| |-- [2.1K] config.json

| |-- [6.5G] llama_float16_tp1_rank0.engine

| `-- [213K] model.cache

5、Benchmark结果

这⾥顺便跑了 TensorRT-LLM 的 llama2-7b benchmark（python和cpp），结果请看下⾯表格。

# python benchmark

python3 TensorRT-LLM/benchmarks/python/benchmark.py \

-m llama_7b \

--mode plugin \

--output_dir

"./trt_engines/benchmark/"

\

--batch_size

"1;8;16;32;64;128"

\

--input_output_len

"60,20;128,20;512,20"

# cpp benchmark

./TensorRT-LLM/cpp/build/benchmarks/gptSessionBenchmark \

--model llama_7b \

--engine_dir

"trt_engines/benchmark/"

\

--batch_size

"1;8;16;32;64;128"

\

--input_output_len

"60,20;128,20;512,20"

python

cpp

我们构建了⼀种 Llama-2-7b-hf 模型的针对单卡GPU和仅权重INT8量化的优化引擎。接下来根据 tensorrtllm_backend 模型库模板⽂件夹配置模型：

git

clone

https://github.com/triton-inference-server/tensorrtllm_backend

mkdir

triton_model_repo/Llama-2-7b-hf-WINT8-1gpu

cp

-r tensorrtllm_backend/all_models/inflight_batcher_llm/*

triton_model_repo/Llama-2-7b-hf-WINT8-1gpu

#

以

Llama-2-7b-hf-WINT8-1gpu

为例

#

拷⻉

engine

⽂件到

triton_model_repo

cp

./trt_engines/Llama-2-7b-hf-WINT8-1gpu/* triton_model_repo/Llama-2-7b-hf

WINT8-1gpu/tensorrt_llm/1

模型库中的每个模型都必须包含⼀个模型配置，该配置提供有关模型的必需和可选信息。通常，这个配置以ModelConfig protobuf指定的config.pbtxt⽂件形式提供。在某些情况下，可以通过Triton⾃动⽣成模型配置，不需要显式提供。不同的配置参数可能会对模型的性能有较⼤差异，可以借助https://github.com/triton-inference-server/model_analyzer搜索到最佳的参数，有兴趣的可以⾃⾏深⼊学习。

此外 triton server 部署中还有很多可调的细节设置来优化性能和便利性，⽐如：全局或模型的响应缓存(global or model specific response cache)，模型轮询间隔（model poll interval），模型预热（model warmup），模型实例（model instances）等。

编辑相关的 config.pbtxt ，主要参数保持默认，参数调整请参考⽂档（https://github.com/triton-inference-server/tensorrtllm_backend）：

triton_model_repo/Llama-2-7b-hf- WINT8-1gpu/preprocessing/config.pbtxt

triton_model_repo/Llama-2-7b-hf-WINT8-1gpu/tensorrt_llm/config.pbtxt

triton_model_repo/Llama-2-7b-hf-WINT8-1gpu/postprocessing/config.pbtxt

6、启动 tritonserver

tritonserver --model_repo /home/triton_model_repo/Llama-2-7b-hf-WINT8-1gpu -

-allow-metrics

true

--allow-grpc

true

--allow-http

true

&

#

开启服务后，命令⾏会显示相关后端、模型、配置和硬件信息

I0125 09:01:53.748648 73097 server.cc:633]

+-------------+-------------------------------------------------------------

---+----------------------------------------------------------------+

| Backend | Path

| Config |

+-------------+-------------------------------------------------------------

---+----------------------------------------------------------------+

| python | /opt/tritonserver/backends/python/libtriton_python.so

| {

"cmdline"

:{

"auto-complete-config"

:

"true"

,

"backend-directory"

: |

| |

|

"/opt/tritonserver/backends"

,

"min-compute-capability"

:

"6.00000 |

| |

| 0"

,

"default-max-batch-size"

:

"4"

}} |

| tensorrtllm |

/opt/tritonserver/backends/tensorrtllm/libtriton_tensorrtllm.s | {

"cmdline"

:

{

"auto-complete-config"

:

"true"

,

"backend-directory"

: |

| | o

|

"/opt/tritonserver/backends"

,

"min-compute-capability"

:

"6.00000 |

| |

| 0"

,

"default-max-batch-size"

:

"4"

}} |

| |

| |

+-------------+-------------------------------------------------------------

---+----------------------------------------------------------------+

I0125 09:01:53.748679 73097 server.cc:676]

+------------------+---------+--------+

| Model | Version | Status |

+------------------+---------+--------+

| ensemble | 1 | READY |

| postprocessing | 1 | READY |

| preprocessing | 1 | READY |

| tensorrt_llm | 1 | READY |

| tensorrt_llm_bls | 1 | READY |

+------------------+---------+--------+

I0125 09:01:53.949752 73097 metrics.cc:817] Collecting metrics

for

GPU 0:

NVIDIA A100 80GB PCIe

I0125 09:01:54.000065 73097 metrics.cc:710] Collecting CPU metrics

I0125 09:01:54.000192 73097 tritonserver.cc:2483]

+----------------------------------+----------------------------------------

--------------------------------------------------------------------+

| Option | Value

|

+----------------------------------+----------------------------------------

--------------------------------------------------------------------+

| server_id | triton

|

| server_version | 2.41.0

|

| server_extensions | classification sequence

model_repository model_repository(unload_dependents) schedule_policy

model_configu |

| | ration system_shared_memory

cuda_shared_memory binary_tensor_data parameters statistics trace logging

|

| model_repository_path[0] | /home/triton_model_repo/Llama-2-7b-hf

WINT8-1gpu

|

| model_control_mode | MODE_NONE

|

| strict_model_config | 0

|

| rate_limit | OFF

|

| pinned_memory_pool_byte_size | 268435456

|

| cuda_memory_pool_byte_size{5} | 67108864

| min_supported_compute_capability | 6.0

|

| strict_readiness | 1

|

| exit_timeout | 30

|

| cache_enabled | 0

|

+----------------------------------+----------------------------------------

--------------------------------------------------------------------+

I0125 09:01:54.001568 73097 grpc_server.cc:2495] Started

GRPCInferenceService at 0.0.0.0:8001

I0125 09:01:54.001754 73097 http_server.cc:4619] Started HTTPService at

0.0.0.0:8000

I0125 09:01:54.042876 73097 http_server.cc:282] Started Metrics Service at

0.0.0.0:8002

#

显存加载情况

nvidia-smi

+---------------------------------------------------------------------------

------------+

| NVIDIA-SMI 535.129.03 Driver Version: 535.129.03 CUDA

Version: 12.2 |

|-----------------------------------------+----------------------+----------

------------+

| GPU Name Persistence-M | Bus-Id Disp.A | Volatile

Uncorr. ECC |

| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util

Compute M. |

| | |

MIG M. |

|=========================================+======================+==========

============|

| 0 NVIDIA A100 80GB PCIe Off | 00000000:4F:00.0 Off |

0 |

| N/A 30C P0 63W / 300W | 18739MiB / 81920MiB | 0%

Default |

| | |

Disabled |

+-----------------------------------------+----------------------+----------

------------+

+---------------------------------------------------------------------------

------------+

| Processes:

|

| GPU GI CI PID Type Process name

GPU Memory |

| ID ID

Usage |

|===========================================================================

============|

| 0 N/A N/A 1446460 C tritonserver

18726MiB |

+---------------------------------------------------------------------------

------------+  

注意：

构建引擎时使⽤的TensorRT-LLM版本必须与tritonserver的TensorRT-LLM版本保持⼀致。    

7、客户端测试

HTTP客户端测试：

curl -X POST localhost:8000/v2/models/ensemble/generate -d

'{"text_input":

"What is machine learning?", "max_tokens": 20, "bad_words": "",

"stop_words": "", "pad_id": 2, "end_id": 2}'

{

"cum_log_probs"

:0.0,

"model_name"

:

"ensemble"

,

"model_version"

:

"1"

,

"output_log

_probs"

:

[0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0

,0.0],

"sequence_end"

:

false

,

"sequence_id"

:0,

"sequence_start"

:

false

,

"text_outp

ut"

:

"What is machine learning? | Machine Learning\nMachine learning is a

type of artificial intelligence that involves training algorithms on data

in"

}

GRPC 客户端测试：

如果使⽤客户端的Streaming选项，则必须先更改模型 tensorrt_llm/config.pbtxt 设置将“Decoupled” 设置为 “True”，然后重启tritonserver服务。

cd

/home/tensorrtllm_backend/inflight_batcher_llm/client

python3 end_to_end_grpc_client.py --streaming --output-len 10 --prompt

"What

is machine learning?"

"What is machine learning? | Machine Learning\nMachine learning is a type of

artificial intelligence that involves training algorithms on data in"

另外对于语⾔⼤模型的推理官⽅也推出了⼀个集成了vllm的triton server镜像，⼤家有兴趣可以尝试⽐较。

到这⾥完成了使⽤ triton server 以及 tensorRT-LLM 作为推理后端的服务部署和客户端利⽤ LlaMA2⼤语⾔模型的推理应⽤，这类推理应⽤可以扩展到其他领域的模型⽐如⽬标检测、图像识别等。