之前介绍了TensorRT部署ONNX模型，发现我的模型比较特殊（实现的太烂了 ），使用TensorRT推理不能得到正确的结果，使用ORT部署成功了，因此分享一下ORT的部署过程。

〇、 准备工作

1. 老生常谈的安装 CUDA Toolkit 和 cuDNN

2. 安装 ONNX Runtime

先给一个官网地址： ORT官网，官网的C++安装方式好像是针对.Net项目的（反正我是没看懂 ）。所以这里简单介绍一下怎么安装，有两种方法:

a. 下载仓库编译好的ORT库（推荐）

仓库编译好的ORT库有系统版本与CPU和GPU版本区分注意选择自己需要的，ORT下载地址。

同时注意ORT所支持的CUDA和cuDNN版本，见CUDA支持官方文档。

我的 CUDA Toolkit 是12.1，cuDNN是8.9.7，因此选用1.17版本ORT。

我需要使用GPU版本ORT，并且我的CUDA版本是12.1因此选择以下文件。

下载完成得到以下文件。

Note:

CUDA版本只向下兼容大版本号，即12.2只支持12.x，而不支持11.x。ORT支持使用TensorRT作为后端来提高模型的推理性能。（ORT真好用啊，薄纱TensorRT ），若想使用TensorRT，需要使用源码自己编译ORT库，同时要注意ORT所支持的CUDA和TensorRT版本，见TensorRT支持官方文档。

b. 下载源码自己编译

下载源码编译可以参考：源码仓库、官方编译文档

这里分享一个中文编译教程：Windows下编译Onnxruntime

3. 导出成功的ONNX模型

4. 配置 Visual Studio

主要是配置包含路径和依赖库，类似OpenCV配置。

准备就绪，终于可以开始愉快的部署过程了。

一、初始化ORT

<code>// 初始化ONNX Runtime

Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "sdp infer");

// 创建会话选项并添加CUDA

Ort::SessionOptions session_options;

uint32_t device_id = 0; // CUDA 设备 ID

// 启用CUDA

Ort::ThrowOnError(OrtSessionOptionsAppendExecutionProvider_CUDA(session_options, device_id));

// 加载模型

const std::wstring model_path = L"model.onnx";

Ort::Session session(env, model_path.c_str(), session_options);

上面代码主要做了2件事，（1）创建ORT环境env，其全局唯一；（2）创建会话session，可以存在多个，一个会话对应一个ONNX模型，env可以运行多个session。

二、设置输入与输出

设置输入输出需要与ONNX模型的输入输出严格对应，这里推荐一个查看模型结构的工具：Netron

使用Netron可以看到我的模型的输入输出节点名称与数据类型和形状信息。

下面我们使用这些信息设置输入输出，在例子中我需要2输入<code>input, s_id，1输出logits。并且输入图像需要先进行预处理，我们可以使用OpenCV辅助。基本上都是些公式化的书写，注意代码中的数据类型与模型对应。

图像预处理 /

// 用于保存input张量值

std::vector<float> input_tensor_values; // float32 input

// 创建输入张量

cv::Mat img = cv::imread("E:/myDataset/mya1/train/fake/1100.bmp");

cv::Size imgSize(224, 224);

cv::Mat blob; // 用于存储预处理后的图像

if (img.size() != imgSize)

{

cv::resize(img, blob, imgSize, 0, 0, cv::INTER_AREA); // 图像缩放

}

else

{

img.copyTo(blob);

}

blob = cv::dnn::blobFromImage(blob, 1.0 / 255, blob.size(), cv::Scalar(0, 0, 0), true, false, CV_32F); // 图像转为blob格式

float* data_ptr = reinterpret_cast<float*>(blob.data); // 获取blob数据指针

int num_elements = blob.total() * blob.channels(); // 获取blob数据元素个数

// 将blob数据拷贝到input张量中

for (int i = 0; i < num_elements; ++i)

{

/*std::cout << data_ptr[i] << " ";*/

input_tensor_values.push_back(std::move(data_ptr[i]));

}

图像预处理 over /

// 创建内存信息

auto memory_info = Ort::MemoryInfo::CreateCpu(OrtArenaAllocator, OrtMemTypeDefault);

// 创建input张量

std::vector<int64_t> input_tensor_shape = { 1, 3,224,224 }; // input张量形状

Ort::Value input_tensor = Ort::Value::CreateTensor<float>(memory_info, input_tensor_values.data(), input_tensor_values.size(), input_tensor_shape.data(), input_tensor_shape.size());

// 创建s_id张量

std::vector<int64_t> sid_tensor_shape = { 1 }; // s_id张量形状

std::vector<int32_t> sid_tensor_values = { 0 }; // int32 s_id

Ort::Value sid_tensor = Ort::Value::CreateTensor<int32_t>(memory_info, sid_tensor_values.data(), sid_tensor_values.size(), sid_tensor_shape.data(), sid_tensor_shape.size());

// 设置输入节点名称

std::vector<const char*> input_node_names = { "input","s_id" };

// 创建输入张量数组

std::vector<Ort::Value> input_tensors; // 多输入

input_tensors.push_back(std::move(input_tensor));

input_tensors.push_back(std::move(sid_tensor));

// 设置输出节点名称

std::vector<const char*> output_node_names = { "logits" };

Note: Ort::Value删除了赋值操作，因此要使用std::move移动语义对其对象操作

三、进行推理

// 进行推理

auto output_tensors = session.Run(Ort::RunOptions{ nullptr }, // 运行选项 为空即可

input_node_names.data(), // 输入节点名称

input_tensors.data(), // 输入张量

input_tensors.size(), // 输入张量数量

output_node_names.data(), // 输出节点名称

output_node_names.size() // 输出张量数量

);

四、获得结果

// 获取输出张量

float* floatarr = output_tensors.front().GetTensorMutableData<float>();

for (int i = 0; i < 2; i++)

printf(" %f\n", floatarr[i]);

使用GetTensorMutableData获取数据头指针。

※ 可能遇到的问题

1. Ort::Global::api_ 是 nullptr。

这是由于Windows默认的System32下存在同名的<code>onnxruntime.dll，其优先级高于ORT库中的。

解决方法： 将ORT的lib文件夹里的onnxruntime.dll、onnxruntime_providers_shared.dll、onnxruntime_providers_cuda.dll复制到工程生成的exe文件夹下。

2. ThrowStatus函数报错

这个错误有很多原因引起，CUDA错误、输入数据类型与模型不一致、env或session为空指针等等。

解决方法： 通过调用堆栈查看报错语句处理，或者使用try-catch捕捉Ort::Exception获取错误信息。