更多资讯

欢迎访问：http://www.dgstudyblog.top

前言

最近入手了一块香橙派（Orange Ai Pro）的板子，他们的口号是：为AI而生，这让一个算法工程师按捺不住了， 之前主要是在RKNN和ESP32等设备上部署AI模型，看到官方介绍的强大AI算力，很想知道能否满足工作生活中的实时视频流模型部署，也为未来公司的战略部署多做一份准备。

AIpro是一款采用昇腾AI技术路线的强大开发板，配备4核64位处理器， 8GB的LPDDR4X内存，就足以满足大部分的AI推理应用场景，AI Pro 配备8TOPS-12TOPS的AI算力，相当于英伟达的RTX3080显卡，同时很多车企早期L2级自动驾驶的算力需求也才2-2.5TOPS,所以在AI 算力方面完全是充足的。

同时开发板支持外接eMMC模块，从32GB到256GB， 充足的存储空间能够满足日常开发所需。

AI Pro还支持外接4K的高清显示器，能够利用HDMI帮我们更好的可视化操作，大大提升了开发体验，只需要自带一个小的显示屏，便可以做一台便携mini电脑。

更多的开发板信息可以参考下面的这个硬件配置图

准备

一块Orange Ai Pro

相关的硬件资料可参考：Orange Ai Pro 介绍和应用

购买地址： 淘宝 、京东

一个USB 摄像头

主要用于实时检测素材

外接鼠标、键盘

显示器

用于可视化操作Orange Ai Pro

镜像烧录

需要下载官方的烧录工具， 将镜像烧录到存储卡内，官方镜像地址：下载地址

开机登录

接好设备后，就可以点击开机按钮， 我这边的设备主要是1个摄像头，1块32G的存储卡，系统这边用的是Ubuntu系统，比较适合个人的习惯

环境准备

配置编译依赖的头文件与库文件路径

<code>export DDK_PATH=/usr/local/Ascend/ascend-toolkit/latest

export NPU_HOST_LIB=$DDK_PATH/runtime/lib64/stub

安装ACLLite库和ffmpeg

Tips: ACLLite是必备的库文件

apt-get install ffmpeg libavcodec-dev libswscale-dev libavdevice-dev

获取ACLLite 源码

git clone https://gitee.com/ascend/ACLLite.git

进入到项目目录进行编译, 会编译到上面设置的lib 目录

bash build_so.sh

到这里环境的基本配置已经完成了，接下来就是代码的准备和编译了

官方的Ai Demo项目

git clone https://gitee.com/ascend/EdgeAndRobotics.git

这是官方提供的sample demo ，里面有基础的图像检测，分类，人脸识别等demo，可以帮助我们快速上手，同时也适合在源码上根据需要进行二次修改。

模型转换

Orange Ai pro 需要的是.om的格式，我们需要把pt 的模型转成onnx 再利用平台的 Atc工具转成.om的格式

什么是ATC

昇腾张量编译器（Ascend Tensor Compiler，简称ATC）是昇腾CANN架构体系下的模型转换工具，类似RKNN或hisi 都有自己处理器需要的模型格式，CANN架构也不例外。

它可以将开源框架的网络模型（例如TensorFlow、ONNX等）转换为昇腾AI处理器支持的模型文件（.om格式），用于后续的模型推理

它可以将基于Ascend IR定义的单算子描述文件（*.json格式）转换为昇腾AI处理器支持的模型文件（.om格式），后续在整网中验证算子功能

如何转换

atc --model=yolov5s.onnx --framework=5 --output=yolov5s --input_shape="images:1,3,640,640" --soc_version=Ascend310B4 --insert_op_conf=aipp.cfgcode>

–framework：原始网络模型框架类型，5表示onnx。

–soc_version：模型转换时昇腾AI处理器的版本，例如Ascend310B1。

–model：原始网络模型文件，含扩展名。

–weight：原始网络模型权重文件路径，含文件名，仅当原始网络模型是Caffe时需要指定。

–output：转换后的*.om模型文件路径，含文件名，转换成功后，模型文件名自动以.om后缀结尾

–insert_op_conf: 模型相关的配置文件，包含图像大小，预处理等参数

tips: 内存小于8G最好将atc 的进程数减少，否则转换可能会报错

export TE_PARALLEL_COMPILER=1

export MAX_COMPILE_CORE_NUMBER=1

你也可以下载官方的yolov5 模型

#下载yolov5s的模型和转换模型

wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/003_Atc_Models/yolov5s/yolov5s.onnx --no-check-certificate

wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/003_Atc_Models/yolov5s/aipp.cfg --no-check-certificate

搭建Orange Ai Pro 垃圾检测项目

<code>class SE(nn.Module):

def __init__(self, c1, c2, ratio=16):

super(SE, self).__init__()

#c*1*1

self.avgpool = nn.AdaptiveAvgPool2d(1)

self.l1 = nn.Linear(c1, c1 // ratio, bias=False)

self.relu = nn.ReLU(inplace=True)

self.l2 = nn.Linear(c1 // ratio, c1, bias=False)

self.sig = nn.Sigmoid()

def forward(self, x):

b, c, _, _ = x.size()

y = self.avgpool(x).view(b, c)

y = self.l1(y)

y = self.relu(y)

y = self.l2(y)

y = self.sig(y)

y = y.view(b, c, 1, 1)

return x * y.expand_as(x)

模型部署

在源码demo中，基于 YOLOV5USBCamera 项目进行修改，基本上官方已经很好的把模型的加载和推理等模块，基于这个项目进行修改部署。

class sampleYOLOV7(object):

'''load the model, and do preprocess, infer, postprocess'''

def __init__(self, model_path, model_width, model_height):

self.model_path = model_path

self.model_width = model_width

self.model_height = model_height

def init_resource(self):

# initial acl resource, create image processor, create model

self._resource = AclLiteResource()

self._resource.init()

self._dvpp = AclLiteImageProc(self._resource)

self._model = AclLiteModel(self.model_path)

def preprocess(self, frame):

# resize frame, keep original image

self.src_image = frame

self.resized_image = cv2.resize(frame, (self.model_width, self.model_height))

def infer(self):

# infer frame

image_info = np.array([640, 640,

640, 640],

dtype=np.float32)

self.result = self._model.execute([self.resized_image, image_info])

也可以参考这个官方项目： https://gitee.com/ascend/samples/tree/master/python/contrib/garbage_picture

模型准备

利用yolov5 代码训练出垃圾分类的模型， yolov5 源码可以在github 下载。

运行export导出onnx模型，拷贝到orange ai pro里。

转换模型

将我们的模型转成om的格式，参考上面的模型转换内容。

这里可以直接用官方的python版本进行修改

/home/HwHiAiUser/project/EdgeAndRobotics/Samples/YOLOV5USBCamera/python/

项目的目录设计如下

- index.py 模型推理的核心代码，包含推理类

- main.py 应用的主函数入口

- imgs 存放推理的结果

- logs 存放运行的日志

编写index.py， 加入自己的预处理和后处理逻辑

def preprocess_image(image, cfg, bgr2rgb=True):

"""图片预处理"""

img, scale_ratio, pad_size = letterbox(image, new_shape=cfg['input_shape'])

if bgr2rgb:

img = img[:, :, ::-1]

img = img.transpose(2, 0, 1) # HWC2CHW

img = np.ascontiguousarray(img, dtype=np.float32)

return img, scale_ratio, pad_size

def draw_bbox(bbox, img0, color, wt, names):

"""在图片上画预测框"""

det_result_str = ''

for idx, class_id in enumerate(bbox[:, 5]):

if float(bbox[idx][4] < float(0.05)):

continue

img0 = cv2.rectangle(img0, (int(bbox[idx][0]), int(bbox[idx][1])), (int(bbox[idx][2]), int(bbox[idx][3])),

color, wt)

img0 = cv2.putText(img0, str(idx) + ' ' + names[int(class_id)], (int(bbox[idx][0]), int(bbox[idx][1] + 16)),

cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 255), 1)

img0 = cv2.putText(img0, '{:.4f}'.format(bbox[idx][4]), (int(bbox[idx][0]), int(bbox[idx][1] + 32)),

cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 255), 1)

det_result_str += '{} {} {} {} {} {}\n'.format(

names[bbox[idx][5]], str(bbox[idx][4]), bbox[idx][0], bbox[idx][1], bbox[idx][2], bbox[idx][3])

return img0

推理结果

在完成推理后，输出模型的推理结果同时保存推理图像

2-纸盒纸箱

2-纸盒纸箱

3-筷子

5-垃圾桶

9-塑料玩具

16-干电池

22-洗护用品

30-茶叶渣

28-调料瓶

经过测试发现，推理一张图像耗费的时间大约为16-20ms之间，后续还有优化的空间

<code> handler img 18.02ms

hanlder img 16.01ms

handler img 19.92ms

handler img 15.02ms

handler img 18.24ms

handler img 17.02ms

handler img 16.82ms

handler img 14.92ms

性能体验

对于开发版的表现，总体来说是比较丝滑的，上手体验较好。

1、负载

能够实时进行推理60FPS的视频，同时推理一张640*640的图像大约只要15-20ms，目前没有做量化设计，精度还是float16， 做完Int量化后，应该还可以进一步提升。

2、散热

Orange AI Pro 在散热方面还是做的比较好的，配备了散热风扇， 运行3个小时后，板子的温度还是处于一个较低的温度，个人觉得散热效果还是比较让人满意的。

噪音

体验了3天下来，只有在开机启动的时候大约有6~10s左右比较大的声音，但也在可接受范围内，平时运行各种AI模型都是静默的，几乎感受不到风扇的声音存在。

使用总结

1、本来以为可能部署会比较麻烦， 需要大量查阅资料后才能完成部署流程，体验下来发现官方的材料和项目demo还是比较完善的，基本上可以很快上手，各种环境的部署也有相应完善的文档， 比我预期的难度要小的多。

2、同时在AI算力上，推理的速度也非常给力，npu的推理速度可以满足大部分的实时处理需求，能够满足我做一些diy的智能家居方向。

3、丰富的硬件功能，Orang ai pro 配备了丰富的硬件接口，给开发更复杂的AI应用提供了更多可能性。

总体来说，Orang AI Pro 强大的AI能力和便捷的使用体验，还是给我留下了美好的印象，未来我也希望能通过Orange AI Pro 创作出更多的AI应用，喜欢的朋友千万不要错过！！

接下来，我也会利用Orange AI Pro 做一些新的尝试和AI应用， 希望能带给大家一些参考意见。