RK3588 CPU+GPU+NPU三位一体AI边缘控制器,应用于工程车辆/轨道交通+疲劳驾驶检测告警 -- 1

深圳信迈科技AI+ARM+FPGA 2024-09-16 10:31:10 阅读 95

XMS-201采用了Rockchip RK3588八核64位处理器,集成ARM Mali-G610 MP4四核GPU,内置AI加速器NPU,可提供6Tops算力,支持主流的深度学习框架;性能强劲的RK3588可为各类AI应用场景带来更强大的性能表现,适用于机器视觉、边缘计算、智能NVR、智慧大屏等领域。

RK3588处理器,作为一款业界领先的芯片,拥有强大的计算能力和高效的功耗控制。这款处理器采用了先进的制程技术,保证了其在复杂运算和数据处理方面的出色表现。无论是图像识别、自然语言处理还是大数据分析,RK3588都能轻松应对,为AI应用提供强大的动力。

而我们的AI边缘控制器XMS-201,正是基于RK3588处理器的强大性能,进行了深度优化和定制。它具备强大的运算能力、出众的AI算力、出色的的视频处理能力、丰富的高速接口、卓越的图形处理性能和高速稳定且低延迟的通信能力等,能够满足各种苛刻的工业和商业场景需求。无论是智能制造、智慧城市还是智能交通,这款控制器都能发挥出其独特的优势。

产品特点

● 三位一体(CPU+GPU+NPU)

-CPU: Rockchip RK3588 4*Cortex-A76+4*Cortex-A55, 2.0GHz

-GPU: ARM Mail-G610 MP4四核

-NPU: 6.0 TOPS

● 8GB LPDDR4

● Onboard 64GB eMMC5.1

● 丰富的I/O接口,支持多屏异显(HDMI+LVDS+eDP)

● 高效互联(GbE/4G/5G/WiFi/BT)

● 可自主扩展:

-1x M.2 B-Key(USB3.0/USB2.0)

-1x M.2 M-Key(SATA/PCIe)

-1x M.2 E-Key(SDIO/UART/USB2.0)

● 提供SDK工具包

● DC9~36V Power input

● OS: Ubuntu20.04/Ubuntu22.04

*Internal: 1、M.2 B key/M.2 M key/M.2 E key    2、LVDS/eDP    3、MIO(SDIO/UART/SPI ec)

高效互联——强大的网络通讯能力

完整的网络方案,使系统既可接入多路传感设备,又可和云端通讯,同时还可以无线连接移动基站,保证信号的采集、数据通讯和信息发布的独立带宽。

■ 3 x 千兆以太网口,其中2路采用Intel I210AT网络芯片,对大多数工业协议有良好的兼容性;

■ 1x M.2 B-Key 3042/3052内部(USB3.0/2.0),支持4G/5G

■ 1x M.2 E-Key 2230内部(USB2.0/SDIO/UART),WIFI/BT

可扩展自主子板,堆叠集群

标准4* 20Pin-F CONN,PH=2.0mm多种功能扩展接口,开放引脚定义(包括:1x PCIe Signal,2x USB2.0 Signal (USB HUB),4x UART Signal(或GPIO*32,1x SMbus Signal,扩充板供电电源),可扩展自主子板、堆叠集群等高级功能、实现毫秒级视觉和运动联动控制。

三屏异显,多通道输入输出

板载HDMI 2.1 (4K@60fps)、eDP1.4(8K@60fps)、1x LVDS(2CH/24-bit)视频输出接口,HDMI RX2.0视频输入接口。支持三屏异显(HDMI2.1(4K)+eDP1.4(8K)+双通道LVDS),可应用于多屏互动显示的各种场景中。

提供专业的SDK软件开发工具包

提供完整的SDK包,含BSP、GPIO配置APP demo、NPU目标识别demo,若扩展光源控制板,可以提供光源控制APP demo。

在AI方面,帮助厂商快速熟悉了RK平台的NPU开发工具RKNN,快速部署已训练好的模型,实现AI应用落地。

疲劳驾驶检测案例

本案例将使用开源项目中的Face Detect与Face Mesh两个模型,实现一个简单的疲劳驾驶检测应用并提醒,最终效果如下所示:

案例所需资源(代码、模型、测试数据等)均可从obs桶下载。

开发背景

“道路千万条,安全第一条”,交通安全是我们出行首要关注的问题,而疲劳驾驶一直是引发交通事故的一个主要原因。

在AI算法惠及生活的现在,我们想利用ModelBox开发板快速实现、便利调试开发的特点,实现一个疲劳驾驶提醒应用案例demo,实现基本的疲劳驾驶检测与辅助提醒效果。希望大家能从此案例得到启发与参考,开发出更多丰富、有趣的应用。

算法原理

该项目主要原理为:通过面部检测模块定位出面部区域,将其输入到面部关键点模块检测出面部关键点,并对其中的眼睛、嘴巴等关键点计算其EAR值与时长判断其是否处于疲劳状态并进行提醒。

从摄像头检测出面部区域

从面部检测出关键点

通过公式计算出EAR值,并根据实时滑动窗口计算占比,超过阈值则判断为疲劳应该对其进行提醒



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。