(详细使用指南)Linux下交叉编译带ffmpeg的opencv并移植到RK3588等ARM端

清雨夜NWC 2024-08-23 11:37:02 阅读 85

一 问题背景

      

  瑞芯微RK3588等嵌入式板作为边缘端设备为算法模型的部署提供了便利,目前很多分类或好检测模型针对边缘端做了优化或量化,使得在边缘端也能达到实时稳定的识别和检测效果。

        但嵌入式设备普遍的flash emmc不大,一般在32G左右,如果在嵌入式设备进行大量的编译操作很容易空间不足。通过交叉编译的方式避免文件包在嵌入式上编译,可以通过在x86 PC端等进行交叉编译,然后将编译好的文件夹拷贝到ARM设备平台上。

交叉编译是指在一台计算机上生成目标平台的可执行程序。通常情况下,我们在开发软件时会在同一平台上编译、运行程序,但有时候需要将程序部署到不同体系结构或操作系统的设备上运行,这就需要使用交叉编译工具链来生成适用于目标平台的可执行文件。常见的应用场景包括在开发嵌入式系统、移动应用程序或跨平台软件时进行交叉编译。


二 问题描述

        需要将一个类似于CNStream的框架移植到RK3588板子上,跑通示例模型,其中需要用到交叉编译后的带ffmeg的opencv,读取示例MP4视频,作为模型算法输入数据,完成框架移植与测试。


三 环境准备

-linux系统:unbuntu18.04 X86_64

-rk3588软件包:rknn-toolkit2:1.5.2-cp36

-交叉编译工具:gcc-arm-10.3-2021.07-x86_64-aarch64-none-linux-gnu

-硬件平台:寒武纪MLU270

1 创建docker虚拟环境

docker创建命令如下:

<code>docker run -it --privileged --name NewF3588 -p 35886:22 -v /home/lc/hang/rk3588:/workspace/hang/rk3588 rknn-toolkit2:1.5.2-cp36 /bin/bash

2 搭建交叉编译环境

step1:交叉编译工具链下载

下载交叉编译工具链,将交叉编译工具放置在docker虚拟环境中,比如/opt目录下改名gcc-arm-10.3-2021.07-x86_64-aarch64-none-linux-gnu为aarch64-rockchip-linux-gnu  

step2: 设置交叉编译环境变量

关于linux下环境变量的设置,可看此处博文https://blog.csdn.net/xishining/article/details/119283522

通过vim ~/.bashrc命令打开环境变量配置文件,主要是添加lib、lib64余bin文件

在文件最后添加:  

export LD_LIBRARY_PATH=/opt/aarch64-rockchip-linux-gnu/lib:/opt/aarch64-rockchip-linux-gnu/lib64:$LD_LIBRARY_PATH

export PATH=$PATH:/opt/aarch64-rockchip-linux-gnu/bin

添加后保存并 source ~/.bashrc

验证交叉编译环境是否搭建成功,在任意目录执行命令:

aarch64-none-linux-gnu-gcc -v

 若返回gcc版本号,则表示成功。


 四 源码下载与安装

1 两个必要的软件包

<code>apt-get install build-essential pkg-config

2 cmake3.23.0

https://cmake.org/download/

3 opencv-4.5.1

https://opencv.org/releases/page/2/

4 opencv_contrib-4.5.1

https://github.com/opencv/opencv_contrib/releases/tag/4.5.1

5 ffmpeg-4.2.9

https://ffmpeg.org/download.html#releases

以上软件下载源码后,解压至/opt目录下,并先创键/arm/fffmpeginstall夹用于后续存放ffmeg相关配置文件


五 源码编译

1 cmake源码编译

cmake --version检查是否安装成功

2 ffmepg交叉编译

#在/opt目录下依次执行以下命令:

cd ffmpeg-4.2.9

#不带x264的ffmpeg编译

#注意修改--cross-prefix,--cc,--cxx,--prefix为自己相关文件路径,其他不变

./configure --enable-cross-compile --target-os=linux --arch=aarch64 \

--cross-prefix=/opt/aarch64-rockchip-linux-gnu/bin/aarch64-none-linux-gnu- \

--cc=/opt/aarch64-rockchip-linux-gnu/bin/aarch64-none-linux-gnu-gcc \

--cxx=/opt/aarch64-rockchip-linux-gnu/bin/aarch64-none-linux-gnu-g++ \

--prefix=/opt/arm/fffmpeginstall \

--disable-asm --enable-parsers --disable-decoders --enable-decoder=h264 --disable-debug --enable-ffmpeg --enable-shared --disable-static --disable-stripping --disable-doc

#带x264的ffmpeg编译

./configure --enable-cross-compile --target-os=linux --arch=aarch64 \

--cross-prefix=/opt/aarch64-rockchip-linux-gnu/bin/aarch64-none-linux-gnu- \

--cc=/opt/aarch64-rockchip-linux-gnu/bin/aarch64-none-linux-gnu-gcc \

--cxx=/opt/aarch64-rockchip-linux-gnu/bin/aarch64-none-linux-gnu-g++ \

--prefix=/opt/arm/fffmpeginstall \

--extra-cflags=-I/opt/arm/fffmpeginstall/include \

--extra-ldflags=-L/opt/arm/fffmpeginstall/lib \

--disable-asm --enable-parsers --disable-decoders --enable-decoder=h264 --disable-debug --enable-ffmpeg --enable-shared --disable-static --disable-stripping --disable-doc --enable-libx264 --enable-gpl

执行make命令编译,并查看是否编译成功,有无报错。

make -j$(nproc)

make install

然后进入你的--prefix目录,查看生成的文件(bin,include,lib,share)

在/opt/arm/fffmpeginstall//bin目录下执行,file libavcodec.so.60.35.100命令,若出现aarch64则表示ffmpeg交叉编译成功

设置ffmpeg的环境变量(这里是设置的临时的环境变量):

    export PKG_CONFIG_PATH=/opt/arm/fffmpeginstall/lib/pkgconfig$PKG_CONFIG_PATH

    export PKG_CONFIG_LIBDIR=/opt/arm/fffmpeginstall/lib$PKG_CONFIG_LIBDIR

    export LD_LIBRARY_PATH=/opt/arm/fffmpeginstall/lib:$LD_LIBRARY_PATH

    export 查看环境变量格式是否正确

进入/opt/aarch64-rockchip-linux-gnu/aarch64-none-linux-gnu/libc/usr路径下,将ffmpeg生成的文件(bin,include,lib,share目录下的文件)分别对应复制到

usr目录下bin,include,lib,share文件夹中

3 opencv&opencv_contrib交叉编译

STEP1:先把opencv_contrib源码复制到opencv源码目录下

STEP2:进入opencv源码目录,进行以下操作:

        mkdir build 用于存放cmake的生成文件

        mkdir install用于存放opencv交叉编译的生成文件夹,

        vim tool_chain.cmake 创键交叉编译工具链文件

 

#修改tool_chain.cmake文件,添加以下内容(注意修改相关路径):

set( CMAKE_SYSTEM_NAME Linux )

set( CMAKE_SYSTEM_PROCESSOR aarch64 )

set( CMAKE_C_COMPILER /opt/aarch64-rockchip-linux-gnu/bin/aarch64-none-linux-gnu-gcc)

set( CMAKE_CXX_COMPILER /opt/aarch64-rockchip-linux-gnu/bin/aarch64-none-linux-gnu-g++)

#set( OPENCV_ENABLE_PKG_CONFIG ON)

#set( CMAKE_C_FLAGS "-Wl,-rpath-link=/opt/arm/fffmpeginstall/lib")

set( CMAKE_FIND_ROOT_PATH "/opt/arm/fffmpeginstall/lib" )

set( CMAKE_CXX_FLAGS "-Wl,-rpath=/opt/arm/fffmpeginstall/lib")

set( CMAKE_FIND_ROOT_PATH_MODE_PROGRAM NEVER )

set( CMAKE_FIND_ROOT_PATH_MODE_LIBRARY ONLY )

set( CMAKE_FIND_ROOT_PATH_MODE_INCLUDE ONLY )

保存后关闭 tool_chain.cmake文件。

STEP3:进入opencv源码根目录,进入build文件夹,执行以下命令:

cmake -DCMAKE_INSTALL_PREFIX=../install \

-DOPENCV_EXTRA_MODULES_PATH=../opencv_contrib-4.5.1/modules \

-DWITH_FFMPEG=ON \

-DCMAKE_TOOLCHAIN_FILE=../toolchain.cmake ..

出现ffmpeg YES 表示链接ffmpeg成功,然后执行make命令编译生成

make -j$(nproc)

make install


六 应用说明

一般应用:

最后在opencv源码根目录install文件夹下将include和lib里的文件分别拷贝到ARM板的/usr/include 和/usr/lib下 然后打开终端执行可执行文件即可。

本例应用:

最后在opencv源码根目录install文件夹下将include和lib里的文件分别替换框架程序原opencv源码,交叉编译并将生成的文件放到目标嵌入式板子上。

因为采用的是opnecv硬编码ffmpeg,所以需要将前文中ffmpeg编译生成的bin,include,lib,share文件夹放到目标RK3588板上。并设置临时环境变量。

#环境变量设置:

#环境变量查询命令:

echo $PATH

echo $LD_LIBRARY_PATH

echo $PKG_CONFIG_PATH

echo $PKG_CONFIG_LIBDIR

#RK3588板子:

#ffmpeg库:

#在板子环境下的/opt目录下新建/arm/fffmpeginstall目录,用于放置ffmpeg的四个文件夹

export PATH=$PATH:/opt/arm/fffmpeginstall/bin

export LD_LIBRARY_PATH=/opt/arm/fffmpeginstall/lib:$LD_LIBRARY_PATH

export PKG_CONFIG_PATH=/opt/arm/fffmpeginstall/lib/pkgconfig:$PKG_CONFIG_PATH

export PKG_CONFIG_LIBDIR=/opt/arm/fffmpeginstall/lib:$PKG_CONFIG_LIBDIR




声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。