【ORB-SLAM3】Ubuntu20.04 编译 ORM-SLAM3 并使用 D435i、EuRoC 和 TUM-VI 运行测试

1 Prerequisites1.1 C++11 or C++0x Compiler1.2 Pangolin1.3 OpenCV1.4 Eigen3

2 安装 Intel® RealSense™ SDK 2.02.1 测试设备2.2 编译源码安装 (Recommend)2.3 预编译包安装

3 编译 ORB-SLAM3 (非 ROS)4 使用 D435i 运行 ORB-SLAM34.1 运行4.2 运行时遇到的 Bug4.2.1 terminate called after throwing an instance of 'rs2::invalid_value_error'4.2.2 Segmentation fault (core dumped)

5 编译 ORB-SLAM3 (ROS)5.1 编译5.2 编译时遇到的问题5.2.1 OpenCV > 2.4.3 not found5.2.2 fatal error: sophus/se3.hpp: No such file or directory5.2.3 About AR

6 使用 EuRoC 和 TUM-VI 运行 ORB-SLAM36.1 Notes6.2 EuRoC6.3 TUM-VI

ORB-SLAM3 GitHub 链接: Link

1 Prerequisites

如果要重新安装以下第三方库，可以在之前运行 sudo make install 的目录（一般是 build 文件夹）下运行 <code>sudo make uninstall 对其进行卸载。

1.1 C++11 or C++0x Compiler

在 ORB-SLAM3 的 CMakeLists.txt 中会有检查，如果不满足会有报错。

1.2 Pangolin

参考文档: Link

这里我选择安装的是 Pangolin v0.6，下载链接: Link

准备工作（如果是安装 v0.6 可以直接进行第 2 步）

<code>git clone --recursive https://github.com/stevenlovegrove/Pangolin.git

cd Pangolin

./scripts/install_prerequisites.sh recommended

如果有报错：E: Unable to locate package catch2，则

从 install_prerequisites.sh 中移除安装 catch2

参考 issue: Link

自行安装 catch2

参考文档: Link

<code>git clone https://github.com/catchorg/Catch2.git

cd Catch2

cmake -B build -S . -DBUILD_TESTING=OFF

sudo cmake --build build/ --target install

安装 Pangolin v0.6

unzip Pangolin-0.6.zip -d ~/3rdparty

cd ~/3rdparty/Pangolin-0.6

cmake -B build

cmake --build build# instead of ”make“

sudo cmake --install build # instead of ”sudo make install“

1.3 OpenCV

参考文档: Link

这里我选择安装的是 OpenCV 4.4.0 + OpenCV_Contrib 4.4.0

sudo apt update && sudo apt install -y cmake g++ wget unzip

wget -O opencv.zip https://github.com/opencv/opencv/archive/4.4.0.zip

wget -O opencv_contrib.zip https://github.com/opencv/opencv_contrib/archive/4.4.0.zip

unzip opencv.zip -d ~/3rdparty

unzip opencv_contrib.zip -d ~/3rdparty

cd ~/3rdparty/opencv-4.4.0

mkdir build && cd build

# Configure

cmake -DOPENCV_EXTRA_MODULES_PATH=../../opencv_contrib-4.4.0/modules ..

# Build

cmake --build .

# Install

sudo cmake --install .

1.4 Eigen3

要使用 Eigen，只需下载并提取 Eigen 的源代码，Eigen 子目录中的头文件是使用 Eigen 编译程序所需的唯一文件。

这里我选择安装的是 Eigen 3.3.0，下载链接: Link

unzip eigen-3.3.0.zip -d ~/3rdparty

cd ~/3rdparty/eigen-3.3.0

cmake -B build

sudo cmake --install build

2 安装 Intel® RealSense™ SDK 2.0

参考文档: Link

如果不安装 librealsense2，运行 ./build.sh 后不会生成 stereo_inertial_realsense_D435i 等与 RealSense 有关的可执行文件。

2.1 测试设备

使用 D435i 相机，设备信息如下:

firmware version: 5.15.1librealsense2 version: v2.54.2

下面有两种安装方式: 编译源码进行安装和利用预编译包进行安装，二选一即可，我这里用的是编译源码的方式。

2.2 编译源码安装 (Recommend)

安装依赖

sudo apt-get update && sudo apt-get upgrade && sudo apt-get dist-upgrade

sudo apt-get install libssl-dev libusb-1.0-0-dev libudev-dev pkg-config libgtk-3-dev

sudo apt-get install git wget cmake build-essential

sudo apt-get install libglfw3-dev libgl1-mesa-dev libglu1-mesa-dev at

下载源码以及准备工作

下载 librealsense master 分支: Link

unzip librealsense-master.zip -d ~/3rdparty

设置 udev 规则

cd ~/3rdparty/librealsense-master

./scripts/setup_udev_rules.sh

查询系统内核版本

uname -r

如果是 <code>Ubuntu 20/22 (focal/jammy) with LTS kernel 5.13, 5.15，则

./scripts/patch-realsense-ubuntu-lts-hwe.sh

如果是 Ubuntu 18/20 with LTS kernel (< 5.13)，则

./scripts/patch-realsense-ubuntu-lts.sh

编译安装

cd ~/3rdparty/librealsense-master

mkdir build && cd build

cmake ../ -DBUILD_EXAMPLES=true

sudo make uninstall && make clean && make && sudo make install

测试

realsense-viewer

2.3 预编译包安装

参考文档: Link

安装

<code># Register the server's public key

sudo mkdir -p /etc/apt/keyrings

curl -sSf https://librealsense.intel.com/Debian/librealsense.pgp | sudo tee /etc/apt/keyrings/librealsense.pgp > /dev/null

# Make sure apt HTTPS support is installed

sudo apt-get install apt-transport-https

# Add the server to the list of repositories

echo "deb [signed-by=/etc/apt/keyrings/librealsense.pgp] https://librealsense.intel.com/Debian/apt-repo `lsb_release -cs` main" | \

sudo tee /etc/apt/sources.list.d/librealsense.list

sudo apt-get update

# Deploy librealsense2 udev rules, build and activate kernel modules, runtime library and executable demos and tools

sudo apt-get install librealsense2-dkms

sudo apt-get install librealsense2-utils

# Install the developer and debug packages

sudo apt-get install librealsense2-dev

sudo apt-get install librealsense2-dbg

测试

realsense-viewer

3 编译 ORB-SLAM3 (非 ROS)

修改 CMakeLists.txt 文件，将 realsense_INCLUDE_DIR 改为 realsense2_INCLUDE_DIR，如下图:

<code>git clone https://github.com/UZ-SLAMLab/ORB_SLAM3.git ORB_SLAM3

cd ORB_SLAM3

chmod +x build.sh

./build.sh

完成后，将会在 lib 文件夹中创建 libORB_SLAM3.so，并在 Examples 和 Examples_old 文件夹中创建可执行文件。

4 使用 D435i 运行 ORB-SLAM3

4.1 运行

先校准相机，并写入校准文件 your_camera.yaml，但我这里直接用现成的。

./Examples/Stereo-Inertial/stereo_inertial_realsense_D435i Vocabulary/ORBvoc.txt ./Examples/Stereo-Inertial/RealSense_D435i.yaml

4.2 运行时遇到的 Bug

4.2.1 terminate called after throwing an instance of ‘rs2::invalid_value_error’

报错如下:

terminate called after throwing an instance of 'rs2::invalid_value_error'

what(): object doesn't support option #85

Aborted (core dumped)

解决方法:

参考 issue: Link

将 D435i 相关的 .cc 文件中这一行内容注释掉: RS2_OPTION_AUTO_EXPOSURE_LIMIT，然后重新编译 ./build.sh。

4.2.2 Segmentation fault (core dumped)

报错如下:

解决方法:

参考 issue: Link

将 <code>System.cc 文件中这一行内容注释掉: cout << (*settings_) << endl，然后重新编译 ./build.sh。

5 编译 ORB-SLAM3 (ROS)

5.1 编译

将 Examples_old/ROS/ORB_SLAM3 添加到 <code>ROS_PACKAGE_PATH 环境变量中

gedit ~/.bashrc

# Replace PATH by the folder where you cloned ORB_SLAM3

export ROS_PACKAGE_PATH=${ROS_PACKAGE_PATH}:PATH/ORB_SLAM3/Examples_old/ROS

source ~/.bashrc

build_ros.sh 文件中的路径存在问题，修改如下

echo "Building ROS nodes"

cd Examples_old/ROS/ORB_SLAM3

mkdir build

cd build

cmake .. -DROS_BUILD_TYPE=Release

make -j

运行脚本

chmod +x build_ros.sh

./build_ros.sh

5.2 编译时遇到的问题

下面提到的 CMakeLists.txt 文件是 ORB_SLAM3/Examples_old/ROS/ORB_SLAM3/CMakeLists.txt。

5.2.1 OpenCV > 2.4.3 not found

报错如下:

解决方法:

删掉 CMakeLists.txt 文件中 <code>find_package(OpenCV 3.0 QUIET) 的指定版本。

5.2.2 fatal error: sophus/se3.hpp: No such file or directory

报错如下:

解决方法:

在 CMakeLists.txt 文件中的 <code>include_directories() 加入 ${PROJECT_SOURCE_DIR}/../../../Thirdparty/Sophus。

5.2.3 About AR

报错如下:

<code>/home/polaris/workspace/ORB_SLAM3/Examples_old/ROS/ORB_SLAM3/src/AR/ViewerAR.cc:405:53: error: no matching function for call to ‘std::vector<cv::Mat>::push_back(Eigen::Vector3f)’

405 | vPoints.push_back(pMP->GetWorldPos());

<code>/home/polaris/workspace/ORB_SLAM3/Examples_old/ROS/ORB_SLAM3/src/AR/ViewerAR.cc:530:42: error: conversion from ‘Eigen::Vector3f’ {aka ‘Eigen::Matrix<float, 3, 1>’} to non-scalar type ‘cv::Mat’ requested

530 | cv::Mat Xw = pMP->GetWorldPos();

<code>/home/polaris/workspace/ORB_SLAM3/Examples_old/ROS/ORB_SLAM3/src/AR/ros_mono_ar.cc:151:41: error: conversion from ‘Sophus::SE3f’ {aka ‘Sophus::SE3<float>’} to non-scalar type ‘cv::Mat’ requested

151 | cv::Mat Tcw = mpSLAM->TrackMonocular(cv_ptr->image,cv_ptr->header.stamp.toSec());

解决方法:

参考 issue: Link

我用不到 AR 的相关函数，所以选择将 CMakeLists.txt 文件中 AR 相关的编译部分注释掉。

6 使用 EuRoC 和 TUM-VI 运行 ORB-SLAM3

6.1 Notes

GitHub README 中提到的 <code>euroc_examples.sh 和 tum_vi_examples.sh 在历史提交中可以找到: Link如果运行时，没有可视化 GUI 出现，请检查对应 .cc 文件的这一行，其中最后一个参数如果为 false，改为 true 即可

ORB_SLAM3::System SLAM(argv[1],argv[2],ORB_SLAM3::System::MONOCULAR, false);

6.2 EuRoC

下载数据: Link

以 <code>Stereo 为例，运行测试

roscore

每个 .cc 文件都会对其生成的可执行文件的所需命令行参数进行说明，以 ros_stereo.cc 为例:

<code>rosrun ORB_SLAM3 Stereo Vocabulary/ORBvoc.txt Examples_old/Stereo/EuRoC.yaml true

播放 bag 时要对话题名进行映射，所需的话题名在对应的 .cc 文件中可以找到，以 ros_stereo.cc 为例:

<code>rosbag play --clock V1_03_difficult.bag /cam0/image_raw:=/camera/left/image_raw /cam1/image_raw:=/camera/right/image_raw

6.3 TUM-VI

下载数据: Link

以 <code>stereo_inertial 为例，运行测试

在 stereo_inertial_tum_vi.cc 文件中可以找到，其生成的可执行文件所需的命令行参数，如下图:

<code>./Examples/Stereo-Inertial/stereo_inertial_tum_vi Vocabulary/ORBvoc.txt Examples/Stereo-Inertial/TUM-VI.yaml ~/Datasets/TUM-VI/dataset-corridor1_512_16/mav0/cam0/data ~/Datasets/TUM-VI/dataset-corridor1_512_16/mav0/cam1/data Examples/Stereo-Inertial/TUM_TimeStamps/dataset-corridor1_512.txt Examples/Stereo-Inertial/TUM_IMU/dataset-corridor1_512.txt dataset-corridor1_512_stereoi

结束后，如下图: