【具身智能】AI仿真工具-Habitat安装教程

Moresweet猫甜 2024-06-28 11:31:01 阅读 67

在这里插入图片描述

仿真工具-Habitat安装教程

1. Habitat-smi与Habitat-Lab简介

Habitat 是一个具体人工智能研究平台,包括:

Habitat-Sim:一种灵活的高性能 3D 模拟器,具有可配置代理、多个传感器和通用 3D 数据集处理(内置对 MatterPort3D、 Gibson和其他数据集的支持)。

Habitat-Sim 通常与 Habitat-Lab一起使用,Habitat-Lab 是一个模块化高级库,用于嵌入式 AI 中的端到端实验 - 定义具身 AI 任务(例如导航、指令跟踪、问答)、训练代理(通过模仿或强化学习,或者像经典的 SensePlanAct 管道那样根本不学习),并使用标准指标对定义的任务的性能进行基准测试。

Habitat Lab:用于具身智能端到端开发的模块化高级库 - 定义嵌入式人工智能任务(例如导航、指令遵循、问答)、配置嵌入式代理(物理形式、传感器、功能)、训练这些代理(通过模仿或强化学习,或者像经典 SLAM 那样根本不学习),并使用标准指标在定义的任务上对他们的表现进行基准测试。

为了实现这一目标,Habitat-Lab 旨在支持以下功能:

灵活的任务定义:允许用户在各种单智能体和多智能体任务中训练智能体(例如导航、重新排列、遵循指令、回答问题、人类跟随),以及定义新颖的任务。

多样化的体现代理:配置和实例化一组多样化的体现代理,包括商业机器人和人形机器人,指定它们的传感器和功能。

训练和评估智能体:提供用于单智能体和多智能体训练的算法(通过模仿或强化学习,或者像 SensePlanAct 管道中那样根本不学习),以及使用标准指标在定义的任务上对其性能进行基准测试的工具。

人机交互:为人类与模拟器交互提供框架,从而能够收集具体数据或与训练有素的代理交互。

在这里插入图片描述

2. Habitat-smi安装步骤

使用conda创建环境,与读者的主开发环境分离开

# We require python>=3.9 and cmake>=3.10

conda create -n habitat python=3.9 cmake=3.14.0

conda activate habitat

在这里插入图片描述

按照官方教程,找不到habitat-smi

在这里插入图片描述

手动打开https://conda.anaconda.org/aihabitat/win-64

发现win-64位下并没有相应版本

在这里插入图片描述

只能在Linux上用,即使是Windows也需要在其Linux子系统中

更换Linux后安装成功

conda install habitat-sim withbullet -c conda-forge -c aihabitat

在这里插入图片描述

**

下载测试数据验证

python -m habitat_sim.utils.datasets_download --uids habitat_test_scenes --data-path [目标目录(e.g ~/hdm)]

下载后切换到下载数据集的目录,笔者是~/hdm

habitat-viewer ./scene_datasets/habitat-test-scenes/skokloster-castle.glb

在这里插入图片描述

enjoy!

测试物理数据

python -m habitat_sim.utils.datasets_download --uids replica_cad_dataset

此时当前目录会多一个data目录

habitat-viewer --enable-physics --dataset data/replica_cad/replicaCAD.scene_dataset_config.json -- apt_1

在这里插入图片描述

enjoy!

3. Habitat-lab安装步骤

经过上一步我们已经有了habitatconda环境

拉取项目源码安装

git clone --branch stable https://github.com/facebookresearch/habitat-lab.git

cd habitat-lab

pip install -e habitat-lab # install habitat_lab

在这里插入图片描述

安装base_line

pip install -e habitat-baselines # install habitat_baselines

如果读者下载的速度比较慢的话,可以切换国内源pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/

在这里插入图片描述

安装成功后

我们回到数据集的目录,下载点导航测试数据集(按照官方教程实际上还有一步下载场景数据,但是我们在habitat-sim的安装过程中已经完成)

# 读者自己选择自己的目录

cd ~/hdm

python -m habitat_sim.utils.datasets_download --uids habitat_test_pointnav_dataset --data-path data/

在这里插入图片描述

回到克隆代码的目录,执行示例程序

# 此处读者应该与自己的环境呼应

cd /home/moresweet/Projects/gitCloneZone/habitat-lab

python examples/example.py

在这里插入图片描述

pip install pygame==2.0.1 pybullet==3.0.4

python examples/interactive_play.py --never-end

在这里插入图片描述

官方在修改中

在这里插入图片描述



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。