🚚 Bobac 空地协同配送系统

基于 ROS 2 与 NVIDIA Isaac Sim 的地面机器人抓取装载 + 无人机视觉对准投放一体化仿真项目。

🎬 项目演示

▶ 演示视频：
https://www.bilibili.com/video/BV14kgR6bES1/

项目类型： AIROBOT 创新挑战赛｜单臂开拓者预选赛
演示时长： 7 分 10 秒

📖 项目简介

本项目面向室内物料配送场景，构建了一套由 Bobac 地面移动操作机器人 + 无人机 + 机载货舱 组成的空地协同配送系统。

系统在 NVIDIA Isaac Sim 中完成联合仿真，并通过 ROS 2 串联地面导航、RGB-D 视觉感知、机械臂抓取、货舱装载、无人机运输、下视视觉对准与末端投放等任务。

整个配送过程可以概括为：

地面机器人前往物料区
        ↓
识别并定位目标物料
        ↓
机械臂抓取并装入货舱
        ↓
无人机起飞并运输
        ↓
下视相机识别投放区域
        ↓
视觉闭环对准
        ↓
打开货舱完成投放

🤖 系统组成

地面机器人

Bobac 移动操作机器人负责：

• 自主前往物料区域
• 激光避障与安全停车
• RGB-D 视觉识别
• 目标三维定位
• 机械臂抓取
• 物料装入无人机货舱

无人机

无人机负责：

• 垂直起飞至安全高度
• 按航点飞往目标区域
• 下视相机搜索投放区
• 视觉闭环修正位置
• 控制货舱完成末端投放

智能货舱

货舱连接地面端与空中端：

• 侧门用于机器人装载
• 底部舱门用于无人机投放
• 支持载荷状态管理与任务反馈

🗺️ 核心任务流程

1. 地面抓取与装载

导航至物料区
→ 视觉识别目标
→ RGB-D 获取三维位置
→ 坐标转换
→ 机械臂运动规划
→ 抓取物料
→ 打开货舱
→ 完成装载

项目使用 YOLOE 对白色笔状物进行识别，并结合深度图完成三维位置估计，再将目标转换至机械臂坐标系进行抓取。:chatgpt-content-reference{index="1"}

2. 无人机运输与投放

关闭货舱
→ 无人机起飞
→ 航点飞行
→ 搜索蓝色投放区
→ 视觉闭环对准
→ 降低飞行高度
→ 最终位置确认
→ 打开底部舱门投放

无人机通过下视 RGB 相机识别蓝色目标区域，并在不同高度重复修正水平位置，满足视觉误差和高度条件后完成投放。:chatgpt-content-reference{index="2"}

✨ 项目亮点

空地协同完整闭环

项目不是单独演示机器人或无人机，而是完成：

地面抓取
→ 货舱装载
→ 空中运输
→ 视觉对准
→ 自动投放

形成完整的空地协同配送任务。

YOLOE + RGB-D 三维感知

视觉模块不仅输出二维检测结果，还结合深度信息完成：

目标识别
→ 深度获取
→ 三维反投影
→ TF 坐标转换
→ 机械臂抓取目标

cuRobo 机械臂规划

抓取模块结合 Bobac 机械臂模型进行运动求解，实现预抓取、接近、夹取和抬升等分阶段动作。

无人机视觉闭环投放

最终投放阶段不直接依赖场景真实坐标，而是利用下视相机持续观察目标区域并进行位置修正，使投放过程具备视觉闭环能力。

ROS 2 模块化设计

导航、视觉、抓取、货舱和无人机任务均通过 ROS 2 Topic / Action 进行通信，便于单独调试和系统联调。

🛠 技术栈

仿真与机器人

ROS 2 Humble · NVIDIA Isaac Sim 4.5 · USD · PhysX

地面机器人

Nav2 · AMCL · SLAM Toolbox · RTAB-Map

视觉与抓取

YOLOE · OpenCV · RGB-D · TF2 · cuRobo

无人机

Pegasus Simulator · PX4 · 下视视觉定位

开发

Python · ROS 2 Launch · Action · Topic · YAML · URDF

🏆 项目成果

完成 Bobac 地面移动操作机器人、无人机及双舱门货舱的联合仿真，并打通：

• 地面机器人导航与安全控制
• 物料视觉识别与三维定位
• 机械臂抓取与装载
• 空地任务协同
• 无人机航点运输
• 下视视觉闭环对准
• 自动舱门投放

最终形成完整的：

感知
 ↓
决策
 ↓
抓取
 ↓
装载
 ↓
运输
 ↓
对准
 ↓
投放

演示视频完整记录了该任务链路。:chatgpt-content-reference{index="3"}

📁 项目结构

bobac-air-ground-delivery/
│
└── isaac/
    ├── grasp_demo_interfaces/     # ROS 2 Action 接口
    ├── grasp_demo_pkg/            # 视觉、规划与抓取
    ├── isaac-sim/
    │   └── isaacsimassets-dev/
    │       └── integrated_runtime/ # Isaac Sim ROS 2 运行时
    ├── isaac_sim_2026/            # 主任务与仿真控制
    └── nav2_demo_pkg/             # 导航与地图配置

📌 说明

本仓库主要用于项目展示与技术交流。

仓库保留项目核心任务源码，部分官方资料、第三方参考项目、模型权重、大体积仿真资产及实验输出未纳入仓库。