RDK X5 TROS — TogetheROS.Bot 机器人开发
所有 tros 包安装在 /opt/tros/humble/,共 43 个包、136 个 launch 文件。
前置准备
CODEBLOCK0
预装包速查表
感知算法(17 个)
| 包名 | 功能 |
|---|
| dnnnodeexample | YOLO/分类/分割通用推理 |
| mono2dbodydetection |
人体 2D 检测 |
| mono3d
indoordetection | 室内 3D 检测 |
| face
agedetection | 人脸年龄检测 |
| face
landmarksdetection | 人脸关键点 |
| hand
gesturedetection | 手势检测 |
| hand
lmkdetection | 手部关键点 |
| hobot
falldowndetection | 跌倒检测 |
| hobot_dosod | 开放词汇检测 (DOSOD) |
| hobot
yoloworld | YOLO-World 开放词汇 |
| parking_perception | 停车场感知 |
| mono_mobilesam | MobileSAM 分割 |
| mono_edgesam | EdgeSAM 轻量分割 |
| elevation_net | 高程估计 |
| mono_pwcnet | 光流估计 |
| reid | 行人重识别 |
| clip_manage | CLIP 图文匹配 |
传感器驱动(6 个)
| 包名 | 功能 |
|---|
| mipicam | MIPI 摄像头 |
| hobotusb_cam |
USB 摄像头 |
| hobot
zedcam | ZED 双目 |
| hobot_stereonet | 双目深度估计 |
| imu_sensor | IMU |
| hobot_audio | 音频采集 |
处理与输出(8 个)
| 包名 | 功能 |
|---|
| hobotcodec | 图像编解码 |
| hobotcv |
硬件加速图像处理 |
| hobot_hdmi | HDMI 显示 |
| hobot
imagepublisher | 图片发布(测试) |
| hobot_visualization | 可视化叠加 |
| websocket | Web 展示 (port 8000) |
| hobot
rtspclient | RTSP 拉流 |
| hobot_vio | 视频 IO |
应用方案(6 个)
| 包名 | 功能 |
|---|
| hobotllamacpp | 端侧 LLM 大模型 |
| audiocontrol |
语音控制 |
| audio_tracking | 声源追踪 |
| body_tracking | 人体追踪 |
| gesture_control | 手势控制 |
| parking_search | 智能车位搜索 |
工具包(6 个)
hobot
shm(零拷贝共享内存)、troslowpass
filter、trosperception
fusion、dstereooccnet 等。
常用 Pipeline
摄像头 + YOLO + Web
CODEBLOCK1
人脸关键点 + Web
CODEBLOCK2
DOSOD 开放词汇
CODEBLOCK3
SAM 分割
CODEBLOCK4
LLM 大模型
CODEBLOCK5
ROS2 管理命令
CODEBLOCK6
查看 launch 文件
CODEBLOCK7
自定义开发
CODEBLOCK8
排查故障
| 现象 | 原因 | 解决 |
|---|
| INLINECODE1 | 未 source 环境 | INLINECODE2 |
| 节点启动后立即退出 |
依赖节点未启动(如缺摄像头) | 先启动摄像头节点,再启动算法节点 |
| topic 无数据 | 节点间 topic 名称不匹配 |
ros2 topic list 检查;用
--remap 对齐 |
| 共享内存报错 | hobot_shm 配置问题 | 检查
/dev/shm 空间:
df -h /dev/shm |
RDK X5 TROS — TogetheROS.Bot 机器人开发
所有tros包安装在/opt/tros/humble/,共43个包、136个launch文件。
前置准备
bash
每个终端必须source
source /opt/tros/humble/setup.bash
预装包速查表
感知算法(17个)
| 包名 | 功能 |
|---|
| dnnnodeexample | YOLO/分类/分割通用推理 |
| mono2dbodydetection |
人体2D检测 |
| mono3d
indoordetection | 室内3D检测 |
| face
agedetection | 人脸年龄检测 |
| face
landmarksdetection | 人脸关键点 |
| hand
gesturedetection | 手势检测 |
| hand
lmkdetection | 手部关键点 |
| hobot
falldowndetection | 跌倒检测 |
| hobot_dosod | 开放词汇检测(DOSOD) |
| hobot
yoloworld | YOLO-World开放词汇 |
| parking_perception | 停车场感知 |
| mono_mobilesam | MobileSAM分割 |
| mono_edgesam | EdgeSAM轻量分割 |
| elevation_net | 高程估计 |
| mono_pwcnet | 光流估计 |
| reid | 行人重识别 |
| clip_manage | CLIP图文匹配 |
传感器驱动(6个)
| 包名 | 功能 |
|---|
| mipicam | MIPI摄像头 |
| hobotusb_cam |
USB摄像头 |
| hobot
zedcam | ZED双目 |
| hobot_stereonet | 双目深度估计 |
| imu_sensor | IMU |
| hobot_audio | 音频采集 |
处理与输出(8个)
| 包名 | 功能 |
|---|
| hobotcodec | 图像编解码 |
| hobotcv |
硬件加速图像处理 |
| hobot_hdmi | HDMI显示 |
| hobot
imagepublisher | 图片发布(测试) |
| hobot_visualization | 可视化叠加 |
| websocket | Web展示(port 8000) |
| hobot
rtspclient | RTSP拉流 |
| hobot_vio | 视频IO |
应用方案(6个)
| 包名 | 功能 |
|---|
| hobotllamacpp | 端侧LLM大模型 |
| audiocontrol |
语音控制 |
| audio_tracking | 声源追踪 |
| body_tracking | 人体追踪 |
| gesture_control | 手势控制 |
| parking_search | 智能车位搜索 |
工具包(6个)
hobot
shm(零拷贝共享内存)、troslowpass
filter、trosperception
fusion、dstereooccnet等。
常用Pipeline
摄像头 + YOLO + Web
bash
ros2 launch dnn
nodeexample dnn
nodeexample.launch.py \
dnn
exampleconfig_file:=config/yolov5sworkconfig.json \
dnn
exampleimage
width:=640 dnnexample
imageheight:=480
人脸关键点 + Web
bash
ros2 launch face
landmarksdetection body
detface
landmarksdet.launch.py
DOSOD开放词汇
bash
ros2 launch hobot_dosod dosod.launch.py
SAM分割
bash
ros2 launch mono_mobilesam sam.launch.py
LLM大模型
bash
ros2 launch hobot
llamacpp hobotllamacpp.launch.py
ROS2管理命令
bash
ros2 topic list # 所有话题
ros2 topic hz /image_raw # 话题频率
ros2 topic echo /ai_msg --no-arr # 打印数据
ros2 node list # 运行中节点
ros2 node info /mipi_cam # 节点详情
ros2 service list # 服务列表
ros2 param list # 参数列表
查看launch文件
bash
ls /opt/tros/humble/share//launch/
自定义开发
bash
mkdir -p ~/trosws/src && cd ~/trosws/src
ros2 pkg create mynode --build-type amentpython --dependencies rclpy
cd ~/tros_ws && colcon build
source install/setup.bash
ros2 run mynode mynode
排查故障
| 现象 | 原因 | 解决 |
|---|
| Package not found | 未source环境 | source /opt/tros/humble/setup.bash |
| 节点启动后立即退出 |
依赖节点未启动(如缺摄像头) | 先启动摄像头节点,再启动算法节点 |
| topic无数据 | 节点间topic名称不匹配 | ros2 topic list检查;用--remap对齐 |
| 共享内存报错 | hobot_shm配置问题 | 检查/dev/shm空间:df -h /dev/shm |