ROS 学习笔记(九)——rosbag 录制图像topic,提取 rgb 图和深度图

1. rosbag 命令行

rosbag
ros wiki:rosbagCommandline

在 ROS 系统中,可以使用 bag 文件来保存和恢复系统的运行状态,比如录制雷达和相机话题的 bag 包,然后回放进行数据处理。

rosbag 目前常用的命令如下:

  • 录制: rosbag record
    将指定话题录制到一个 bag 文件。
# 录制完保存 bag 包名称为 session1 + 时间戳.bag 格式:
rosbag record -o session1 <topic_names>

# 录制完保存为指定文件名session2.bag:
rosbag record -O session2.bag <topic_names>
  • 播放 rosbag play
    rosbag play 读取一个或多个 bag 文件的内容,并以时间同步的方式回放,时间同步基于接收消息的全局时间戳。回放开始后,会根据相对偏移时间发布消息。
    比如我先录制一个 bag1 包,等待一个小时,然后录制另一个 bag2 包,那我在一起回放 bag1 和 bag2 时,会先回放 bag1,然后等待 1 个小时才能回放 bag2。
# 在回放过程中按空格暂停,常见用法如下,回放单个 bag:
rosbag play record.bag
# 回放多个 bag,基于全局时间间隔播放:
rosbag play record1.bag record2.bag
#以录制的一半频率回放:
rosbag play -r 0.5 --pause record.bag
# 指定回放频率,默认 100HZ:
rosbag play --clock --hz=200 record.bag
# 循环播放:
rosbag play -l record.bag
  • 压缩:rosbag compress
# 指定压缩格式为 lz4,默认的压缩格式是 bz2
rosbag compress --lz4 xxx.bag
# 解压缩
rosbag decompress xxx.bag
  • rosbag info
    显示包文件内容的可读摘要,包括开始和结束时间,主题及其类型,消息计数、频率以及压缩统计信息。
rosbag info name.bag
# 输出 YAML 格式的信息:
rosbag info -y name.bag

2. rosbag 图像数据解析(python)

rosbag/Code API
python API Documentation

用 Azure-kinect相机,采用如下命令采集了一段rgb 图像和深度图话题的 rosbag。

rosbag record -O image.bag /rgb/image_raw /depth_to_rgb/image_raw

现需要将其解析为 rgb 图像和深度图的灰度图。

参考:
guikunchen/converter-between-rosbag-and-images给出了rosbag 与图像之间的相互转换完整的解决方案。

get_depth_rgb_from_rosbag.py 程序(有改动)如下:

import numpy
import rosbag
import cv2
import os
from sensor_msgs.msg import Image
from cv_bridge import CvBridge
from cv_bridge import CvBridgeError
rgb_path = '/path/to/save/re-edit-bag/rgb/'# absolute path of extracted rgb images
depth_path = '/path/to/save/re-edit-bag/depth/'# absolute path of extracted depth images
bridge = CvBridge()
with rosbag.Bag('/path/to/image.bag', 'r') as bag:
	num = 1
    for topic,msg,t in bag.read_messages():
        
        if topic == "/depth_to_rgb/image_raw": 
            cv_image = bridge.imgmsg_to_cv2(msg, '32FC1')
            cv_image = cv_image * 255  # 不知为何转化的深度图显示不出来。将其乘以 255 才能看到显示效果.

            # timestr = "%.8f" %  msg.header.stamp.to_sec() # 时间戳命名
            # image_name = timestr + '.png'# an extension is necessary
            image_name = str(num) + '.png'# 编号命名
            cv2.imwrite(depth_path + image_name, cv_image)  
            # 实际应用可直接保存为 numpy array
            # np.save(depth_path + image_name, cv_image)  
            print(depth_path + image_name)
        if topic == "/rgb/image_raw": 
            cv_image = bridge.imgmsg_to_cv2(msg, "bgr8")
            timestr = "%.8f" %  msg.header.stamp.to_sec()
            image_name = str(num) + '.png'
            cv2.imwrite(rgb_path + image_name, cv_image)
       num += 1

正确设置文件路径,运行此代码即可。

注,相机采集的深度图是 32 位的浮点数。经bridge.imgmsg_to_cv2(msg, '32FC1')转换得到是以米为单位的深度数值。而cv2.imwrite()写入的则是 0-255 的数值,因此深度值都被取整了,导致直接保存的图片全黑了。显然简单的乘以 255 的处理方法会丢失大量的有效信息。

这个链接一定程度上解决了这个问题。核心代码如下:

# cv_image = self.bridge.imgmsg_to_cv2(msg_depth, "32FC1")
# depth_array = np.array(cv_image, dtype=np.float32)
# "passthrough"表示默认格式,即可得到np.float32,无需np.array语句。
depth_array = self.bridge.imgmsg_to_cv2(depth_data, "passthrough") # 此句等同于前两行
# Normalize the depth image to fall between 0 (black) and 1 (white)
cv2.normalize(depth_array, depth_array, 0, 1, cv2.NORM_MINMAX)

cv2.imwrite("depth.png", depth_array*255)

猜你喜欢

转载自blog.csdn.net/zxxxiazai/article/details/111616502