机器人的一些应用-视觉-语音-导航

只是学习过程用于笔记记录。用于以后复习

机器人的一些应用

机器视觉

ROS中的图像数据

显示图像类型（二维图像）
- roslaunch usb_cam usb_cam-test.launch
  
  rostopic info /usb_cam/image_raw
  
  使用rosmsg show sensor_msga/Imags 查看消息类型
- Header ：消息头，包含消息序号，时间戳和绑定坐标系
- height：图像的纵向分辨率
- width：图像的横向分辨率
- encoding：图像的编码格式，包含RGB、YUV等常用格式，不涉及图像压缩码
- is_bigendian：图像数据的大小端存储模式
- step：一行图像数据的字节数量，作为数据步长参数
- data：存储图像数据的数组，大小step×height个字节
- 1080720存储的图像数据的数组，大小为31080*720=2764800 个字节

std_msgs/ Header headerv
	unit32 seq   //消息序号
	time  stamp  //时间戳
    string fame_id  //绑定的坐标系，手动设置
uint32 height
uint32 width
string encoding
uint8 is_bigendian
uint32  step
uint8[] data

压缩数据的格式

rosmsg show sensor_msgs/CompressdImage

std_msgs/Header header
	uint32 seq
	time stamp
	string frame_id
string format     //图像压缩的编码格式（jpeg png bmp）
uint8[] data      //存储的图像数据数组

图像类型（三维图像）

显示点云类型：roslaunch freenect_launch freenect.launch

rostopic info /camera/depth_registered/points

查看点云消息

> rosmsg show sensor_msgs/PointCloud2

在这里插入图片描述

摄像头标定

摄像头为什么要标定

摄像头对光学器件的要求较高，由于摄像头内部与外部的一些原因，生成的物体图像往往会发生崎变，为避免数据源造成的误差，需要针对摄像头的参数进行标定。
安装标定功能包

$ sudo apt-get install ros-kinetic-camera-calibration

摄像头标定流程

启动摄像头
- roslaunch robot_vision usb_cam.launch
启动标定包
- rosrun camera_calibration cameracalibrator.py --size 8x6 --square 0.024 image:=/usb_cam/image_raw camera:=/usb_cam
  
  size:标定棋盘格的内部角点的个数，这里使用的棋盘一共6行，每行有8个内部角点;
  
  square:这个参数对应每一个棋盘格的边长，单位为米
  
  image和camera：设置摄像头发布的图像话题
  
  X:标定靶在摄像头视野中的左右移动
  
  Y:标定靶在摄像头视野中的上下移动
  
  Size：标定靶在摄像头视野中前后移动
  
  Skew：标定靶在摄像头视野的倾斜转动

Kinect标定流程

启动kinect
- roslaunch robot_vision freenect.launch
启动彩色摄像头

rosrun camera_calibration cameracalibrator.py --size 8x6 --square 0.024 image:=/camera/rgb/image_raw camera:=/camera/rgb
标定红外摄像头
- rosrun camera_calibration cameracalibrator.py --size 8x6 --square 0.024 image:=/camera/ir/image_raw camera:=/camera/ir

摄像头如何使用标定文件

在这里插入图片描述

OpenCV

安装Opencv

sudo apt-get install ros-kinetic-vision-opencv libopencv-dev python-opencv

测试案例

roslaunch robot_vision usb_cam.launch
rosrun robot_vision cv_bridge_test.py
rqt_image_view

图像转换

imgmsg_to_cv2():将ROS图像消息装换成OpenCv图像数据

cv2_to_imgmsg():将OpenCV格式的图像数据转换成ROS图像消息

人脸识别

流程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3Cz2GCJH-1574339788605)(/home/xj/笔记图片/5.5.png)]

启动人脸识别实例

roslaunch robot_vision usb_cam.launch

roslaunch robot_vision face_detector.launch

rqt_image_view

物体跟踪

流程

在这里插入图片描述

启动物体跟踪实例

roslaunch robot_vision usb_cam.launch

roslaunch robot_vision motion_detector.launch

rqt_image_view
初始化部分：完成ROS节点、图像、识别参数的设置
图像处理：将图像转换成OpenCV格式完成图像预处理之后开始针对两帧图像进行比较。基于图像差异识别到运动的物体，最后标识识别结果并发布

二维码识别

安装二维码识别功能

sudo apt-get install ros-kinetic-ar-track-alvar
创建二维码

rosrun ar_track_alvar createMarker

rosrun ar_track_alvar createMarker 0
启动

roslaunch robot_vision freenect.launch

roslaunch robot_vision ar_track_kinect.launch

物体识别与机器学习

Object Recognition Kitchen（ORK）框架

TensorFlow Object Detection API

机器语音

流程

在这里插入图片描述

常用功能包
- pocketsphinx：集成CMU Sphinx和Festival开源项目中的代码，实现语言识别的功能
- audio-common：提供了文本转语音（Text-to-speech）的功能实现完成机器人说话
- AIML：人工智能标记语言，Aritificial Intelligence Markup Language，是一种创建自然语言软件代理的XML语言
参考书：《ROS ROBOTICS PROJECTS》

科大讯飞SDK

下载SDK
使用SDK ：将libmsc.so 拷贝到系统目录下 sudo cp libmsc.so /usr/lib/libmsc.so
- 注意：SDK带有ID号，每个人每次下载后的ID都不相同，更换SDK之后要修改代码中的APPID

编译注意
在这里插入图片描述

语音合成

main函数声明了一个订阅voiceWords话题的subscriber，接受输入的语音字符串
回调函数voiceWordsCallback中使用SDK接口将字符串转换成中文语音

在这里插入图片描述

在编译功能包出现alsa/

在这里插入图片描述

语言助手

在这里插入图片描述

扩展阅读

在这里插入图片描述

SLAM导航

机器人必备条件

硬件要求
深度信息
里程计信息
仿真环境

ROS SLAM功能包应用的方法

gmapping功能包
- 基于激光雷达
- Rao-Blackwellized粒子波算法
- 二维栅格地图
- 需要机器人提供里程计信息
- OpenSlam开源算法
- 输出地图话题：nav_msgs/OccupancyGrid
- 论文参考：http://openslam.org/gmapping.html

在这里插入图片描述