自动驾驶(三十)---------驾驶员监测

       目前驾驶员监测提到的不多,主要是厂商不想强调对用户的检测,有侵犯隐私的嫌疑,目前驾驶员监测主要功能有:驾驶员的身份识别、驾驶员疲劳监测以及危险驾驶行为识别。

       主要的视觉线索包括面部特征、手特征或身体特征。许多检测系统仅使用单个视觉线索,这种系统鲁棒性差,比如出现遮挡或光照变化时,容易被干扰。所以将多种视觉线索组合才是关键,也是具有挑战性的。 

1. 面部特征。

       一个驾驶员面部监控系统是基于驾驶员面部图像处理来研究驾驶员身心状况的实时系统。可以从眼睑闭合、眨眼、凝视方向、打哈欠和头部运动等,检测到驾驶员状态。基本分成两大类:

  1. 仅从眼部区域检测驾驶员;
  2. 不仅可以从眼睛中检测,还可以从脸部和头部的其他区域检测。

     检测人脸,还有眼睛和其他脸部特征,同时跟踪变化,提取症状,实现疲劳和分心检测。人脸检测已经研究了很多年,非常成熟了,眼睛和脸部其他位置也有对应的网络实现。下图,每个关键点的位置都可以提取出来。

      瞌睡状态可以通过眼睛周围的点上下移动或头部的方向来检测;包括向上,向右倾斜等。

                     

       DMS中的驾驶员面部随着视觉算法不断收集和分析关键的面部标记,基于深度学习模型的人脸表情识别系统,输出驾驶员状态的感知指标越准确,如警惕程度,疲劳,注意力分散,视觉聚焦区域等。

       而整个深度学习模型是CNN和LSTM结合,从而利用前后帧的信息:

                                     

2. 身体姿势。     

       识别驾驶员分心症状的系统。其症状类包括:喝酒,调整收音机,正确姿势驾驶,摆弄头发或化妆品,面向后面,与乘客交谈,用左手打手机通话,用右手打手机通话,用左手发短信, 用右手发短信。

                     

       系统的算法框图如图:包括面部检测器、手部检测器和皮肤区域分割。对于每个输出图像(即皮肤,面部,手),训练AlexNet和InceptionV3网络(5个AlexNet和5个InceptionV3),最后识别是一个加权组合输出。

                    

发布了66 篇原创文章 · 获赞 115 · 访问量 82万+

猜你喜欢

转载自blog.csdn.net/zhouyy858/article/details/100361480