18cm三轮摄像头图像处理
前言
或许是有幸，参加了第十五届智能车竞赛，在这一年里，经历了很多，少有满意，认识了很多人，感谢相识。
比赛将要结束，我也将离智能车越来越远。但毕竟也曾热爱、付出过，希望能把我的一些经验写下来，至少留下一个痕迹，也能给一些准备比赛或像参加比赛的选手提供一些帮助。
比赛规则
第十五届全国大学生智能汽车竞赛竞速赛规则
可能由于疫情原因，比赛不仅提前了，而且准备时间还相比之前减少了很多，因此第十五届智能车竞速赛的赛道元素相比去年删去了一些，而仅仅新加了一个车库元素。因此，在图像方面，负担减轻了很多。
设备简述
F车
130°普通无畸变摄像头
摄像头镜面中心高度18.5cm
前瞻2.5-3m
一、扫线方式（八领域）
感谢聪聪在八领域方面的帮助@zcc
八领域实现原理在网上可以很容易找到，不再赘述。
主要讲一讲我是如何使用八领域的。
1.寻找赛道
1）种子寻找
定一个底行初始位置，从中间分别向两边寻找边线的种子
2）八领域寻线
利用八领域，由种子生长出整条边界
3）在边界中提取边线1
通过遍历八领域得到的连续边界，提取出用于计算中值的边线。
图中，左边蓝线与右边绿线为每行的边线，下图为分离图
4）计算中值
2.赛道信息提取
1）边界生长方向信息
可以把领域的生长方向记录下来，作为边界的特征之一
2）拐点的寻找
①直角型拐点
直角型拐点的特征较为明显，边界在直角的顶点会急剧转向接近90°的另一个方向，常出现在十字中。
拿十字举例
二值图：
边界：
可以通过边界生长方向的变化来寻找
或者通过斜率的突变来寻找
②圆弧形拐点
因为赛道弯曲形成的拐点，回拐的程度较小，常出现在弯道或环岛中。
拿小弯举例
二值图：
边界：
拐点：
拐点出现在边界像素点横坐标的局部极大值或极小值处。
3）边界的方差（或绝对值）计算
①最小二乘法
这里使用最简单的拟合一次函数曲线的最小二乘法，网上很多教程与实例，不再赘述。
②用最小二乘法拟合出的直线计算与边界像素点的方差（或绝对值）
如图所示，可以直观看出像素点偏移直线程度。
4）边界的斜率
由最小二乘法得到的一次函数得到边界的总体斜率
二、赛道元素判断及处理
1.十字元素
正入十字
1）判断条件
二值图：
边界图：
①找到左前拐点
②左边线向左横向生长像素点较多
③找到右前拐点
④右边线向右横向生长像素点较多
2）拉线处理
①十字前
分别将左右前后两个拐点相连
②十字中
找到两个后拐点，利用最小二乘法前拉边线
斜入十字（举一种情况）
1）判断条件
二值图：
边界图：
①找到右前拐点
②右前边界向右横向生长的点数较多
③找到右后拐点
④找到左后拐点
2）拉线处理
①将右边两个拐点相连
②利用最小二乘法前拉左后拐点高行的直线
2.环岛元素
1）判断条件
以左环岛为例
二值图：
边界：
①左拐点
②左前边线横向生长的点较多
③右边界从底行到高行为直线，方差很小
判断条件较为简单，如果不放心，可以再提取左上圆环特征
2）拉线处理
整个环岛处理为一个状态机，大致拉线如下：
①左前直角型拐点与左后圆弧形拐点相连
②左后圆弧形拐点拉线
③入环拐点拉到右边低行
④环内正常边线
⑤开始出环先拉右线
⑥左后拐点与左前边线起始处相连
⑦二乘法将左后拐点拟线前拉
3.车库元素
入车库
1）判断条件
二值图：
边界图：
①找到左前拐点
②右边界为直线，方差较小
③扫到斑马线
④横向生长的点数较多（或左前拐点后的边界斜率很小很小）
2）拉线处理
①将左后拐点拉到左前拐点纵坐标位置的右边线
②将左后边线的起始位置拉到右下角
③当左后拐点小于一定行数，利用最小二乘法将左后拐点的线拟合到右下角
④进入车库，正常扫线
出车库
1）判断条件
无需判断，手动预设
2）拉线处理（以右出库为例）
①在库内，拉直线
②左前拐点小于某行或丢失，开始拉线
③避开斑马线进行扫线，直接拉到左下角
④出库基本完成，正常扫线
4.坡道元素
二值图：
边线图：
1）判断条件
①高行行间距变小
②高行与低行都是直线，方差很小
2）状态判断
①上坡前，边线延伸至顶行，行间距较大
②上坡时，边线顶端只能够到达中间行
③下坡时，边线又延伸至顶端，高行行间距变小
④下到坡底，行间距变宽
⑤坡道结束，回到正常赛道
3）拉线处理
①在坡顶时，只处理低行中线，减少因坡顶的视野太远导致的误扫边界的影响
②其他时候正常扫线
5.会车
1）判断条件
二值图：
边界图：
在道路中间由下往上找种子，找到后车车模并扫线
①找到车的四个拐点
②拐点前后边界的生长特征
③两个前拐点之间的距离符合正常后车长度
2）拉线处理
①将两个拐点中间的像素点作为后车中点
②将中点与最低行中点拉线
6.弯道
1）小弯道
①多处圆弧型拐点
②边界存在一定的方差
③边界的斜率一定范围内
2）大弯道
①一处圆弧拐点
②边线方差较大
③边界的斜率超出一定范围
7.长直道
①不存在圆弧拐点
②边线方差很小
③边界的斜率稳定在很小范围之内
三、反光判断
利用生长方向的异常来判断是否反光
二值图：
边界：
可以看到左边界尽头突然急剧折返，可以认为异常，判断为反光，停止扫线，减少一些误判或增强图像在反光时的鲁棒性。
四、结语
智能车让我学到了很多
边界为八领域生长出的连续像素点，边线为每行一个的离散像素点 ↩︎