您只看一次（YOLO）是针对实时处理的对象检测系统。我们将在本文中介绍YOLO，YOLOv2和YOLOv3。这是YOLO官网提供各种模型的准确性和速度比较。
让我们从下面的测试图像开始
YOLO检测到的对象：
网格单元
为了便于讨论，我们裁剪了原始照片。YOLO将输入图像划分为S × S网格。每个网格单元仅预测一个对象。例如，下面的黄色网格单元试图预测其中心（蓝色点）落在网格单元内的“人”对象。
每个网格单元都预测固定数量的边界框。在此示例中，黄色网格单元格进行两个边界框预测（蓝色框）以定位人的位置。
但是，单对象规则限制了所检测对象的接近程度。为此，YOLO在对象近距离上确实有一些限制。对于下图，左下角有9个圣诞老人，但YOLO只能检测到5个。
对于每个网格单元：
- 它预测B个边界框，每个框都有一个框置信度得分
- 它只检测一个物体，而与盒子B的数量无关
- 它可以预测C个 条件类的概率（对于对象类的可能性，每个类一个）
为了评估PASCAL VOC，YOLO使用7×7网格（S×S），2个边界框（B）和20个类（C）
让我们来了解更多细节。每个边界框包含5个元素：（x，y，w，h）和一个框的置信度得分。置信度得分反映了框包含一个对象的可能性（objectness）以及边界框的准确性。我们通过图像的宽度和高度对边界框的宽度w和高度h进行归一化。x和y是对应
单元格的偏移量。因此，x，y，w和h都在0和1之间。每个像元都有20个条件类概率。该条件类概率是检测到的对象属于特定类别的概率（每个单元格每个类别一个概率）。因此，YOLO的预测形状为（S，S，B×5 + C）=（7，7，2×5 + 20）=（7，
7，30）。
YOLO的主要概念是建立一个CNN网络以预测（7，7，30）张量。它使用CNN网络将空间尺寸减小到7×7，每个位置都有1024个输出通道。YOLO使用两个完全连接的层执行线性回归，以进行7×7×2边界框预测（下图为中间图）。为了做出最终预测，我们将框置信度得分高（大于0.25）的那些作为我们的最终预测（右图）。
每个预测框的分类置信度得分计算如下：
它测量对分类和定位（对象所在的位置）的置信度。
我们可以轻松地将那些计分和概率项混合在一起。以下是数学定义：
网络设计
YOLO具有24个卷积层，其后是2个全连接层（FC）。一些卷积层可替代地使用1×1缩小层来减少特征图的深度。对于最后一个卷积层，它输出形状为（7，7，1024）的张量。然后将张量展平。使用2个完全连接的层作为线性回归的形式，它输出7×7×30个参数，然后重塑为（7、7、30），即每个位置2个边界框预测。更快但不太准确的YOLO版本称为Fast YOLO，它仅使用9个卷积图层，具有较浅的特征图。
损失函数
YOLO预测每个网格单元有多个边界框。为了计算真实正值的损失，我们只希望其中一个负责对象。为此，我们选择具有最高IoU（与工会的交集）和基本事实的人。这种策略导致边界框预测之间的专门化。每个预测都可以更好地预测某些大小和纵横
比。
YOLO使用预测值与基本事实之间的平方和误差来计算损失。损失函数包括：
- 在分类的损失
- 位置的损失（预测边界框与真实框之间的误差）
- 置信度的损失
非最大抑制
YOLO可以对同一物体进行重复检测。为了解决这个问题，YOLO应用了非最大抑制以较低的置信度删除重复项。非最大抑制会在mAP中增加2-3％。
这是可能的非最大抑制实现之一：
- 按置信度分数对预测进行排序。
- 从最高分开始，如果我们发现任何先前的预测与当前预测具有相同的类并且IoU>
0.5，则忽略任何当前预测。 - 重复步骤2，直到检查完所有预测。
YOLOv2
SSD是YOLO的强大竞争对手，它一方面证明了实时处理的更高准确性。与基于区域的探测器相比，YOLO的定位误差更高，召回率（衡量所有物体的定位效果）更低。YOLOv2是YOLO的第二个版本，目的是在提高准确性的同时又要使其更快。
第一方面：精度提升
批量标准化
在卷积层中添加批处理规范化。mAP提升了2％。
高分辨率分类器
YOLO培训分为两个阶段。首先，我们训练像VGG16这样的分类器网络。然后，我们用卷积层替换完全连接的层，并端到端对其进行重新训练以进行对象检测。YOLO用224×224图片，然后是448×448图片来训练分类器，以进行物体检测。YOLOv2从224×224张图片开始进行分类器训练，但随后以更少的时间间隔再次以448×448张图片重新分类器。这使检测器的训练更加轻松，并将mAP提高4％。
卷积与锚框
如YOLO论文所述，早期训练易受不稳定梯度的影响。最初，YOLO在边界框上进行任意猜测。这些猜测可能对某些对象有效，但对另一些对象则不利，从而导致陡峭的梯度变化。在早期的培训中，关于哪种形状要专门进行预测是相互斗争的。
由于我们只需要一个猜测就对了，因此，如果我们从现实生活中常见的各种猜测开始，初始训练将更加稳定。例如，我们可以创建5个具有以下形状的锚框。
代替预测5个任意边界框，我们预测到上面每个锚定框的偏移量。如果我们限制偏移值，则我们可以保持预测的多样性，并使每个预测着眼于特定形状。因此初始培训将更加稳定。
删除负责预测边界框的完全连接的层
增加边界框为5个
每个预测都包括边界框的4个参数(x, y, w, h)，1个框的置信度得分（客观性）和20个类概率。即5个带有25个参数的边界框：每个网格单元125个参数。与YOLO一样，客观性预测仍可预测地面实况和拟议方框的IOU。
将输入图像的大小从448×448更改为416×416。
这将创建一个奇数空间尺寸（7×7与8×8网格单元）。图片的中心通常被大物体占据。使用奇数网格单元，可以更确定对象所属的位置。
维度簇
在许多问题域中，边界框具有很强的模式。例如，在自动驾驶中，两个最常见的边界框将是距离不同的汽车和行人。为了确定对训练数据具有最佳覆盖范围的前K个边界框，我们在训练数据上运行K-均值聚类，以找到前K个聚类的质心。
细粒度的功能
卷积层逐渐减小空间尺寸。随着相应分辨率的降低，很难检测到小物体。其他对象检测器（如SSD）可从功能图的不同层定位对象。因此，每一层都以不同的规模专长。YOLO采用了另一种称为直通的方法。它将26×26×512层重塑为13×13×2048。然后
与原始的13×13×1024输出层连接。现在，我们在新的13×13×3072层上应用卷积滤波器进行预测。
多尺度培训
删除完全连接的图层后，YOLO可以拍摄不同尺寸的图像。如果宽度和高度加倍，我们将只进行4倍的输出网格单元，因此进行4倍的预测。由于YOLO网络会将输入下采样32倍，因此我们只需要确保宽度和高度是32的倍数即可。在训练期间，YOLO拍摄
的图像尺寸为320×320、352×352，…和608×608（步骤32）。对于每10批，YOLOv2随机选择另一个图像大小来训练模型。这充当数据增强，并迫使网络针对不同的输入图像尺寸和比例进行良好的预测。另外，我们可以使用较低分辨率的图像进行目标检测，但要以准确性为代价。在低GPU功耗的设备上，这可能是一个不错的折衷方案。YOLO以288×288的速度在90 FPS的条件下运行，其mAP几乎与Fast R-CNN一样。
准确性
这是应用到目前为止讨论的技术之后的准确性提高：
不同检测器的精度比较:
YOLOv3
在Pascal Titan X上，它以30 FPS的速度处理图像，并且在COCO测试开发中的mAP为57.9％。
class预测
大多数分类器假定输出标签是互斥的。如果输出是互斥的对象类，则为true。因此，YOLO应用softmax函数将分数转换为总计为1的概率。YOLOv3使用多标签分类。例如，输出标签可以是非排他性的“行人”和“孩子”。（现在输出的总和可以大于1。）
YOLOv3用独立的逻辑分类器替换了softmax函数，以计算输入属于特定标签的可能性。YOLOv3在计算分类损失时不使用均方误差，而是对每个标签使用二进制交叉熵损失。通过避免softmax函数，这也降低了计算复杂度。
边界框预测和损失函数计算
YOLOv3使用逻辑回归预测每个边界框的客观性得分。YOLOv3改变了计算损失函数的方式。如果边界框先验（锚点）与真实物体的重叠程度大于其他事实，则对应的客观性得分应为1。对于重叠度大于预定义阈值（默认值为0.5）的其他先验，它们不
会产生任何成本。每个地面真理对象仅与一个边界框相关联。如果没有分配先验边界框，则不会导致分类和定位丢失，而只会降低客观性的置信度。我们使用tx和ty（而不是bx和by）来计算损失。
金字塔网络
YOLOv3每个位置进行3个预测。每个预测由边界框，客观性和80个类别分数组成，即N×N×[3×（4 + 1 + 80）]个预测。YOLOv3以3种不同的尺度进行预测（类似于FPN）
特征提取器
使用新的53层Darknet-53代替Darknet-19作为特征提取器。Darknet-53主要由3×3和1×1滤波器组成，这些滤波器具有跳过连接，例如ResNet中的残留网络。与ResNet152相比，Darknet-53具有更少的BFLOP（十亿浮点运算），但以2倍的速度实现了相
同的分类精度。
YOLOv3性能
YOLOv3的COCO AP指标与SSD相当，但速度提高了3倍。但是YOLOv3的AP仍然落后于RetinaNet。特别是，AP @ IoU = .75与RetinaNet相比明显下降，这表明YOLOv3具有更高的定位误差。YOLOv3在检测小物体方面也显示出显着改进。
当速度很重要时，YOLOv3在快速检测器类别中的表现非常好。
