1.文章信息
本次介绍的文章是2023年韩国延世大学作为一作发表的一篇关于基于计算机视觉的火灾检测文章，题目为《Development of early fire detection model for buildings using computer vision-based CCTV》。
2.摘要
建筑物的火灾直接影响到居住者的生命。因此，需要开发一种更安全的环境系统，以最大限度地减少室内火灾造成的损失。
近年来基于计算机视觉的火灾快速探测方法的研究，旨在利用先进的深度学习技术，克服一般火灾探测器的局限性，防止误报。但是，目前还缺乏针对室内火灾视频检测模型的开发和在实际测试室内的应用研究。这篇文章利用室内闭路电视(CCTV)监控系统，建立了基于计算机视觉的火灾早期探测模型(EFDM)。该方法通过实际火灾试验得到火灾探测时间。通过与一般火灾探测器探测次数的比较，证实了在室内使用火灾探测器的可能性和必要性。所开发的模型的召回率、精度和mAP0.5性能分别为0.97、0.91和0.96。室内火灾视频测试数据集中记录的火灾在8s内被探测到。根据美国保险商实验室标准，实验证实了从三种可燃物中探测火灾的可能性。EFDM和普通火灾探测器的火灾探测时间相差307秒。可用范围是通过在CCTV最大可见范围内1秒内探测到火灾来确定的。所提出的方法有助于减少火灾造成的不幸财产损失或人员伤亡。
3.介绍
根据消防厅的报告，2020年韩国发生了38659起火灾。在火灾事件总数中，建筑物和构筑物火灾占64.5%，其中造成人员伤亡和财产损失的分别为82.2%、82.6%和88.7%。从本质上讲，最大数量的人员伤亡和财产损失发生在建筑和结构上。除韩国外，在火灾事件总数中，中国报告的死亡人数占39%(2007-2010年)。因此，进行分析和实施措施，以减少发生在建筑物火灾事故的数量是必要的。此外，研究人员还发现，大规模火灾会影响经历过火灾的个人的情绪和风险感知，这就强调了开发技术以最大限度地减少火灾事故的重要性。
最大限度地减少火灾事故造成的损失的方法之一是在火灾发生初期及时报告。如果超过5min的火灾黄金时间，财产损失将增加3.6倍，人员伤亡将增加1.5倍。这些结果表明，及时发现和报告火灾是最大限度地减少财产损失和人员伤亡的关键因素。
已有研究中建立的模型侧重于通过各种指标来表达模型的性能，如检出率、准确率、真阳性率、假阳性率等。然而，仅通过验证模型性能很难确定早期火灾探测速度，而早期火灾探测速度是基于cctv的火灾探测器的一个显著优势。很少有研究人员推导出VFD模型的性能验证和火灾探测速度(帧/秒(FPS))来定量识别火灾探测的可能性。目前存在缺乏对模型训练性能的研究，而不是对模型实际的火灾探测性能(如根据距离的火灾探测时间和探测时间与火灾探测的比较)的研究的问题。下表总结了目前使用基于计算机视觉的CCTV进行火灾探测的研究。
大多数研究仅将火灾图像数据集用于室外，或没有区分室内和室外。关于建筑物室内火灾探测的研究仍然缺乏。室内火灾造成了相当大的损失;因此，有必要对室内火灾探测进行研究。对于早期火灾数据集的学习或验证，这是CCTV火灾检测的一个优势，但研究仍然不足。因为火灾有“黄金时间”，所以在火灾发生初期就能迅速发现火灾的研究非常重要。目前还没有足够的研究来定量比较所开发的模型与建筑物中使用的火灾探测器的探测时间。这种比较对于确认在室内环境中使用CCTV的计算机视觉模型的需求是很重要的。
此项研究为了填补之前的知识空白，尝试了以下几个方面:(1)收集了一个专注于室内火灾的火灾图像数据集。(2)基于采集的图像数据集的早期火灾，建立了一种新的早期火灾探测模型(EFDM)。(3)将所建立的模型应用于测试室内，定量评估EFDM火灾探测时间的可能性和必要性，并将其与一般火灾探测器进行比较，分析其性能。这篇文章研究的框架如下图所示。
此项研究提出了一种新的方法，利用最新的ICT(信息与通信技术)最大限度地减少火灾探测时间，以实现安全的建筑环境系统。这项研究的结果有望有助于减少火灾造成的不幸财产损失或人员伤亡。此外，研究将常用火灾探测器与闭路电视火灾探测器的功能相结合，有助于提高火灾探测器对居住者的可靠性。同时有望从建筑层面发展到社区和城市层面，最终成为安全网建设技术的一部分。
4.模型建立
A. 火灾和烟雾数据集
为训练收集的图像数据集的类型和特征，以及用于防止误报的类似图像数据集。在最近的火灾探测相关模型开发研究中，使用已有的火焰图像训练模型。然而，一项研究报告称，三分之二的火灾死亡发生在烟雾探测器不工作的建筑物中。因此研究开发了一个考虑火焰和烟雾的模型来检测它们。
研究收集的火(火焰、烟雾)图像来自AI HUB提供的数据。选取并使用了符合早期火灾和室内火灾标准的数据共10163条。我们使用火焰和烟雾两种类型进行训练，如下图所示。
文章收集了一个图像数据集，包括可能被错误地识别为室内火灾的图像。美国某保险公司为视频火灾探测器建立了以下虚警测试响应项目:阳光直射及太阳相关源、电焊、黑体源(电加热器)、人工照明(白炽灯、荧光灯、卤素灯)。研究在训练图像中加入了室内常用的蜡烛、彩虹、衣物、旗帜、红色衬衫、黄色电线、光线反射、香烟烟雾等，以及虚警测试项目。因此，将图像数据集与室内产生的附加图像数据集相结合，使用514个图像数据集进行训练，以防止误报。研究中使用的图像数据集是通过AI HUB和谷歌搜索收集的。使用RoboFlow对采集的图像数据集进行标记。
B.YOLOv5网络
对象检测是通过边界框为特定对象设置区域，例如人、汽车、建筑物或布料。这种计算机视觉技术执行自动识别。YOLO是应用深度学习的对象检测模型。在此，将图像划分为一定的区域，并对每个区域的“物体出现的概率”赋予权重。此外，它具有实时视频识别的优点，因为它是一种统一的检测方法，可以找到物体的位置并对其进行分类。这种优势可以提高物体识别的速度。因此，由于本研究的目标是快速准确地检测火灾，所以选择了具有良好实时性的YOLO。在这项研究中，YOLO模型使用定制的火焰和烟雾图像数据集进行火灾检测。因此选择YOLOv5s作为预训练模型开始训练，这是目前可用的最小和最快的模型。
将所建立的模型应用于视频测试集进行性能评估。室内火灾用两个视频测试装置进行了验证。火灾发生的时间和被探测到的时间之间的差异被推导出来。此外，使用视频测试集中显示的室内图像来验证是否存在假警报。
视频测试集如上表所示。第一组视频是卧室起火的视频，起因是在床上放了一个吹风机，然后盖上毯子。当毯子开始模糊地冒出烟雾时，时间码从0秒开始。视频中有灯、娃娃和红色物体，这些都是卧室里的日常用品，可以被识别为火焰;此外，它还包括一个可以识别为烟雾的蚊帐。第二组包括一段客厅火灾的视频，其中火灾源于客厅的窗帘。火起了，但有一部分藏在沙发后面。视频显示火灾一开始就发生，开始时间节点设置为16秒。视频中还包括可以识别为火焰的照明，可以识别为烟雾的窗帘，以及天窗等类似物体。
C.火灾检测实验
在本研究中，进行了一个案例研究来验证室内EFDM。案例研究根据测量目的分为三类。下表列出了这三种情况。
在案例1中，火灾探测由EFDM确认。在案例2中，确认了室内火灾探测器的必要性。案例3验证了EFDM的使用范围。
基于UL 268 B提出的“视频图像火灾探测器”对EFDM的性能进行了验证，在案例1中验证了EFDM的火灾探测能力。作为一种视频图像火灾探测器，火灾探测的存在与否在4分钟内得到推导。
案例2采用ISO 7240建议的“火灾探测报警系统”标准作为一般火灾探测器的测试标准。将所研制的EFDM探测器的探测时间与普通火灾探测器进行了比较。
最后，在Case 3中，根据本研究所使用的网络摄像头的可视范围，推导出火灾探测时间，以检验EFDM的可用范围。从本质上讲，在与网络摄像头性能匹配的距离上探测火灾的可能性得到了证实。
本研究采用室内环境进行火灾实验。室外环境与室内环境在各种因素上存在差异。例如，空气速度存在差异，这是本研究考虑的因素。室内风速低于室外风速，在0.15 m/s[45]以内。因此，在本研究中，实验是在将空速限制在0.15 m/s以下的情况下进行的。此外，所有实验都进行了两次，结果由两次实验值的平均值得出。测量可燃物着火的时间。由于本次研究将EFDM火灾探测器与普通火灾探测器进行了比较，因此视频图像火灾探测器和普通火灾探测器都必须满足条件。本研究使用的实验室如下图所示。
试验室大小如下图所示，满足本实验所需的所有条件。房间的长、宽、高分别为15米、8米和4米。
本实验使用的实时硬件是一台Windows 10计算机，CPU为Intel (R) Core(TM) i7-7700HQ，基频2.81 GHz，内存为16.0 GB, GPU为NVIDIA GeForce GTX 1060。用于实时拍摄的网络摄像头(PRODEAN SH003)具有全高清1080P分辨率，200万像素，帧率30,3.6 mm固定镜头，90°视角。本研究采用网络摄像头进行闭路电视监控。
情况1的实验设置：首先，保险商实验室建议视频图像火灾探测器的测试标准，以继续进行案例1，总结在下表中。实验所需的可燃物主要有以下三种:纸火、木材火和易燃液体火。建议在相应条件下，根据下表所列可燃物产生火灾;只有当视频图像火灾探测器在4分钟内检测到它时，才能识别其性能。在本研究中，根据UL 268 B建议的三个标准，将纸张、木材和易燃液体火灾作为可燃物进行测试。
UL 268B将测试室的长、宽、高分别定义为11米、6.7米和3.0米。此外，UL 268没有规定可燃物和网络摄像头之间的距离或高度。因此，考虑在试验室内进行长度和高度可调节的实验。网络摄像头的高度调整到距离地面3米，网络摄像头安装在距离可燃物5.5米(11米/2)或更远的地方。试验室内的环境与案例1的环境相同。
情形2的实验设置：情况2是应用于一般火灾探测器的准则。在列出标准之前，这里介绍了火灾探测器的类型。美国国家消防安全规范(NFSC) 203规定了建筑物中火灾探测器的安装标准:烟雾探测器应安装在用于类似用途的客厅，如睡觉、住宿和住院。
光电探测器采用烟雾阻挡或反射光线的原理;当烟雾进入房间时，光线被散射，并被识别为火灾。所使用的光电探测器的工作速率为10%/m。然而，烟雾探测器的错误警报可能发生在管理重大火灾的地点，如厨房和锅炉;在这些区域应安装热探测器。在本研究中，我们使用了在热探测器中应用范围最广的定温探测器进行对比。定温检测器在环境温度高于某一温度且标称工作温度范围为65◦C时工作。
将光电探测器用作烟雾探测器和定温探测器用作热探测器的性能与所研制的EFDM进行了比较。Choi等人报道的实验值用于一般热感烟探测器的火灾探测时间。本实验通过在试验室内安装空调系统和普通火灾探测器，测量了风速对火灾探测时间的影响。通过安装16个火灾探测器，按距离计算火灾探测次数，如下图所示。
在本研究中，实验在0 m/s的空气速度下进行。如上图所示，探测器(A)和(D)分别位于距离可燃物2m和6m的位置。然而，(a)和(D)之间距离可燃物4米的距离无法被观察到。因此，使用探测器(B)和探测器(C)的数据，这表明了位于距离可燃物4米的相同距离的左右火灾探测器的结果。因此，在4m距离上获得的火灾探测器数据集使用了相同距离上两个数据点的平均值。
ISO 7240-9规定了用于测试一般火灾探测器的可燃物。本研究采用正庚烷和棉芯，按ISO 7240-9建议的两种标准进行实验;比较了普通火灾探测器和EFDM探测器的探测结果。可燃物列于下表。
ISO 7240将测试室的长、宽、高分别定义为10±1米、7±1米和4±0.2米。试验室内环境与案例2相同，如图3所示。在距离可燃物2米的距离上，总共安装了3个网络摄像头。目前，韩国规定每个火灾探测器的探测半径不超过150平方米;因此，必须在最大6.9米的范围内进行检测。因此，在情况2中，考虑到6米的距离，实验以2米的间隔进行。网络摄像头安装在离地面4米的地方。
案例3的实验设置：在案例3中，通过在EFDM的最大可见范围内进行射击测试来检查可用范围。可燃物采用可燃液体作为可燃物，着火条件按UL 268B所建议的可燃物条件设置，详见表4。使用这种可燃物是因为它可以覆盖不同大小的火灾，并且在实验中引起的火灾最小。
本实验中使用的网络摄像头建议可视范围为10-15米。因此，将可燃物放置并测量的距离为15米，如下图所示。此外，网络摄像头安装在4米的高度，以覆盖案例1和案例2的实验条件。
5.实验结果与分析
上表显示了为验证而开发的模型的性能，召回率、精密度和mAP0.5值分别为0.93、0.94和0.96。测试图像数据集的召回率、精度和mAP0.5值分别为0.97、0.91和0.96。测试图像数据集的一些样本如下图所示。
A. 视频图像火灾探测器可探测性结果(案例1)
如上图所示，通过UL 268 B建议的实验，确定EFDM的早期火灾探测时间和室内使用。如前所述，UL 268 B规定视频图像火灾探测器必须在4分钟内探测到火灾。下表给出了情况1中每种可燃物的火灾探测时间结果。
由于易燃液体火灾比其他可燃物火灾要小，因此对易燃液体火灾的探测速度要慢于对纸张或木材火灾的探测。YOLO的缺点是很难识别太小的形状。因此，易燃液体火灾的探测时间较慢，原因是火灾的规模较小，难以清晰区分形状。在这三种可燃物中都没有检测到烟雾。考虑到易燃液体火灾，这是因为无法直观地检测到烟雾。考虑到纸张和木材的火灾，模糊的烟雾可以在现场视觉上确认。然而，网络摄像头的质量有限，尽管显示了早期火灾中出现的模糊烟雾。因此，CCTV屏幕上无法看到的可燃物烟雾没有被捕捉到。此外，还训练了模糊烟雾图像数据集进行检测。然而，误报的情况有所增加，比如将灰色地板或乙烯基地板视为烟雾。这一结果表明，本研究使用的网络摄像头在检测模糊烟雾时，图像质量是有限的。
基于测试案例1，使用EFDM在16秒内检测到UL 238B中提出的所有三种可燃物的火灾。因此，本研究开发的EFDM在4分钟内满足“视频图像探测器测试标准”，具有火灾探测能力。
在实验中使用了来自FireNet和Fismo数据集的数据集作为火灾数据集。此外，文章采样并混合了Arnaud Rougetet1的Google Landmark v2数据集和风景图片数据集，以获得干净的数据集。
在火焰斑块生成网络的情况下，文章对20维高斯噪声进行采样并将其放入生成器。由生成器合成的图像的大小设置为128x128。预激发图像生成器网络使用具有11个残差块的生成器，生成器接受6通道输入，而不是3通道输入。在将注意力应用于图像之前，文章将注意力调零为小于0.2，将注意力调高为大于0.7至1.0。此外，文章训练了火焰补丁生成20个周期，50个时期的火灾前图像生成网络和4个时期的火焰关注网络。
B. EFDM距离探测结果及与一般火灾探测器的比较(案例2)
测量了可以探测到火灾的距离，并将结果与一般火灾探测器的结果进行了比较。火灾实时探测时间结果如下表所示。火灾视频如下图所示。
大多数使用EFDM的火焰检测被延迟，因为它们更近，这可以归因于网络摄像头的角度。大多数在EFDM中训练的图像数据集是在可燃物和网络摄像头之间的45◦或更小的角度捕获的。因此，识别距离为2 m的火灾所需的时间略长，其中角度大于训练的图像数据集。
上图给出了EFDM与一般火灾探测器基于距离的火灾探测时间差异。为了便于阅读，EFDM结果以四舍五入的小数位显示。在2、4、6 m处，热探测器与EFDM分别进行了比较，差异分别为99、194、264 s。考虑到EFDM，根据距离的不同，探测火灾的速度比使用热探测器快99秒至264秒。将烟雾探测器和EFDM与烟雾进行比较时，在2、4和6 m处分别出现了7、45和306 s的差异。从本质上讲，EFDM被证实比烟雾探测器探测火灾的速度至少快8 s - 307 s，这取决于距离。
C. 火力可用范围结果(案例3)
上图为可用范围内的火灾探测结果。EFDM探测到火灾的平均时间为0.89秒。此外，由于可燃物和网络摄像头的角度与训练过的火灾图像数据集的角度相似，因此与其他实验相比，它被快速检测到，没有延迟。因此，可以确定在距离摄像机15米的范围内可以探测到火灾，这是实验中使用的网络摄像机的适当可视范围。此外，当火灾的大小和距离在可见范围内时，火灾探测没有受到显著影响。这些结果表明，当火灾发生在安装了闭路电视以适应可视范围的空间时，可以检测到早期火灾。
6.结论
研究通过增加10,000个火焰和烟雾图像数据集和500个假报警图像数据集，开发了一种使用CCTV的EFDM，用于在室内火灾的情况下快速检测火灾。所开发的室内EFDM是基于YOLO模型的。对所建模型的室内防火性能进行了验证。首先，从所开发模型的测试图像数据集中推导出召回率、精度和mAP0.5值，并从室内火灾视频测试集中推导出检测时间。其次，我们进行了符合UL 268 B条件的实验，以确认在案例1中视频图像火灾探测器的可探测性。第三，进行了符合ISO 7240-9条件的火灾测试，以确认案例2中EFDM的室内火灾探测器的必要性。测量了早期火灾探测次数，并与典型火灾探测器进行了比较。第四，在摄像头的最大可见范围内测量火灾探测时间，确定Case 3中作为CCTV的摄像头的最大火灾探测距离。
Attention
欢迎关注微信公众号《当交通遇上机器学习》！如果你和我一样是轨道交通、道路交通、城市规划相关领域的，也可以加微信：Dr_JinleiZhang，备注“进群”，加入交通大数据交流群！希望我们共同进步！
