一文熟悉车载红外热成像技术

作者 | 楚华

出品 | 焉知

知圈 | 进摄像头镜头/模组/CMOS芯片群,加微yijijuechen2023

早在2000年,凯迪拉克DeVille车型就使用了红外夜视技术,之后宝马、奔驰、奥迪、大众、通用、红旗、比亚迪等部分车型也搭载了红外技术。去年下半年,东风猛士、广汽埃安也相继官宣搭载红外系统,红外热成像如火如荼的加入到了车载传感器的“战场”。

红外传感技术不依赖光源,不受雾霾、雨雪等恶劣天气的影响,通过热辐射成像,可以提高汽车全时感知能力,提升驾驶安全。最近几年,从智驾到座舱,都有红外传感技术的应用,本文就来谈谈红外热成像技术。

  • 什么是红外热成像;

  • 红外热成像原理和核心部件;

  • 红外热成像优势和不足;

  • 红外热成像在自动驾驶中的应用

  • 红外热成像典型的企业。

a80d525e16f9a7f3087426b6ce3ce9d1.png

图1,来源lynred官网

01 什么是红外线热成像?

自然界中,凡是温度大于绝对零度(-273℃)的物体都能辐射红外线,它和可见光、紫外线、X射线、伽玛线、宇宙线和无线电波一起,构成了一个完整连续的电磁波谱。红外线的波长在0.76μm至1000μm之间,比红光更长,且肉眼不可见。

ff6e878fda3a0f723886fd467d8029ce.png

图2,来源睿创微纳招股书

红外热成像技术将不可见的红外辐射转换成可供肉眼观察的红外热图像,并且能反映出目标表面的温度分布状态,温度越高红外线能量越大。不同物体甚至同一物体不同部位的辐射能力和它们对红外线的反射强弱不同。利用物体与背景环境的辐射差异以及物体本身各部分辐射的差异,红外热像图能够呈现景物各部分的辐射起伏,从而显示出景物的特征。

2f5451ffaf120668d5e10ef83f74fccb.png

图3,可见光&红外热成像对比

02 红外技术成像原理

红外热像仪通过探测目标物体的红外辐射,然后经过光电转换、电信号处理及数字图像处理等手段,将目标物体的温度分布图像转换成视频图像。

e542268489fef24dc012fe00dbcf6561.png

图4,来源睿创微纳招股书

简单来说,红外图像转换成可见图像分三步进行,第一步是利用对红外辐射敏感的红外探测器把红外辐射转变为微弱电信号,该信号的大小可以反映出红外辐射的强弱;第二步是利用后续电路将微弱的电信号进行放大和处理,从而清晰地采集到目标物体温度分布情况;第三步是通过图像处理软件对上述放大后的电信号进行处理,得到电子视频信号,电视显像系统将反映目标红外辐射分布的电子视频信号在屏幕上显示出来,得到可见图像。

核心部件:红外探测器

红外热像仪的核心部件是用来探测、识别和感知红外辐射的红外探测器,探测器水平直接决定了最终形成的可见图像的清晰度和灵敏度。

红外探测器可以分为制冷型探测器和非制冷型探测器,具体对比如下:

类型 特点 应用场景
制冷型探测器 基于光电效应,也称光子型探测器。该型探测器需在液氮低温状况下工作,需要配置制冷器,具有灵敏度高、作用距离远的特点,但设备体积大、功耗大、寿命短。 主要应用于航天、船舰等高端领域。
非制冷型探测器 基于热敏材料温升后的物理性质变化,也称热探测器。该型探测器可以在常温下使用,具有轻便、结构简单、低成本、低功耗、长寿命的优势,但灵敏度低,观测距离较短。 可以满足一般军事需求及大部分民用需求。
车载红外技术一般采用该类型探测器。

03 红外热成像优势和不足

和目前常用的摄像头、雷达等相比,红外热成像有着明显的优势:

1、对生命体有更好的识别能力:任何高于绝对温度(-273℃)的生命体都会散发热量,由红外热成像原理得知,它弥补了可见光传感器的不足,得以更好的保护行人和小动物。

503dee27dd4107c3a2642e0b9a928624.png

图5,来自网络


2、弱光或无光环境下成像能力强:因为红外技术不依赖光线,因此在雨雾、烟尘、隧道、夜晚等可见光差,或者无可见光的场景下,成效效果依然比较好。

c2274fef9aa7c97554d2fdf6c8ea9c2b.gif

图6,来自网络


3、无惧眩光

红外只接收中长波信息,不接收可见光波段信息,夜晚会车等强弱光交替场景仍能清晰成像,感知功能不会受到影响。这也是夜间使用比较常见的一个场景,如下图:

457e5ab55817026c7f15169b0e673dc8.png

图7,来自网络

不过,红外技术也有弊端:

1、对比可见光信息丰富的纹理、清晰的图像边缘,红外图像只有亮度信息,无彩色信息,边缘模糊、细节不清晰。比如一个站立的猴子和登高的人同时站在路中间,红外成像可能无法区分谁是猴子谁是人。

2、受到红外图像的成像原理限制,温差不大的物体之间热辐射值也类似,反映到图像中即是背景信息灰度值区别不大,造成红外图像对比度较低。比如两个人并排站在一起,二者的身体轮廓非常模糊,几乎很难分辨。

3、由于红外探测器阵列数少,探测单元的的体积受限,因此红外图像分辨率比较低。

4、红外技术在工作过程中存在各种噪声(可见光成像也存在这个问题),导致其信躁比特别低,呈现的噪点很多,以致图像模糊。

04 红外热成像在自动驾驶中的应用

目前智能驾驶使用的摄像头、雷达、激光雷达,都是通过可见光来获取信息的,主要是依赖可见光传感器接收物体反射的光线或其自身发射的光线,然后把光信号转换成电信号,进而通过图像处理器转化成图像。众所周知,可见光依赖光照,当遇到能见度低或遇到障碍物时,如雾霾、雨雪、沙尘等天气下,在弱光、无光条件下如黑夜、隧道等场景,可见光成像系统将无法有效的从背景中发现目标物体,这就需要红外技术的补充了。

多传感器融合是自动驾驶的必由之路,车载红外传感器可以不依赖光源,在低照度、雨雪、烟尘、雾霾等恶劣环境时,依旧可以清晰成像,有效提升全时感知能力,弥补其他传感器不足,提升驾驶安全。红外技术在汽车上有广泛的应用,可以帮助车辆实现360°实时监测车外环境、可以在智能驾驶辅助层面实现多传感器融合、可以与车辆AEB功能融合提升制动效果,还可以在数字座舱中实现驾驶员疲劳驾驶、身份识别等功能。

112710d8a136206dbd9934be1aa8ec50.png

图8,可见光在极端条件下成像受到明显影响,来自网络

智能汽车若依赖单一传感器,可能会出现感知精度低、漏感知、错误感知的情况,多传感器融合可以获取不同的感知信息,信息之间相互补充,达到1+1>2的效果,可显著提高系统的冗余性和容错性,提高决策的效率和准确度。

如图9、图10所示,由于车辆遮挡,激光雷达未能完全感知出所有目标,而在联合红外2D感知结果后,实现了对于周围环境的完全感知(图11),有效防止了误检和漏检,并获得了更多的环境信息。

3aabf5ab48fffdcf653877284967b63b.png

左图9:夜间红外2D感知结果,来自网络

右图10:基于激光雷达的环境感知结果,来自网络

04defc0e6dbda6618614abea4cad152b.png

图11,多传感器联合感知,来自网络

再如上图12、图13所示,走路和骑电动车的行人由于体积较小,单纯使用激光雷达的话,反射数据数量有限,难以被有效感知。而在联合红外2D感知结果后,骑行者和行人能够被正确感知(图14)。

98a65fc2584d21f32c8c3cb308a64426.png

左图12:夜间红外2D感知结果,来自网络

右图13:基于激光雷达的环境感知结果

0cf3f6581d2329b27febc88dbbab41d3.png

图14 多传感器联合感知,来自网络

从技术层面上来说,红外热成像相比可见光摄像头、激光雷达、毫米波雷达等其他传感器而言,优势在于具有夜视能力以及受雨雪、雾霾、沙尘影响小,同时红外热成像对生命体的感知非常灵敏,可作为夜间、恶劣天气辅助驾驶或者增加自动驾驶安全性和可靠性的极佳选择和补充。

05 红外热成像典型的企业

1

艾睿光电

睿创微纳是领先的、专业从事专用集成电路、特种芯片及MEMS传感器设计与制造技术开发的国家高新技术企业,具备多光谱传感研发、多维感知与AI算法研发等能力,为全球客户提供性能卓越的MEMS芯片、ASIC处理器芯片、红外热成像与测温全产业链产品、激光、微波产品及光电系统。

其子公司艾睿光电科技专注于红外成像技术和产品的研发制造,具有完全自主知识产权,致力于为全球客户提供专业的、有竞争力的红外热成像产品和行业解决方案。主要产品包括红外焦平面探测器芯片、热成像机芯模组和应用终端产品。

2022年1月,艾睿光电发布 IR-Pilot 汽车红外热成像全场景解决方案,推出256×192、384×288、640×512、1280×1024、1920×1080多个分辨率的车载红外热成像摄像头,可以满足多种分辨率、多种视场角、多种探测距离的应用需求。此外,IR-Pilot系列产品拥有精准生物测温能力,可应用于智能座舱,提供具有隐私保护的车内人员行为、车内生命体征监测等功能。

2023上海车展,多款搭载艾睿光电红外产品的车型亮相,包括比亚迪仰望U8、大运远航系列、滴滴自动驾驶等。此外艾睿光电还和图森未来、踏歌智行、 智加科技达成合作协议,将红外热成像应用于物流卡车、矿用车等领域。

2

轩辕智驾

武汉轩辕智驾科技有限公司成立于2016年7月,是武汉高德红外股份有限公司旗下全资子公司。依托于集团的红外全产业链布局,自研自产、核心技术安全可控的底层支撑,致力于将远红外技术应用于智能汽车,主营产品有N-Driver系列红外摄像头、COIN系列一元红外芯、AI算法盒,用在高级智能驾驶系统、智能座舱中。

据悉,轩辕智驾已经拿下东风“猛士科技”、广汽埃安、陕汽重卡等多个红外夜视系统前装项目。

3

广州飒特

广州飒特红外专注于红外热像仪产品的研制、生产和销售,拥有业内领先的自主核心技术与持续研发能力, 是中国首家民营红外热像仪研制生产企业,并完成国内第一台民用红外热电视产品。

在AWE2023家电与消费电子展上,飒特红外展出了“NV628车载夜视辅助系统”。NV628基于远红外镜头及DSP微处理器,搭配红外数据图像细节增强技术(DDE)、AI行人识别算法,可识别500米距离的车辆,120米距离的行人。

4

Veoneer维宁尔

驶等新兴市场。Veoneer致力于设计并制造最先进的硬件、软件和电子系统,使驾驶更安全,并提供自动驾驶可靠性及可行性的解决方案,产品有约束控制系统(RCS)、主动安全系统和制动系统、ADAS控制器、Lidar、驾驶员检测系统等。

维宁尔是全球车载红外热成像系统量产的代表,基于FLIR 机芯的热成像传感系统(Night Vision)被配置在:奔驰S400、奥迪A6、奥迪A8、奥迪Q7、宝马7系、凯迪拉克CT6、标致508L、DS7、大众辉昂、大众途锐等车型上。

目前维宁尔的热成像传感系统已经发展至第四代。相较于三代产品,第四代产品搭载FLIR BOSON 640紧凑型长波红外热像仪机芯,尺寸缩小50%,重量减轻50%,并增强了视野和探测距离,加强了人、车和物的探测识别算法,支持夜间 AEB 解决方案,支持L4级自动驾驶。

5

大立科技

大立科技前身为1984年成立的浙江省测试技术研究所,是专业从事非制冷红外焦平面探测器、红外热成像系统、智能巡检机器人、惯性导航光电产品研制的高新技术企业。是国内少数技术自主可控、完全知识产权、独立研发;从生产热成像核心器件、机芯组件到整机系统制造,并具有完整产业链的专业制造商之一。设有杭州、上海和北京三个技术研发中心,是国内唯一实现量产双技术路线(非晶硅与氧化钒)非制冷焦平面红外探测器的红外企业。

大立科技的车载EX系列产品,在东风猛士、一汽解放等车型上广泛应用。目前最新产品就是 EX-VI系列。

6

北方广微

北方广微成立于 2006 年 7 月,隶属于北方夜视科技集团有限公司。公司主要从事非制冷型红外焦平面探测器及机芯组件的研发和生产,其产品广泛应用于军用装备、电力、石化、冶金、建筑、消防、公共安全及交通夜视等领域。

7

久之洋

久之洋公司成立于2001年,主要从事制冷/非制冷红外热像仪、激光测距/测照仪、星体跟踪器、特种光学元件的研发、生产与销售,并可提供系统级光学系统的解决方案,曾完成我国首台非制冷红外热成像仪、首台连续变焦反扫红外热成像仪的研制。

8

FLIR System

美国菲力尔(FLIR Systems) 成立于1978年,是高性能低成本机载应用红外(热)成像系统的倡导者,其产品广泛应用于热成像、态势感知与安防领域。FLIR 通过对多家公司收购,不断丰富产品、扩大市场,目前在全球红外市场占有率第一。

FLIR在车载红外领域,主要就是为主机厂、零部件供应商提供热成像机芯产品。据麦姆斯咨询数据,FLIR通过和Autoliv的合作,已经为奔驰、奥迪、通用等提供超过70W个红外热成像机芯。

9

AdaSky

ADASKY是一家以色列公司,致力于开发用于提升车辆安全和感知应用的智能高分辨率热感系统(LWIR),以及智能城市道路解决方案。

2018年发布车载远红外解决方案“Viper”,已经通过了 ASPIC 和 ISO 26262认证。Viper采用机器学习算法软件与远红外摄像头相结合的方案,除了专用集成电路(ASIC),AdaSky还与与意法半导体公司(STMicroelectronics)合作研发了一款图像信号处理器(ISP)芯片。据称此芯片可以让Viper实现无快门技术,7*24小时全天候持续工作。

10

Stoneridge-Orlaco

荷兰Stoneridge-Orlaco是商用和工业车辆的摄像头和监控系统领域的市场领导者。

2017年以来,Orlaco成为Stoneridge lnc.的一部分,该公司是汽车,中型和重型卡车以及越野车领域的高质量电气和电子组件,模块和系统的设计商和制造商。

11

ULIS

ULIS 为 Sofradir Group 下属子公司,设立于 2002 年。ULIS 在欧洲、亚洲及北美市场均有覆盖,其产品广泛应用于安防、测温、国防、户外休闲等传统领域,并致力于开拓智能建筑、道路安全及汽车辅助驾驶等新兴领域。ULIS 母公司Sofradir Group 有超过 30 年的红外成像研发及生产经验。

12

Lynred

2019年6月4日,红外探测器研发生产的法国Sofradir公司与ULIS公司发布官宣:合并成为新的组织和公司Lynred。Sofradir和ULIS拥有超过35年设计、制造和销售红外成像传感器的经验,通过各种技术(MCT、InGaAs、微测辐射热计探测器)开发覆盖整个红外光谱(SWIR、MWIR、LWIR和VLWIR)的传感器。Lynred产品涉及六大市场:航空航天、户外休闲、安防监控、测温、汽车工业, 机器视觉。

06 小结

随着汽车智能化的发展,随着国产化的不断突破,红外热成像成本逐步走低,大规模上车成为可能,期待有一天,红外传感器也和摄像头、雷达一样,成为智能汽车的标准件。

参考资料:

1.睿创微纳招股说明书;

2.立足红外拓展微波射频领域,打造多维感知龙头;

3.红外夜视「加速上车」,高手云集 | 盘点车载红外夜视厂家

4.红外热成像加速“上车”:开启智能驾驶新蓝海

5.自动驾驶“加速”,车载红外热像仪在多传感器融合中的应用

6.深度解剖广汽埃安“全球首创”的红外智驾技术

扫描加入免费的「智慧城市之智慧交通」知识星球可了解更多行业资讯和资料。

c07a1bd4408dfb5ec4d7c92f07d6bb1a.jpeg

欢迎加入智能交通技术群!

联系方式:微信号18515441838

猜你喜欢

转载自blog.csdn.net/weixin_55366265/article/details/132419551