AI-ISP,是噱头还是真能解决问题

        2020年以来,视觉SOC领域的竞争逐渐进入白热化,进入的厂家越来越多,大家看着行业老大海思放出来了市场空缺,都想往里面挤,而且趁着这一波芯片热潮,众多的创业团队或者上市公司成功的收割了一把投资人的口袋。然而大家都低估了芯片的难度,视觉SOC芯片是一个链条,从芯片设计,芯片生产,SDK编写,产品方案开发,系统应用等环环相扣,需要上帝思维,没有沉淀的公司和团队,没有良好的生态链,想短时间突击,几乎是不可能的,就算芯片原厂能把芯片设计好,生产也解决了,SDK写不好,对方案开发团队就是个灾难,对系统应用和运维来讲更是灾难。所有的一切都需要回归到时间沉淀上,一步一个脚印,能借鉴成功团队的经验,也能把优秀团队的人挖过去,但也绝不是简单照搬就行,企业运营也是一个系统,同样需要沉淀。所以选择新团队的SOC或者选择新进入视觉SOC领域的公司的产品,都是当小白鼠。

        扯远了,回归正题,2021年之后,一些中高端的视觉SOC产品陆续推出了AI-ISP,听起来很高大上,那么AI-ISP到底怎么样呢?从原理上,AI-ISP是在原来传统ISP上增加一些AI后处理算法,修复一些传统ISP上处理不好的瑕疵,比如HDR的增强,噪声的消减等。AI-ISP在一定程度上确实能解决一些问题,但是也还是要看整体的方案设计。主要考虑的因素有以下几个:

        1、sensor的选择很重要,感光器件本身比较差,靠算法来弥补的范围也是有限的的。

        2、基础的ISP本身不够好,就算增加了AI-ISP,也好不到那里去。

        3、AI-ISP的算法场景适应性是有限的,原厂要有足够的样本训练,训练出来的结果才足够好。

        4、AI-ISP核心的能力要足够强,AI进行ISP的后处理,是实时处理每一帧图像的,对算力的消耗很大,这就要求作为AI-ISP的处理器核心有足够的算力,不然处理的范围也有限。

        5、DDR等系统总线的设计,SOC通常会伴有其他的算力预留,让用户可以做AI-ISP之外的其他的算法应用,这两块这件有一些资源是共享的,这里的总线设计方式就尤为重要,不然相互之间的影响会很大。

        目前市面上的AI-ISP产品,主要有爱芯,海思和安霸,大家的发展都在早期,海思作为传统ISP的领袖,AI-ISP同样有着更多的优势,无人机航拍,边海防等领域有着众多的落地案例,由于有经验和数据的加持,海思的AI-ISP,在低照度下的表现有质的提升,HDR性能也有颠覆性的突破。

        当然大家对AI-ISP这个东西的期望值也不要过高,确实有一些场景下有比较好的效果,但是更多的场景还需要原厂对算法模型的训练。

 

上面的图片是我们实际做的海思AI-ISP的测试结果,相比传统的ISP有很大的提升,但是对ISP工程师其实多了一重挑战。

猜你喜欢

转载自blog.csdn.net/baidu_38936497/article/details/121028966
今日推荐