Tengine-自主知识产权的边缘AI计算框架: 广受国内AI开发者欢迎的轻量化嵌入式推理框架 | 百万人学AI评选活动

2020 无疑是特殊的一年,而 AI 在开年的这场”战疫“中表现出了惊人的力量。站在“新十年”的起点上,CSDN【百万人学AI】评选活动正式启动。本届评选活动在前两届的基础上再度升级,设立了「AI优秀案例奖Top 30」、「AI新锐公司奖Top 10」、「AI开源贡献奖Top 5」三大奖项。我们相信,榜样的力量将成为促进AI行业不断发展的重要基石,而CSDN将与这些榜样一起,助力AI时代的”新基建“。

活动官网:https://bss.csdn.net/m/topic/ai_selection/index

申报地址:http://csdnprogrammer.mikecrm.com/WpA03hJ

一、公司简介

OPEN AI LAB(开放智能)于2016年成立,公司专注边缘智能计算及应用,致力于推动芯片级算力、算法、产品工程化、行业应用等完整产业链的深度协作,加速人工智能产业化部署和场景的边界拓展,赋能场景化细分行业快速实现+AI。为AIoT产业上下游合作伙伴提供端、边、云一体化人工智能基础软硬件开发平台及应用级解决方案。

自主知识产权的商用级AIoT智能开发平台Tengine、一站式AI端到端平台解决方案Tengine2、嵌入式语音识别解决方案VoxTrend、以及软硬一体化智能开发平台EAIDK,已向数十家细分行业大客户提供基于场景(行业+AI)的智能视觉、智能语音等人工智能综合解决方案,为上百个产业合作伙伴提供平台以及解决方案服务,覆盖智能制造、智能车载、公共安全、智能零售、智慧农牧、消费电子、智能家居等领域。

公司发展历程:

2017年落户于上海市徐汇区,当前在深圳、南京及北京开设分公司及办事处;

目前覆盖数十个细分行业场景:包括智慧教育、智能车载、公共安全、智能零售、智慧农牧业、消费电子/可穿戴、智能家居、智慧工厂、机器人等;产业链合作伙伴超100个,覆盖芯片公司、算法公司、IDH公司、OEM/ODM公司、行业解决方案商等;为超100个AI项目落地提供加速动力;且在2017-2019年持续三年,年度复合增长率超200%;

2019年公司荣获高新技术企业资质,并成功获批上海市经信委人工智能重点专项;

2019年获得红杉资本、宽带(晨山)资本A轮投资,金额过亿;

目前已拥有相关技术专利及计算机软件著作权70+,研发人数占比超过70%;

未来,公司将继续以实际应用场景为出发点,以解决实际问题为目标,为产业伙伴及行业用户提供智能解决方案、以及技术赋能服务,加速人工智能技术在细分行业快速、高效、普惠的应用落地,助力赋能万物,万物智能。

二、开源项目简介

Tengine-自主知识产权的边缘AI计算框架

Tengine是一个嵌入式的AI推理框架,帮助算法开发者解决在AI快速产业化落地中遇到的各个瓶颈难题。相比业内系列框架,Tengine有两个特点,一是物理位置层面,其所关注的重点是嵌入式设备,也就是海量的AIoT应用设备,而非服务器集群;二是业务模式层面,重点在于推理,并非训练。

Tengine 面对的是一个 AIoT 的万亿级市场,它比早期的PC 时代、移动互联网时代,要更具规模,各种互联设备越来越多将是大势所趋。随着SoC等芯片的种类会越来越多且具有不同的架构(如 Arm、X86等),同时每种芯片本身的计算的模式也是一种异构计算,即多种计算单元混合在一起(如CPU、GPU、DSP、NPU等多种计算单元),如何将其做统一支持与应用,Tengine在设计之初就充分考虑到了IoT场景中所需要应用到的特性。

Tengine是一款采用轻量级模块化的高性能神经网络推理引擎,便于扩展和裁剪,Tengine最小体积程序可以做到 300KB,在MCU上最小体积可以做到20KB。而且它专门针对Arm嵌入式设备优化,无需依赖第三方库,可跨平台使用支持Android、Linux、RTOS。

除此之外,Tengine一方面可以通过异构计算技术能够同时调用CPU、GPU、DSP、NPU 等不同计算单元来完成AI网络计算。另一方面,它和TensorFlow、Caffe、MXNet 等训练框架相互配合,还通过ONNX模型实现了对 Pytorch、PaddlePaddle 的支持,完成了对业内主流框架的整体支持。不过以上的这些框架中,每一种算法模型之间并非相互兼容。因此Tengine对下需要覆盖各种各样的芯片,对上要兼容各种各样的训练框架。

2020 年, 将是Tengine开发者年

2017 年,Tengine 在 GitHub(https://github.com/OAID/Tengine)上开源。过去的三年Tengine产品重心是服务行业,结合客户的 AI 落地场景需求进行快速迭代演进。

如今的Tengine在已经趟平很多的实际应用的坑后以产品化的质量奉献给开发者,并以开源的方式开放给开发者参与、为产业贡献。

日前,Tengine 也与 OpenCV 社区进行了深度的合作,在最新发布的 OpenCV 4.3.0 版本中,基于ARM 的CPU,Tengine凭借嵌入式端的高性能,携手为OpenCV的深度学习模块DNN 在Arm CPU上带来了性能显著提升。

2020年4月,据 CSDN 发布的《中国 AI 应用开发者报告》显示,OPEN AI LAB 推出的边缘 AI 计算框架 Tengine 成为开发者最喜爱的本土 AI 框架工具。

三、开源影响力介绍

Tengine与众多国内芯片建立深度合作关系,致力于打造AIoT底层生态圈,为AIoT应用开发打通在各类硬件平台部署算法的工作流,加速面向场景的AI算法在嵌入式终端/边缘上快速迁移

Tengine开源版本通过如图优化、对arm硬件后端性能深度优化、低精度推理、异构计算调度等技术打造端测最高效的AI计算框架,广泛受到开源社区开发者欢迎;

据IT开发者社区CSDN汇总国内外AI工具框架关键词,并基于实际数据梳理的《中国 AI 应用开发者报告》,目前在国内的AI开发者中,Tengine成为最受AI开发者欢迎的本土AI工具框架。

目前Tengine与诸多知名开源项目达成深度合作:

2020.3月Tengine与知名模型可视化工具开源社区Netron合作,Netron 4.0版本开始集成Tengine模型格式;

2020.4月Tengine成为ONNX官方认证合作伙伴;

2020.4月,OpenCV 4.3.0发布,OPEN AI LAB AIoT智能开发平台Tengine与OpenCV合作共同加速边缘智能。

猜你喜欢

转载自blog.csdn.net/weixin_37986590/article/details/106216632