阿里MNN推理框架相关介绍

一、参考资料

MNN官网

中文文档-语雀

欢迎使用MNN文档 — MNN-Doc 2.1.1 documentation)

英文文档

MNN知识库

MNN 官方仓库

二、相关介绍

1. MNN简介

MNN是一个==轻量级的深度学习端侧推理引擎==，核心解决深度神经网络模型在端侧推理运行问题，涵盖深度神经网络模型的优化、转换和推理，支持深度学习的推理与训练。适用于服务器/个人电脑/手机/嵌入式各类设备。MNN开源略晚，但也是目前比较有影响力的手机端推理框架。

AI科学家贾扬清如此评价道：“与 Tensorflow、Caffe2 等同时覆盖训练和推理的通用框架相比，MNN 更注重在推理时的加速和优化，解决在模型部署的阶段的效率问题，从而在移动端更高效地实现模型背后的业务。这和服务器端 TensorRT 等推理引擎的想法不谋而合。在大规模机器学习应用中，考虑到大规模的模型部署，机器学习的推理侧计算量往往是训练侧计算量的十倍以上，所以推理侧的优化尤其重要。”

2. MNN架构

3. MNN模块设计

4. MNN运行流程

MNN 负责加载网络模型，推理预测返回相关结果，整个推理过程可以分为：

1. 模型的加载解析；
2. 计算图的调度；
3. 在异构后端上高效运行。

5. MNN应用场景

目前，MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷等30多个App中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场，每天稳定运行上亿次。此外，菜鸟自提柜等 IoT 设备中也有应用。在 2018 年双十一购物节中，MNN 在天猫晚会笑脸红包、扫一扫、明星猜拳大战等场景中使用。

5.1 拍立淘

拍立淘是在手淘里面的一个图像搜索和识别产品，从 14 年首次上线经过不断迭代发展目前已经成长为 UV 超过千万的应用。其中的技术也在不断迭代更新，从最早的拍照上传图片云端识别，演进到目前在端上做物体识别和抠图再上传云端识别，有效的提升了用户体验同时节省了服务端计算成本。针对一些简单的物体分类万物识别和 logo 识别，目前也已经支持直接通过端上的模型进行实时识别。

5.2 笑脸红包

笑脸红包是 18 年双十一猫晚开场的第一个节目，这个玩法是基于实时人脸检测和表情识别能力做的，相比之前各种通过屏幕触控的交互玩法，这个活动通过摄像头实时人脸检测算法实现从传统触控交互玩法到自然交互玩法的跨越，给用户带来新的用户体验。

5.3 手机淘宝春节活动：扫年货，集五福

集五福是 19 年春节的活动，也是手淘第一次通过扫年货的方式加入到这个活动中来。通过扫一扫商品识别能力，识别红色年货，除了福卡之外，还能得到羽绒被、五粮液、茅台、帝王蟹等实物大奖和猫超、天猫精灵等无门槛优惠券，让家里的年货变成下金蛋的 “母鸡”。

首先，为了扫描年货，淘宝在服务端用百万张年货图片训练出了一个可以鉴别年货的深度神经网络模型。用户通过相机扫描年货时，淘宝会获取相机中的照片数据。然后，对照片做预处理，包括图片的缩放、颜色空间的转换等。

扫年货是一个基于相机的应用场景，使用云端AI会消耗用户大量的流量去传输逐帧照片、服务端的计算资源，同时响应速度也会取决于网络状况。而MNN，可以通过端侧AI，避免了网络开销，使整体体验流畅、稳定。它能够结合训练好的模型和经过处理的数据，快速做出相应的计算处理，分析出照片中有年货的概率。如果照片中有年货的概率达到淘宝设定的标准，就可以认定用户扫描到了年货，进而发放相关的权益。

6. MNN特点

6.1 轻量性

• 主体功能（模型推理CPU+GPU）无任何依赖，代码精简，可以方便地部署到移动设备和各种嵌入式设备中。
  • iOS平台：功能全开的MNN静态库 armv7+arm64静态库大小12MB左右，链接生成可执行文件增加大小2M左右。可裁剪主体功能后静态库大小6.1M ，链接生成可执行文件增加大小 600 KB，metallib 文件 600KB 左右。
  • Android平台：主体功能 armv7a - c++_shared 动态库大小800KB左右。
• 支持采用 Mini 编辑选项进一步降低包大小，大约能在上述库体积基础上进一步降低 25% 左右。
• 支持模型FP16/Int8压缩与量化，可减少模型50% - 75% 的体积。
• 针对端侧设备特点深度定制和裁剪，无任何依赖，可以方便地部署到移动设备和各种嵌入式设备中；

6.2 通用性

• 支持 Tensorflow、Caffe、ONNX、Torchscripts 等主流模型文件格式，支持CNN / RNN / GAN / Transformer 等主流网络结构；

• 支持多输入多输出，支持任意维度的输入输出，支持动态输入（输入大小可变），支持带控制流的模型；

  • MNN和ONNX支持动态图像尺寸输入 - 知乎 (zhihu.com)
  • MNN支持可变输入

• 算子丰富，支持 178 个Tensorflow Op、52个 Caffe Op、163个 Torchscipts Op、158 个 ONNX Op（ONNX 基本完整支持）；

• 支持 服务器 / 个人电脑 / 手机 及具有POSIX接口的嵌入式设备，支持使用设备的 CPU / GPU 计算，支持部分设备的 NPU 计算（IOS 11 + CoreML / Huawei + HIAI）；

• 支持 Windows / iOS 8.0+ / Android 4.3+ / Linux 及具有POSIX接口的操作系统。

• 支持异构设备混合计算，目前支持 CPU 和 GPU，可以动态导入 GPU Op 插件，替代 CPU Op 的实现；

6.3 高性能

• 对iOS / Android / PC / Server 的CPU架构进行了适配，编写SIMD代码或手写汇编以实现核心运算，充分发挥 CPU的算力，单线程下运行常见CV模型接近设备算力峰值；
• iOS 设备上可以开启 GPU 加速（Metal），支持 iOS 8.0 以上版本，常用模型上快于苹果原生的 CoreML；
• Android 上提供了 OpenCL、Vulkan、OpenGL 三套方案，尽可能多地满足设备需求，针对主流 GPU（Adreno 和 Mali）做了深度调优；
• 支持基于 CUDA 使用 PC / Server 上的 NVIDIA GPU 实现更快速的推理；
• 卷积、转置卷积算法高效稳定，对于任意形状的卷积均能高效运行，广泛运用了 Winograd 卷积算法提升卷积性能，对 3x3 -> 7x7 之类的对称卷积有高效的实现。首次在业界工程实践中实现转置卷积的Winograd算法优化与矩阵乘的Strassen算法优化，并取得加速效果；
• 支持低精度计算（ int8 / fp16 / bf16）以提升推理性能。并对 ARMv8.2 和 AVX512架构的相关指令进行了适配，这两种架构下有更好的加速效果。针对 ARM v8.2 的新架构额外作了优化，新设备可利用半精度计算的特性进一步提速；
• 不依赖任何第三方计算库，依靠大量手写汇编实现核心运算，充分发挥 ARM CPU 的算力；

6.4 易用性

• 完善的文档和实例；
• 支持使用 MNN 的算子进行常用的数值计算，覆盖 numpy 常用功能；
• 提供 MNN CV 模块，支持图像仿射变换与归一化等 MNN_CV 库，支持常用的图像处理（armv7a 架构下小于 100 k ）。一般情况下，无需额外引入 libyuv 或 opencv 库处理图像；
• 支持回调机制，方便提取数据或者控制运行走向；
• 支持运行网络模型中的部分路径，或者指定 CPU 和 GPU 间并行运行；
• 支持各平台下的模型训练，尤其是移动端上的模型训练；
• 支持 python 调用；

7. MNN创新

MNN 提出了三大核心创新：

• 运行时半自动搜索架构
• 卷积算法优化创新
• 异构设备混合调度

半自动搜索

半自动搜索，是在模型结构已知的情况下，在已有的高性能计算模块中，按照一定规则，搜索、组合出最适应该模型的计算方案。它是介于以 TVM 为代表的的全自动搜索（i.e. 自动调优）和以 NCNN 为代表的全手动搜索（i.e. 手工实现每个 case）之间一种新颖的设计思想。它的核心洞察在于，TVM 的自动编译优化，难以匹敌针对硬件特性和算子的手写汇编；同时，模型算子、参数的 case 组合无穷多，NCNN无法针对每个 case 进行优化。在最后的「数据论证」部分，我们会用实验数据展示 MNN 相对于全自动搜索（TVM）和全手动搜索（NCNN）的优势。

为了支撑运行时半自动搜索的能力，MNN 提出了一个特殊的处理过程，称为「预推理」。预推理过程中，会提前进行算子的计算策略选择和资源分配。

一般情况下深度学习的应用输入尺寸变动的频率比较小或者可以经过特定的预处理阶段变成相对归一的尺寸。而在输入尺寸确定的情况下，我们可以对模型中每个 Op，计算出它的输出大小以及不同计算策略的消耗以及资源需求量，并以此为依据决定每个 Op 的计算策略，提前进行资源的分配。

8. MNN开源

在 2017 年初，我们在开始引擎研发之前，重点调研了系统方案和开源方案，从通用性、轻量性、高性能、安全性等方面深入分。CoreML 是 Apple 的系统框架，MLKit 和 NNAPI 是 Android 的系统框架，系统框架最大的优势是轻量性 —— 在包大小方面相对宽裕。而最大的劣势是通用性，CoreML 需要 iOS 11+，MLKit 和 NNAPI 需要 Android 8.1+，可以覆盖的机型非常有限，同时难以支持嵌入式设备的使用场景。此外，系统框架支持的网络类型、Op 类型都较少，可拓展性又较差，还未能充分利用设备的算力，加之存在模型安全方面的问题。综上种种，系统框架不是一个很好的选择。开源方案中 Tensorflow Lite 宣而未发，Caffe 较成熟但不是面向端侧场景设计和开发的，NCNN 则刚刚发布还不够成熟。总的来说，我们找不到一套面向不同训练框架，不同部署环境，简单高效安全的端侧推理引擎。

因此，我们希望提供面向不同业务算法场景，不同训练框架，不同部署环境的简单、高效、安全的端侧推理引擎 MNN 。能够抹平 Android 和 iOS 的差异，碎片设备之间的差异，不同训练框架的差异，实现快速的在端侧部署运行，并且能够根据业务模型进行 OP 灵活添加和 CPU/GPU 等异构设备深入性能优化。

随着时间推移，NCNN、Tensorflow Lite、Mace、Anakin 等逐步升级和开源，给与我们很好的输入和借鉴。我们随着业务需求也在不断迭代和优化，并且经历了双十一考验，已经相对成熟和完善，所以开源给社区，希望给应用和 IoT 开发者贡献我们的力量。

9. MNN工具

基于MNN (张量计算引擎)，提供了一系列工具，以支持模型推理、训练和通用计算：

• MNN-Converter：模型转换工具，由Frontends和Graph Optimize构成。前者负责支持不同的训练框架，MNN当前支持Tensorflow(Lite)、Caffe、ONNX(PyTorch/MXNet的模型可先转为ONNX模型再转到MNN)和Torchscripts；后者通过算子融合、算子替代、布局调整等方式优化图，一般离线运行。
• MNN-Compress: 模型压缩工具，在一定的精度误差许可下，对MNN模型进行压缩，减少模型体积，提升运行性能。
• MNN-Express ：支持带控制流的模型运行，支持调用 MNN 的算子进行自定义的计算。
• MNN-CV ：类似 OpenCV ，但核心计算功能基于 MNN 实现的图像处理算法库
• MNN-Train ：MNN 训练模块，支持各平台训练。

10. 编译MNN

mkdir build && cd build && cmake .. && make -j8