版本记录

版本号	时间
V1.0	2018.10.16 星期二

前言

目前世界上科技界的所有大佬一致认为人工智能是下一代科技革命，苹果作为科技界的巨头，当然也会紧跟新的科技革命的步伐，其中ios API 就新出了一个框架Core ML。ML是Machine Learning的缩写，也就是机器学习，这正是现在很火的一个技术，它也是人工智能最核心的内容。感兴趣的可以看我写的下面几篇。
1. Core ML框架详细解析（一） —— Core ML基本概览
 2. Core ML框架详细解析（二） —— 获取模型并集成到APP中
 3. Core ML框架详细解析（三） —— 利用Vision和Core ML对图像进行分类
 4. Core ML框架详细解析（四） —— 将训练模型转化为Core ML
5. Core ML框架详细解析（五） —— 一个Core ML简单示例（一）
6. Core ML框架详细解析（六） —— 一个Core ML简单示例（二）
7. Core ML框架详细解析（七） —— 减少Core ML应用程序的大小（一）
8. Core ML框架详细解析（八） —— 在用户设备上下载和编译模型（一）
9. Core ML框架详细解析（九） —— 用一系列输入进行预测（一）
10. Core ML框架详细解析（十） —— 集成自定义图层（一）

Overview - 概览

为Core ML模型制作自己的自定义图层。

当Core ML不支持您的神经网络层时，您可以通过将模型中的图层转换为Core ML并实现定义图层计算行为的支持类来创建自定义图层。

Convert Your Network to Core ML - 将您的网络转换为核心ML

使用标准Core ML Tools将您的带有自定义层的网络转换为Core ML。在转换调用中启用add_custom_layers标志，以避免在转换器遇到无法识别的图层（您的自定义图层）时失败。名为“custom”的占位符图层将作为转换过程的一部分插入。 Listing 1显示了脚本的示例调用。

// Listing 1 
Enabling custom layers in Core ML conversion

coreml_model = keras_converter.convert(keras_model, add_custom_layers=True, ...

Migrate Network Parameters and Weights - 迁移网络参数和权重

网络的参数是存储在自定义层的参数字段中的字典。初始化实现类时，这些参数将传递到自定义类实现以自定义初始化。

要迁移权重，请在自定义图层中创建新的权重数组，然后将权重从原始源图层复制到新创建的数组中。

// Listing 2 
Copying the weights from the source into a custom layer

custom_weights = layer.custom.weights
# For each weight parameter in the Keras model, copy them into the custom layer
for weights in k_weights:
    migrated_weights = custom_weights.add()
    migrated_weights.floatValue.extend(map(float, weights.flatten().tolist()))

权重以二进制格式存储，以优化大量数据。参数字典相反 - 方便访问，但不适合大量数据。在确定是否将自定义图层的数据表示为参数或权重时，请记住这一点。

Name the Layer - 命名图层

在保存模型之前，请定义自定义图层的名称。这也是实现自定义层行为的Swift或Objective-C类的名称。

// Listing 3 
Setting the className field in your custom layer to map the layer to classes in your project

layer.custom.className = "MyCustomLayer"

Save the Converted Model - 保存转换后的模型

保存转换后的模型以创建.mlmodel文件。模型的Xcode视图显示模型的一组依赖关系，如Integrating Custom Layers中所示。该列表与您添加到.mlmodel文件的自定义图层类名相匹配。

Implement the Layer - 实现图层

dependencies项列表应包含转换模型时定义的className。在Creating a Custom Layer，它是MyCustomLayer。通过实现下面描述的方法创建您的类并使其符合MLCustomLayer协议。

注意：在Swift中，将@obj（<className>）属性添加到实现MLCustomLayer的类中。这定义了类的Objective-C名称，Core ML需要访问您的自定义层实现。

扫描二维码关注公众号，回复： 5236328 查看本文章

实现init(parameters:)以适当地初始化您的图层。此方法将在加载时使用.mlmodel文件中的参数调用一次。
实现setWeightData(_:)以配置图层的连接权重。在初始化之后，此方法将在加载时调用一次，并将权重迁移到.mlmodel文件中。
实现outputShapes(forInputShapes:)以声明给定输入形状的输出形状到您的图层。此方法将在模型加载时调用，并且在对图层的输入形状发生更改的任何时间再次调用。
实现evaluate(inputs:outputs:)以定义自定义层的计算行为。每次模型在CPU上进行预测时，都会调用此方法。
（可选）如果您希望该层有资格在GPU上运行，请实现encode(commandBuffer:inputs:outputs:)。此方法不保证在GPU上执行。

重要：不要修改传递给这些函数的结构（权重，输入或输出）中的任何内存。

Integrate the Layer - 整合图层

预测工作流程与没有任何自定义图层的模型相同。在实现MLCustomLayer协议的情况下，相同的prediction(from:)方法适用于您的模型。将您的自定义Core ML模型与原始实现进行比较，以确保准确性。使用您在创建网络时使用的测试用例来验证Core ML模型的行为。

后记

本篇主要讲述了创建自定义图层，感兴趣的给个赞或者关注~~~

Core ML框架详细解析（十一） —— 创建自定义图层（一）