WWDC 2018：更快更强的 Core ML 2.0

本文是 WWDC 2018 Session 708 和 Session 709 的读后感，其视频及配套 PDF 文稿连接以下： What is New in Core ML, Part 1 What is New in Core ML, Part 2 本文会首先回顾 Core ML 的基本背景知识，其后着重介绍 Core ML 在应用上和工具上的更新。

Core ML 回顾

Core ML 是苹果在2017年推出的机器学习框架。主要支持图像分类和文本信息处理两大功能。其基本流程是获取模型、导入并生成接口、使用接口编程3个步骤。咱们来详细分析每一步：

1. 获取模型。2017年时主要有两种方式：从官网下载和转化第三方框架生成的模型为 Core ML 模型。为了方便转化，苹果推出了 Python 编写的 Core ML Tools。2018年又推出了原生的 Create ML 框架来直接从数据生成 Core ML 模型。Core ML Tools 的优势在于其语法简单直接，缺点在于支持的第三方框架少、生成的模型尺寸过大且不能定制化。

2. 导入并生成接口。这里直接拖拽模型进入 Xcode，Xcode 会自动生成相应的机器学习模型接口。无需任何手动或其余操做，十分方便友好。美中不足的是生成的接口是固定的、没法增长定制化接口。

3. 使用编程接口。根据生成的 API 进行编程。2017年 Core ML 模型只支持对单一对象进行预测，没法批量预测，运行效率比较低下。

能够说2017年推出的 Core ML 框架十分易用，但其功能也十分简陋。开发者们只能在一开始模型生成上作定制化操做，且颇有可能要依赖第三方框架。以后只能使用 Core ML 生成的固定模型进行编程，十分局限：没法优化预测效率、没法精简尺寸、没法增长新的层级、没法自定义模型。

针对这些缺陷，苹果在今年的 Core ML 2.0 上作出了以下改进——更小。更快。高度定制化。

新功能

Core ML 此次的新功能主要在于模型的接口生成新增了一个能够批量预测的 API。下面代码展现了原来的 API 和 新的 API：

// 预测单一输入
public func prediction(from: MLFeatureProvider, options: MLPredictionOptions) throws -> MLFeatureProvider

// 预测多个输入
public func predictions(from: MLBatchProvider, options: MLPredictionOptions) throws -> MLBatchProvider
复制代码

之前须要用 for 循环完成的操做如今能够用一个方法完成。不进如此，新的批量预测方法相对于 for 循环嵌套单一预测的实现，还用了 batch 进行优化。

原来的 for 循环单一预测方法须要完整地读入每个数据，将其预处理后发送给 GPU，GPU 计算完毕后再把结果从 GPU 中取出并在程序中输出结果。新的批量预测方法则是消除了预处理和取出的操做，将全部数据一次性发给 GPU，利用 GPU Pipeline 将其逐个计算的同时依次取出结果。另外由于 GPU 一直在运算状态，GPU 能够对计算进行统一优化，使得类似数据的处理愈来愈快。这样总体的性能就要快上很多，具体逻辑以下图所示：

苹果当场展现了两种方法之间的效率之差：处理40张图片，新的批量预测方法比 for 循环的单一预测方法比要快将近5秒钟，效率上几乎提升了一倍。

除此以外，Core ML Tools 增长了第三方机器学习框架数量，从原来的6个增长到了11个，包括了最知名的 TensorFlow、IBM Watson、MXNet，数量和质量都有大幅提高。

性能优化

性能优化是 Core ML 的重头戏，苹果宣称 Core ML 2 的速度提升了30%。咱们来看看苹果作了哪些工做：

• 量化权重。Core ML 的模型能够根据需求对权重进行量化。权重越低，模型尺寸越小，运转速度越快，占用内存资源也就越少，可是处理效果也就越差。

• 多尺寸支持。针对图片处理，Core ML 如今只需一个模型，就能处理不一样分辨率的图片。相对于以前单一分辨率图片的模型，该模型更加灵活，且由于在底层大量共享代码，使得模型的体积也远远小于原来多个单独模型体积之和。

咱们来重点看下量化权重。2017年时 Core ML 的全部模型权重都是32位，也就是说每一个模型能够识别 2^32 个不一样的特征值。这虽然带来了很是之高的准确度，但同时也使得 Core ML 模型很是之大（20+M）。对于 App 开发来讲，尺寸大小是很是值得注意的因素。借鉴 App Thinning 的思路，苹果针对 Core ML 的模型大小进行了优化。如今开发者可使用 Core ML Tools 对原来32位权重的模型进行量化，根据须要，苹果支持16位、8位、4位等权重。权重越低。模型尺寸越小，运转速度越快，可是处理效果也就越差。因此仍是要根据实际需求进行选择，下图中咱们能够看到不一样模型尺寸和处理效果的对比。

在权重量化上咱们能够针对需求作出最小体积的模型；同时针对多尺寸图片咱们能够合并多个相似功能的模型；同时 Core ML Tools 又提供了自由定制权重的 API。在多重措施的优化之下，Core ML 的模型能够最大限度的缩小尺寸，从而带来更合适的加载和运算效率。

定制化

苹果在定制化方面推出了两种方案：定制化神经网络层和定制化模型。咱们先来看定制化神经网络层。

不少 Core ML 模型的内部实现是多层神经网络，每一层接受上一层的输入，而后作出相应处理再将结果输出给下一层。例如，识别照片中动物是马的过程以下图所示：

这个神经网络每一层都是固定的、由 Core ML 框架自动生成并优化，咱们不能作任何操做。这使得模型的功能大大受到局限：试想咱们若是要基于上述模型生成一个新模型，使得该模型不只能识别马，还能识别鸟、鱼、猫、狗等各类动物，最简单的作法就是将上述模型中判别动物是马的层级给替换掉。Core ML 2 如今提供了这种功能，具体操做步骤是：

1. 获取生成含有特定的层级的模型。通常获取方法是依靠第三方神经网络库，好比 Keras。
2. 用 Core ML Tools 将含有特定层级的模型转化成对应的 Core ML 模型。这其中咱们要自定义特殊层转化方法。具体代码以下：

# 用 keras 神经网络库生成模型，其中特殊层为 GridSampler
model = keras.model.load_model('spatial_transformer_MNIST.h5', custom_object: {'GridSampler': GridSampler})

# 自定义 Core ML 模型中对应特殊层 GridSampler 的转化方法
def convert_grid_sampler(keras_layer):

  params = NerualNetwork_pb2.customLayerParams()

  # 定义名称和描述
  params.className = 'AAPLGridSampler'
  params.description = 'Custom grid sampler layer for the spatial transformer network'

  # 定义层级参数，这里咱们只要处理图片的长和宽
  params.parameters["output_height"].intValue = keras_layer.output_size[0]
  params.parameters["output_width"].intValue = keras_layer.output_size[1]

  return params

# 用 Core ML Tools 将 Keras 模型转化，其中特定层 GridSampler 的转化方法定义为 convert_grid_sampler
coreml_model = coremltools.converters.keras.convert(model, custom_conversion_functions = {'GridSampler': convert_grid_sampler})
复制代码

3. 将 Core ML 模型导入 Xcode 中，自定义特殊层的接口。其对应类务必实现 MLCustomLayer 协议，它是自定义神经网络层的行为协议，每一个方法的具体解释能够参照苹果的官方文档：MLCustomLayer。

public protocol MLCustomLayer {
  public init(parameters: [String : Any]) throws

  public func setWeightData(_ weights: [Data]) throws

  public func outputShapes(forInputShapes: [[NSNumber]]) throws -> [[NSNumber]]

  public func evaluate(inputs: [MLMultiArray], outputs: [MLMultiArray]) throws
 }
复制代码

同时，上文中提到的GridSampler的具体实现以下图：

固然并非全部模型的实现都是神经网络。因此苹果还推出了定制化模型。实现一个定制化模型的方法十分简单，就是实现 MLCustomModel协议：

public protocol MLCustomModel {
  public init(modelDescription: MLModelDescription, parameters: [String : Any]) throws
  
  public func prediction(from: MLFeatureProvider, options: MLPredictionOptions) throws -> MLFeatureProvider

 
  optional public func predictions(from: MLBatchProvider, options: MLPredictionOptions) throws -> MLBatchProvider
}
复制代码

其具体说明亦能够参考苹果官方文档 。

总结

Core ML 2 在2017年的基础上增长了新功能，同时对模型大小和运转效率进行了相应优化。其配套工具 Core ML Tools 也增长了可支持的机器学习框架，同时开发者能够借助工具自定义神经网络层和 Core ML 模型。除此以外，苹果推出的 Create ML 也极大地解决了模型获取方面的局限。目前 Core ML 已经深度应用于 Siri、Photos、QuickType 等原生应用上，采用 Core ML 的第三方应用也多达182个，相信在不久的未来，Core ML 会成为全部主流 App 的标配。