作者：如切，悟双，楚哲，晓祥，旭林
引言
天猫精灵（TmallGenie）是阿里巴巴人工智能实验室（Alibaba A.I.Labs）于2017年7月5日发布的AI智能语音终端设备。天猫精灵目前是全球销量第三、中国销量第一的智能音箱品牌。
在天猫精灵业务系统中，大量使用了算法模型。如领域分类模型，意图分类模型，槽填充模型，多轮对话模型等。当前天猫精灵后台有上百个正在使用的算法模型。
在模型服务方面，有两个问题非常重要：
- 首先，为了保证服务能够得到快速响应，模型的 RT 必须尽可能的短。
- 其次，我们希望在硬件资源一定的情况下能够支持更多的 qps 访问，从而降低整体成本。
机器学习PAI是阿里巴巴AI开发平台，为AI开发者提供软硬一体的编程环境和高性能训练与推理引擎框架。
天猫精灵业务 PAI 模型的优化主要通过 AutoAI 接入 PAI Bla