TensorFlow Serving Introduction
TensorFlow Serving 是一个高性能、开源的机器学习服务系统，为生产环境及优化TensorFlow而设计。它更适合运行多个大规模模型，并支持模型生命周期管理、多种算法实验及有效地利用GPU资源。TensorFlow Serving能够让训练好的模型更快、更易于投入生产环境使用。
TensorFlow和TensorFlow Serving的区别:
TensorFlow项目主要是基于各种机器学习算法构建模型，并为某些特定类型的数据输入做适应学习，而TensorFlow Serving则专注于让这些模型能够加入到产品环境中。开发者使用TensorFlow构建模型，然后TensorFlow Serving基于客户端输入的数据使用前面TensorFlow训练好的模型进行预测。
TensorFlow Serving 其实是将 tensorflow 训练出来的模型更好的应用于生产环境中，通过它的API等支持的方式来方便对外提供稳定可靠的服务。
TensorFlow Serving 的意义就在于能够很方便的将深度学习生产化，解决了模型无法提供服务的弊端，并且用的是c++语言，性能上应该不错。这样以后深度学习方向的创业公司都能很方便的将产品商业化，保证7*24小时的可靠服务，比如人脸识别商业化.
举个例子,清晰一点.
说一下我们现在模型对外提供服务的方案:数据建模,我用的python,在用scikit-learn训练出模型后,怎么让其他人也能享受这个模型呢?总不能将代码给人家,让人家再训练一遍吧,所以我们用joblib.dump将训练出来的模型变为一个实体的文件,然后copy到生产环境,用joblib.load加载后,再用flask对外提供API服务.
对比一下,可知tensorflow相当于scikit-learn,是一个深度学习工具.那tensorflow serving就相当于把上面的joblib.dump(当然了tensorflow serving是export方法)与joblib.load以及最后提供输出能力(相当于上面的flask)都一手包办了.
如谷哥所说，TensorFlow Serving可以在不改变现有模型架构和API的基础上发布新的模型和实验数据到产品中。它不仅仅支持TensorFlow训练的模型，也可以扩展到其他类型的模型(比如Scikit Learn生成的模型)。
TensorFlow Serving 系统非常适用于大规模运行能够基于真实情况的数据并会发生动态改变的多重模型。它能够实现：
- 模型生命周期管理。
- 使用多重算法进行试验。
- GPU 资源的有效使用。
TensorFlow Serving 能够简化并加速从模型到生产的过程。它能实现在服务器架构和 API 保持不变的情况下，安全地部署新模型并运行试验。除了原生集成 TensorFlow，还可以扩展服务其他类型的模型。下图显示了简化的监督学习过程，向 learner 输入训练数据，然后输出模型：
在上图中，输入训练数据(Data)到学习者(Learner)中，输出训练成功的模型(Model 1)。
一旦经过验证后，新模型版本定型，就可以部署到服务系统(TensorFlow Serving)上，如下图所示：
TensorFlow Serving 使用（之前训练的）模型来实施推理——基于客户端呈现数据的预测。因为客户端通常会使用远程过程调用（RPC）接口来与服务系统通信，TensorFlow Serving 提供了一种基于 gRPC 的参考型前端实现，这是一种 Google 开发的高性能开源 RPC 架构。当新数据可用或改进模型时，加载并迭代模型是很常见的。事实上，在谷歌，许多管线经常运行，一旦当新数据可用时，就会产生新版本的模型。
对于生产环境来说，启动模型，随着时间不断迭代模型，新的训练数据出现需要训练优化模型，这些都是常态。现在有了TensorFlow Serving就可以在不停止服务的情况下更新模型和数据，Google内部许多pipelines一直在运行。
TensorFlow Serving采用C++编写，支持Linux。TensorFlow Serving 引入的开销是非常小的，在16个 vCPU 的英特尔至强 E5 2.6 GHz 的机器上进行了测试，每核每秒能够处理超过10万个请求，这里包括gRPC和TensorFlow接口之间的处理时间。TensorFlow Serving代码已经能够在GitHub获取。