著者|ドゥワン（リーン殷）アリババ技術専門家
1月2日コミュニティ共有からこの紙仕上げ、共有高品質ヶ月ごとに2つのゲームは、参加]をクリックしますコミュニティ。
懸念「アリババクラウドネイティブ」パブリック数、この記事のダウンロードのPPTにキーワード0102返信。
REVIEW：著者は、自動的に一般的なアプリケーション・シナリオ計算機能を導入するために、詩の例の五文字quatrainsを生成します：AIモデル（サービスとしてAIモデル）をサービングします。これは、3つの部分に分かれています。紹介AI推論や計算機能;第二ステップ3讲义1コースquatrainsの詩生成されたアプリケーションを構築する方法について説明し、最後に、AIは、シーンの利点で関数計算を推論します。
AI関数計算と推論
最初の部分は、我々は簡単に何であるかを説明し、コンピューティングの機能とAI推論。シーンAI機能計算のために何ができますか？
所属関数を計算FAASとバース、アリクラウドへのサーバレス
FAASは、完全にイベント駆動型コンピューティングサービスを管理しています。演算機能により、あなたはインフラストラクチャサーバー、ちょうど書き込みコードやアップロードを管理する必要があります。関数の計算は、あなたのコードを実行するために、柔軟で信頼性の高い方法にリソースを計算するための準備ができて、ログ、パフォーマンスの監視、アラームなどの機能を提供しています。
関数計算の手段によって、あなたはすぐに管理・運用・保守せずに、アプリケーションやサービスのいずれかのタイプを構築することができます。また、あなただけのコードが被る一切の費用を実行していないされていない、実際に有料に消費コードリソースを実行する必要があります。
上に示した：ワークフローは、完全な機械学習プロジェクトです。
ワークフローは、3つの部分に分けることができます。
- まず、生のデータの前処理;
- 次に、モデルを訓練するために処理されたデータは、代替モデルの複数の複数の訓練アルゴリズムの異なるパラメータおよびそれらの組み合わせを選択します。
- 最後に、我々は、展開するための最も適切なモデルを選択してください。
三段階の上、データの処理とモデルトレーニングデータの最初の2つのステップは、主に科学者によって達成されます。最後のステップは、通常、アプリケーション開発者の仕事です。モデルは、アプリケーション開発の可用性、信頼性、拡張性の分野での問題解決が必要な公式のAIアプリケーションに展開されるとき。
函数计算是事件触发型计算服务，上游服务如 OSS、MNS 和 API Gateway 会触发事件，事件会触发函数运行，处理上游数据源的数据。这个机制可以用来做机器学习数据的预处理。
另一个函数计算适合 ML 的场景是适合做 AI Model Serving。上图是一个图片分类的示例，通过 TensorFlow 训练的模型可以部署成函数。当一张新的图片做出输入通过 HTTP 协议发送给函数后，函数会返回对这张图片的分类判断。
3 步搭建自动生成五言绝句诗句应用
下面我们进入第二部分：快速部署一个 AI 应用。（更多详细信息：https://developer.aliyun.com/article/741406）
函数支持灵活的调用，分为 GUI、CLI 和 SDK 三种方式：
- GUI 有 web 版本的控制台和 IDE，也有本地的插件；
- CLI 我们推荐 Funcraft 工具，Funcraft 是个面向工程的开发工具，提供了模板向导、本地开发调试和部署运行等一些功能，Fcli 侧重于对已部署云端的资源进行操作；
- SDK 方面，函数计算覆盖了常见语言。
上图右侧是“为你写诗”通过 fun 工具的调用效果。每次调用会返回当次执行的耗时和资源使用情况。返回结果就是由 AI 自动生成的诗句。
上图是“为你写诗”应用的工作原理图。
首先是训练模型，大概有 7 万行五言绝句，通过 TensorFlow 的 CharRNN 训练成模型；然后通过 Funcraft 工具安装 TensorFlow 的 pip 包，用 python 写好调用代码。template.yml 是 ROS 的描述文件，以声明式的方式来描述函数，然后通过 fun deploy 部署函数。
由于 Model 和 TensorFlow lib 会超过函数计算对于部署包 50M 的限制，Funcraft 工具会自动把这两部分部署到 NAS 网盘（如果不存在会提示自动创建），然后运行时函数会像访问本地文件系统一样访问 NAS
网盘上的模型和库文件。
最后用户通过调用函数返回自动生成的诗句。由于函数实例会按照请求量自动扩展，并且按照调用量进行收费，所以快速上线的 AI 服务是一个真实场景下高可用的服务。
要搭建该服务，首选需要安装 git 和 funcraft 工具。funcraft 是一个 github 开源项目，大家可以在 https://github.com/alibaba/funcraft 找到各个平台的安装文件和指南。
然后只需要执行上图中的三个步骤就可以快速地将“为你写诗”应用部署到函数计算平台。
函数计算在 AI 场景的优势
最后一部分，我们会通过不同维度与传统架构对比的方式来总结一下函数计算在 AI 场景的优势。
首先我们看一下函数计算的工程效率：
相比于自建服务（ECS 或者 K8s 集群），函数计算不需要维护基础设施（主机、网络、存储等）；
在开发效率上，函数计算通过这些年在 Funcraft 和 VSCode 等工具的建设，解决了应用构建、开发调试和打包部署一系列的痛点，用户可以平滑的上手，通过模板快速部署和二次开发应用；
学习成本上方面，由于函数计算实现了分布式应用的细节，所以只需要专心于实现一个单体应用，更专注于业务。
相比于 ECS 和容器服务，函数计算的弹性更好，支持百毫秒级的弹性，可以更好的应对业务的实时波动。同时也提供了细粒度的、开箱即用的监控报警模块。
上图是一些监控图表，用户可以通过可视化界面直观地理解应用的监控状况。
下面我们来看看一个可用性的对比实验，假设存在上图中的三个 AI 场景：
- 第一个是部署在 ECS 上的延时敏感应用；
- 第二个是部署在 ECS 上的成本敏感应用；
- 第三个是 FC 方案，由于 FC 默认提供了 MKL 加速，所以这也是 FC 的一个小优势。
场景一出现了很多超时或者 5xx 错误，扩容速度太慢， 理论上需要 4 分钟及以上才能扩容：触发报警 31min + 购买启动 ECS(1-5min) > 4 min； 同时缩容速度更慢， 只有触发报警 15
1min，当然您可以调整触发报警的时间间隔，但是云监控总是分钟级别的粒度，而且设置的值太小，频繁的采购和释放 ECS 并不是一个推荐的操作， 这也是官方推荐扩容是 3 分钟， 缩容 15 分钟的原因；场景二在压力忽然上升的时候仍然由于扩容不及时导致的 5xx， 同时实例数目图可以看出分钟级别的扩容和缩容速度的滞后在这种场景下可能会严重影响用户体验；
场景三压力和压力的变化明显大于自建 ECS + SLB + ESS 方案，但没有错误，响应时间基本稳定在 200-300ms， 除了冷启动有点毛刺以外。
但是毛刺的最大时间也没有超过 2s：MKL 加速， 单次运算时间短；快速弹性缩容，压力陡升骤降都能快速伸缩，提高资源的使用效率。
不管是延迟敏感型和成本敏感型， FC 都能很好解决快速响应的问题， 冷启动的毛刺可以通过预留实例+预付费去解决。
解决函数冷启动毛刺问题有两条思路：减少单次启动时间和预先启动（预热）。
首先谈谈如何缩短函数的启动时间。函数的启动时间分为两部分：一部分是由平台负责的，包括代码下载、容器启动、运行时初始化和代码初始化；另一部分是由用户负责的代码部分，这部分往往由于业务的不同比较难优化。
关于预启动函数的方式，函数计算 1.0 的时候，会推荐用户使用 Time Trigger 定时触发函数让函数保持住而不被回收。函数计算 2.0 推出了函数的预留模式。通过预留模式，用户可以让函数一直保持住而不回收。
下面我们针对预留模式做一组对比试验。
场景一：当函数执行的请求到来时，由于没有任何预留资源，所有的请求都是按需， 所以每次压力一增大，就会有很多冷启动的，请求毛刺很多，毛刺的时间达到 20s+；
场景二：当函数执行的请求到来时，由于预留资源充足，所有的请求都被调度到预留的实例中被执行， 这个时候是没有冷启动的，所以请求是没有毛刺的；
场景三：当函数执行的请求到来时，优先被调度到预留的实例中被执行， 这个时候是没有冷启动的，所以请求是没有毛刺的， 后面随着测试的压力不断增大(峰值 TPS 达到 1184), 预留的实例不能满足调用函数的请求， 这个时候函数计算就自动进行按需扩容实例供函数执行，此时的调用就有冷启动的过程， 从上图我们可以看出，函数的最大 latency 时间甚至达到了 32s，如果这个 web AP 是延时敏感的，这个 latency 是不可接受的。
上图中的 4 个小图描绘了不同场景下的资源利用率和成本的关系。
- 图 1：按照峰值进行 ECS 实例预留，资源利用率小于 30%；
- 图 2：延迟敏感，资源利用率小于 50%；
- 图 3：成本敏感，相应的会牺牲一些相应性，资源利用率小于 70%；
- 图 4：基于预留模式+预付费，把弹性的部分使用函数的按量模式，资源的利用率可以做到 80% 以上。
上面四个 Case 的成本核算，最终函数计算组合付费模式的成本最低。
小结
本次分享到此就结束了，下面为大家总结一下：
- 函数计算具有快速自动伸缩扩容能力；
- 开发简单易上手，只需要关心具体的代码逻辑，Funcraft 工具帮助您编排资源和部署应用；
- 预留模式很好地解决了冷启动中的毛刺问题；
- 兼顾资源利用率和可用性的同时，预付费可以进一步优化财务成本；
- 函数计算具有很好的监控设施，您可以可视化观察您函数运行情况、执行时间、内存等信息。
欢迎扫码加入钉钉交流群
- 函数计算：https://www.aliyun.com/product/fc
- Funcraft：https://github.com/alibaba/funcraft
- AliyunサーバレスVSCode拡張子：https://github.com/alibaba/serverless-vscode
あなたは、サーバレスや機能のためのコンピューティングに興味を持っている場合は、交換基にネイルスキャンコードを歓迎します。
ネイティブのオープンクラスのクラウド技術
このコースでは、アリババ強力な組み合わせとCNCFの公式で、共同でコア、「技術的解釈」との両方の、一連の「練習着陸」と「ネイティブクラウド技術システム」を立ち上げ、技術オープンクラス。
「アリババクラウドネイティブ懸念マイクロサービス、サーバレス、コンテナ、サービスメッシュ及び他の技術分野、クラウドネイティブ人気の技術動向を中心に、ネイティブの大規模な着陸の練習を曇らせるが、ほとんどは開発者のネイティブクラウド技術界を理解してください。」