管理7k+工作流，月运行超10000万次，Lyft开源的Flyte平台意味着什么？

作者 | Allyson Gale

译者 | 刘畅

编辑 | Jane

出品 | AI科技大本营（ID：rgznai100）

【导读】Flyte 平台可以更容易的创建并发，可伸缩和可维护的工作流，从而进行机器学习和数据处理。Flyte 已有三年多的训练模型和数据处理经验，成为定价，定位，ETA，自动驾驶等团队可实用的平台。实际上，Lyft 内部使用 Flyte 管理着 7000 多个独特的工作流，每月总计运行超过 100000 次，执行 100 万个任务，处理 1000 万个容器。

由于数据现在已成为公司的主要资产，因此执行大规模计算作业对业务至关重要，但从操作角度来看却存在一些问题。扩展，监管计算集群成为每个产品团队的负担，从而减慢了迭代速度，进而减慢了产品创新的速度。

Flyte 的任务是通过抽象这些开销来提高机器学习和数据处理的开发速度。Lyft 团队通过可靠，可扩展，精心设计的计算解决了诸多问题，使团队可以专注于业务逻辑。此外，Flyte 可支持跨租户共享和重用，因此问题只需解决一次。随着数据和机器学习之间的界线越来越不明显，包括从事这些工作的人员，这一点变得越来越重要。

为了让大家更好地了解 Flyte 是如何解决这一切问题，以下是该平台一些主要功能的概述：

1、Hosted、multi-tenant、and serverless

Flyte 可以摆脱麻烦的基础架构，使开发者可以专注于业务问题。作为一个支持多租户的服务，可以自己隔离 repo，并在不影响平台其余部分的情况下进行部署和扩展。平台会对代码进行版本控制，并对其依赖进行容器化，并且每次代码执行都是可重复的。

为了提供这种级别的隔离，研发团队直接将其建立在 Kubernetes 上，获得了容器化提供的所有优点：可移植性，可伸缩性，可靠性等等

2、Elastic Scale

Flyte 的主要目的就是扩展。有了完全分布式的容错控制平面，就不会出现单点故障，并且可以扩展到多个集群，数千个节点和数千个并发工作流。

Lyft 证明了该平台的扩展性，Flyte 已有三年多的训练模型和数据处理经验，成为定价，定位，ETA，自动驾驶等团队可实用的平台。实际上，Lyft 内部使用 Flyte 管理着 7000 多个独特的工作流，每月总计运行超过 100000 次，执行 100 万个任务，处理 1000 万个容器。

3、Parameters、Data Lineage、and Caching

所有 Flyte 的任务和工作流均具有强类型的输入和输出。这样就使参数化工作流程，拥有丰富的数据流，以及使用预先计算的缓存版本成为可能。例如，如果要进行超参数调优，则可以在每次运行时轻松调用不同的参数。此外，如果想调用之前已经计算过的任务，无论执行该任务的是谁，Flyte 都会巧妙地使用缓存输出，从而节省时间和金钱。

4、Versioned, Reproducible, and Shareable

Flyte 中的每个实体都是不可变的，每个更改都会明确地归为新版本。这让使用者可以轻松高效地迭代，测验和回滚工作流。此外，Flyte 支持在工作流之间共享这些版本化的任务，从而避免个人和团队之间的重复工作，加快开发周期。

5、Dynamic and extensible

Flyte 与框架无关，并且有不断增加的插件集合来满足所有工作流需求，包括 K8s 上的 Spark，AWS Batch，阵列作业，Hive Qubole，容器，Pods 等。而且也很容易贡献一个插件！用多种语言编写工作流任务也可能是有利的，因此Flyte 的 SDK 可以扩展到 Python 之外，允许进行真正的多语言编程。

附参考文章：

https://flyte.org/

https://lyft.github.io/flyte/contributor/index.html

（*本文为AI科技大本营翻译文章，转载请微信联系 1092722531）

◆

精彩推荐

◆

2020年，由 CSDN 主办的「Python开发者日」活动（Python Day）正式启动。我们将与 PyCon 官方授权的 PyCon中国社区合作，联手顶尖企业、行业与技术专家，通过精彩的技术干货内容、有趣多元化的活动等诸多体验，共同为中国 IT 技术开发者搭建专业、开放的技术交流与成长的家园。未来，我们和中国万千开发者一起分享技术、践行技术，铸就中国原创技术力量。