ワークフロー管理7K +、億回ヶ月以上実行、LyftオープンソースプラットフォームFlyteは、それが何を意味するのでしょうか？

著者|アリソンゲイル

翻訳|劉チャン

編集|ジェーン

制作| AI技術のベースキャンプ（ID：rgznai100）

REVIEW Flyteプラットフォームは、より簡単に機械学習やデータ処理を実行するために、同時拡張性と保守性のワークフローを作成することができます。Flyteは、より多くの経験を処理する訓練モデルとデータの3年間よりも、価格設定、ポジショニング、ETA、自動操縦や他のチームの実用的なプラットフォームとなりました。実際には、内部Lyft使用Flyt Eは、月額10万回以上の合計を実行し、7,000人以上のユニークなワークフローを管理千万コンテナを取り扱う百万タスクを実行します。

データは現在、同社の主要な資産となり、ビジネスに不可欠な大規模コンピューティングの仕事のため、実装が、運用の観点から、いくつかの問題があるしているので。拡張、従って反復の速度を遅くする、各製品グループの負担となり、従って製品の革新のペースを遅くする監視コンピュータクラスタ。

Flyteの使命は、これらのコストを抽象化することにより、開発スピードの機械学習とデータ処理を改善することです。信頼性の高い、スケーラブル通じLyftチームは、慎重にチームがビジネスロジックに集中できるように、多くの問題を解決するために設計された計算します。また、Flyteはクロステナントは、このように一度だけの問題を解決し、共有と再利用をサポートすることができます。データと機械の間の線は、より多くの明白な学習では、これらの操作に関わる人員を含め、それがますます重要になってきています。

あなたFlyteは、これらすべての問題を解決する方法のより良い理解を与えるために、以下は、プラットフォームの主な機能のいくつかの概要は次のとおりです。

図1に示すように、ホストされ、マルチテナント、およびサーバーレス

Flyteは、開発者がビジネス上の問題に集中できるように、トラブルインフラを取り除くことができます。マルチテナントサポートサービスとして、あなたは自分自身をレポ分離することができ、およびプラットフォームの残りの展開と拡張の際に偏見なし。インターネット意志コードのバージョン管理、およびコンテナのその依存性、およびコードは、反復実行されるたび。

为了提供这种级别的隔离，研发团队直接将其建立在 Kubernetes 上，获得了容器化提供的所有优点：可移植性，可伸缩性，可靠性等等

2、Elastic Scale

Flyte 的主要目的就是扩展。有了完全分布式的容错控制平面，就不会出现单点故障，并且可以扩展到多个集群，数千个节点和数千个并发工作流。

Lyft 证明了该平台的扩展性，Flyte 已有三年多的训练模型和数据处理经验，成为定价，定位，ETA，自动驾驶等团队可实用的平台。实际上，Lyft 内部使用 Flyte 管理着 7000 多个独特的工作流，每月总计运行超过 100000 次，执行 100 万个任务，处理 1000 万个容器。

3、Parameters、Data Lineage、and Caching

所有 Flyte 的任务和工作流均具有强类型的输入和输出。这样就使参数化工作流程，拥有丰富的数据流，以及使用预先计算的缓存版本成为可能。例如，如果要进行超参数调优，则可以在每次运行时轻松调用不同的参数。此外，如果想调用之前已经计算过的任务，无论执行该任务的是谁，Flyte 都会巧妙地使用缓存输出，从而节省时间和金钱。

4、Versioned, Reproducible, and Shareable

Flyte 中的每个实体都是不可变的，每个更改都会明确地归为新版本。这让使用者可以轻松高效地迭代，测验和回滚工作流。此外，Flyte 支持在工作流之间共享这些版本化的任务，从而避免个人和团队之间的重复工作，加快开发周期。

5、Dynamic and extensible

Flyte 与框架无关，并且有不断增加的插件集合来满足所有工作流需求，包括 K8s 上的 Spark，AWS Batch，阵列作业，Hive Qubole，容器，Pods 等。而且也很容易贡献一个插件！用多种语言编写工作流任务也可能是有利的，因此Flyte 的 SDK 可以扩展到 Python 之外，允许进行真正的多语言编程。

附参考文章：

https://flyte.org/

https://lyft.github.io/flyte/contributor/index.html

（*本文为AI科技大本营翻译文章，转载请微信联系 1092722531）

◆

精彩推荐

◆

2020年，由 CSDN 主办的「Python开发者日」活动（Python Day）正式启动。我们将与 PyCon 官方授权的 PyCon中国社区合作，联手顶尖企业、行业与技术专家，通过精彩的技术干货内容、有趣多元化的活动等诸多体验，共同为中国 IT 技术开发者搭建专业、开放的技术交流与成长的家园。未来，我们和中国万千开发者一起分享技术、践行技术，铸就中国原创技术力量。