ツーソンの将来のデータ処理プラットフォームから、サーバーレスワークフローアプリケーションのシナリオをご覧ください

サーバーレスワークフローはこちらです!

テクニカルドライグッズ4月、Alibaba Cloudのサーバーレスワークフローが正式に商品化されました。これは、複数の分散タスクの実行を調整するために使用されるフルマネージドのサーバーレスクラウドサービスです。この製品は、ビジネスプロセスの開発と実行に必要なタスクの調整、状態管理、エラー処理などの煩雑なタスクの簡素化に特化しており、ユーザーはビジネスロジックの開発に集中できます。

クラウド上に自動生産ラインを正確に構築し、サーバーレスワークフローを正式に商品化

ワークフローは、企業の内部承認、注文書、ETLやその他の日常業務、ビッグデータ処理パイプライン、従来のまたはカスタマイズされた自動化された運用および保守などの非常に一般的なシナリオです。さらに、オーディオおよびビデオ業界におけるマルチメディアファイルのトランスコーディング、フォーマット変換、監査検証、顔認識、eコマース旅行業界の顧客向けのオンライン注文、AI業界の機械学習パイプライン、Shengxin業界の遺伝子などの長期的なタスクシーケンスワークフロー。

これらのシナリオは、次の問題に直面します。一般に、多くの非同期分散タスクで構成され、制御ロジックとタスクロジックが絡み合っており、プロセスは複雑で時間がかかります。分散タスクはパブリッククラウドとローカルコンピュータールームにまたがる可能性があり、ネットワークを安全に開くにはコストがかかります。全体の作業フローの実行が完了するまでに長い時間がかかるため、リソースの占有に無駄が生じます。非同期で重要なビジネスプロセスが関与するため、データの一貫性を確保する必要があります。複雑な実行ステップを視覚的に監視する方法など。

サーバーレスワークフローは、これらの問題点に正式に対処し、制御ロジックとタスクロジックを分離し、責任を洗練し、管理とメンテナンスを容易にします。プロセスをテンプレートの方法で統一的に定義し、オーケストレーションを簡素化し、タスクをシリーズやパラレルなどの複数の方法でオーケストレーションします。キュー、クラウドサービス、その他のタスクタイプは、パブリッククラウドとエンタープライズイントラネットを開きます。最大1年間タスクの実行をサポートしますが、サーバーレスの課金モデルを使用し、オンデマンドで支払います。状態とメッセージの永続性を維持するために、同時機能を動的に呼び出します情報は失われず、最終的に同期されてフォールトトレランスが向上し、例外が自動的に処理されます。プロセスの進捗状況の視覚化、実行履歴の履歴追跡などが可能です。
Technology 01.png

ツーソンの将来の自動データ処理プラットフォームを支援し、すべてをシンプルで信頼性の高いものにします

ツーソンフューチャーは、L4無人トラック技術の開発と応用に焦点を当てた人工知能企業であり、大規模に運用可能なグローバル無人トラック技術を提供し、グローバルな物流と輸送業界を実現します。現在、Dラウンドの資金調達は完了しており、評価額は10億米ドルを超えています。無人運転技術の開発は、大量の運転試験データの蓄積に依存しており、モデルの更新反復を導くための効率的な運転試験と運転試験データの高速処理は、そのようなシナリオの中心的な要求です。

ドライブテスト中に大量のデータが生成され、これらのデータの処理フローは複雑で変化しやすいため、同じデータのバッチでも、ビジネスグループによって使用方法や処理方法が異なります。さまざまなデータ処理プロセスを効果的に管理し、人間の介入の頻度を減らす方法は、生産効率を大幅に向上させることができます。

ドライブテストの予定外の動作の特性により、プロセススケジューリングタスクの実行時点と実行時刻は非常に不確実になります。ローカルコンピュータルームだけでプロセス管理システムを確立することで機械稼働率を最適化することは困難であり、リソースの浪費につながります。将来的には、ツーソンにはすでに多くのユニット化されたビジネス処理スクリプトとアプリケーションがありますが、さまざまな制限により、クラウドに完全に移行することは不可能であり、これはクラウドサービスを合理的に使用する方法にも課題をもたらします。

さらに、処理フローには多くのステップがあるため、異なるタスク間のデータ共有は非常に重要になります。タスク間の相互依存の場合、システムの信頼性は非常にテストされています。したがって、複雑なプロセスのステップのステータスとデータ管理も、ビジネスが直面する課題です。
Technology 02.png

上記の状況に対応して、ツーソンは将来的にデータ処理プラットフォームの自動化を模索し始めました。Alibaba Cloud Serverlessワークフローは、実行スケジュールの数に応じて請求されます。これには、使いやすさ、統合、簡単な操作とメンテナンスなど、多くの利点があります。これは、上記のシナリオで発生する問題を適切に解決でき、不規則に実行されるオフラインタスクに非常に適しています。シーン。サーバーレスワークフローは、ローカルまたは自作のコンピュータールームを調整するタスクもサポートします。ツーソンは、サーバーレスワークフローがネイティブにサポートするメッセージサービスMNSを使用して、クラウド内外のデータアクセスの問題を解決し、元のローカルタスクが適切に整理されるようにしますそして管理。

スケジューリングに加えて、サーバーレスワークフローは、タスクのステータスと実行中に生成されたデータのメンテナンスもサポートします。将来的に、ツーソンは、タスクの入出力マッピングとステータスレポートメカニズムを使用して、プロセス内の各タスクのライフサイクルと相互間のデータ転送を効率的に管理します。

将来的に、ビジネス規模の拡大に伴い、ツーソンはオフラインのビッグデータ処理プロセスの効率と自動化レベルを最適化し続けます。ツーソンはさまざまな調査を通じて、将来のエンジニアリングチームの効率をさらに高め、より多くのエネルギーと資本をビジネスイノベーションに投資します。

サーバーレスワークフローより多くのアプリケーションシナリオ

テクノロジー03.png
各企業には、次のようないくつかの典型的なワークフローシナリオがあります。ここに3つの典型的なアプリケーションがあります:

注文プロセス承認、1年の実行時間をサポートできます

eコマース、旅行業界の注文、または企業内のあらゆる種類の日常のアプリケーションの場合、発行から効果的なものへの複数のリンクがあり、会社のオフィスネットワークとパブリッククラウドにわたる複数のネットワーク環境、および複数のリンクを介した複数のステップが必要です。手動での介入が必要な場合があります。最終データにより、強い整合性が確保されます。現在、サーバーレスワークフローは、デフォルトで最大1年間の実行をサポートし、10,000プロセスを並行してトリガーします。
Technology 04.png
マルチメディアファイル処理、失敗率の低減、スループットの向上

サーバーレスワークフローは、トランスコーディング、フレームインターセプト、顔認識、音声認識、監査アップロード、その他の種類の処理などのマルチメディアファイルなどのマルチタスクオーケストレーションにも適しています。ユーザーは、完全な処理フローに整理し、機能計算を通じてメディア処理(IMM)タスク(または自作プロセッサ)を送信して、ビジネスニーズを満たす出力を生成できます。さまざまなタスクの異常な実行エラーを確実に再試行できるため、マルチメディアタスクの処理スループットが大幅に向上します。

ビデオオンデマンドやビデオトランスコーディングなど、コンピューティング能力に大きく依存するタスクの場合、サーバーレスメソッドを使用してビルドすると、関数の計算とサーバーレスワークフローを組み合わせて使用​​できるため、オンラインになるのに3人日しかかかりません。
テクノロジー05.jpeg

自動化された操作とメンテナンス、プロセスの進行状況の視覚的な進行状況

Automated O&Mには、長さと時間の異なる一般的な手順があり、スタンドアロンスクリプトの信頼性は低く、複雑さなどの一般的な課題に依存します。さらに、進行状況を視覚化することはできません。サーバーレスワークフロー+関数計算プロセスは、これらの課題に十分に対応できます。たとえば、ソフトウェア自動化のデプロイは、Dockerコンテナの構築、コンテナイメージのアップロード、各ノードの開始と追跡によるイメージのプルダウン、およびイメージコンテナの新しいバージョンの開始から始まります。各関数によって生成されたログは、クエリと共有のためにログサービスに保存されます。スタンドアロンの操作および保守スクリプトと比較して、ワークフローベースの自動化ツールは、独自のエラー処理メカニズムと進行状況のグラフィカル機能を備えた高可用性です。
テクノロジー06.png

「サーバーレスワークフローは、Alibaba Cloudのサーバーレス製品システムの主要なリンクです。」Alibaba Cloudのサーバーレス製品の責任者であるYang Haoran氏は、「サーバーレスワークフローを通じて、機能的コンピューティングプラットフォームやビジュアルインテリジェンスプラットフォームなどの複数のAlibaba Cloudサービスを使用できます。構築されたサービスは、シンプルで直感的な方法でワークフローに組み込まれ、柔軟で可用性の高いクラウドネイティブアプリケーションをすばやく構築します。

「2017年にAlibaba Cloudが機能的コンピューティングを開始したと報告されています。このサービスは、アプリケーションの負荷の変化に応じてリアルタイムでインテリジェントかつ柔軟にスケーリングします。1分間で数万のインスタンスを拡大および縮小し、安定した遅延を確保できます。現在、Weibo、Mango TV、 BGI、ツーソンフューチャー、グラファイトテクノロジーなどのユーザーの主要アプリケーションは、ビジネスのピークに簡単に対処できます。

おすすめ

転載: blog.51cto.com/14781300/2489027