ビッグデータは、企業のデジタル変革における事業運営とパフォーマンスの向上をサポートする主要な手段の 1 つです。リアルタイムとクラウドネイティブは、ビッグデータ テクノロジーの開発において避けられないトレンドとなっています。
4月18日、上海でVolcanic Engine Spring FORCE Power Conferenceが開催されました。この会議で、Volcano Engine はクラウドネイティブのビッグデータ リアルタイム コンピューティング プラットフォーム製品であるストリーミング コンピューティングの Flink バージョンをリリースしました。ByteDance の業界最大のリアルタイム コンピューティング クラスター実践から生まれたストリーミング コンピューティング Flink 製品は、リアルタイム ETL、リアルタイム データ ウェアハウス/レイク、リアルタイム機械学習、リアルタイム リスク制御などのシナリオで検討され、顧客がクラウド上で新たな成長ドライバーを構築し、ビジネスの機敏なイノベーションを促進できるように支援します。
バイト練習 - 毎日のピーク 100 億 QPS
2017 年から、ByteDance は Flink をメインのストリーミング コンピューティング エンジンとして使用する試みを開始しました。その後 2 年間、ストリーミング コンピューティング チームは、Byte 内のリアルタイム サンプル スプライシング、モデル トレーニング、リアルタイム推奨アルゴリズムなどのビジネスをサポートし、社内での JStorm ジョブの 100% の移行を完了しました。2019 年までに、Byte 内での Flink の適用は急速に拡大し、Douyin、Toutiao、Xigua を含むほぼすべての製品をカバーしました。同時にチームはコミュニティの共同構築にも積極的に参加し始め、2020 年には Li Benchao が Apache Flink コミッターに招待されました。過去 2 年間、チームは Flink OLAP の方向に向けて多くの調査も行ってきました。スケジューリング、ランタイム、SQL などの側面が完全に最適化され、パフォーマンスが大幅に向上しました。単一のクラスターで 200 以上の QPS をサポートできます。ユーザー増加、フェイシュ、電子商取引など 10 以上のビジネス シナリオに実装されています。1 日あたりのクエリの規模は 50W 回を超えています。
これまで、ストリーミング コンピューティング Flink に基づいて構築されたリアルタイム ビジネス シナリオは、リアルタイム データ ウェアハウス、リアルタイム リスク管理、商業化、電子商取引、ゲーム、小説、教育、不動産、金融などを含む Byte のほぼすべてのビジネスと製品に関与しており、毎日のリアルタイム ピークは 100 億 QPS を 超えてい
ます
。同時に、 ストリームとバッチの統合がビデオ クラウド、リアルタイム計数機能、電子商取引、SQL データ同期、その他のシナリオで広く使用および実装され、6K 以上の Flink Batch SQL タスクが開始されました。
エンタープライズレベルの機能強化 - ストリーミング コンピューティング Flink エディション
火山エンジン ストリーミング コンピューティングの Flink バージョンは、業界最大のリアルタイム コンピューティング クラスターにおける ByteDance の実践に依存しています。Volcano Engine ストリーミング コンピューティングの Flink バージョンは、Volcano Engine コンテナ サービス (VKE/VCI) に基づいており、サーバーレスの極めて高い柔軟性を提供し、すぐに使用できる
新世代
のクラウドネイティブのフル
マネージド
リアルタイム コンピューティング プラットフォーム
です。オープンソースの Flink と 100% 互換性があることを前提として、以下の機能を含む 30 以上のエンタープライズ レベルの製品拡張が深く最適化されています。
-
開発効率を向上させます。 ストリーミング コンピューティングの Flink バージョンは、オペレーター レベルのデバッグ出力、クエリ可能な状態、およびテンポラル テーブル関数 DDL をサポートしており、オープン ソース バージョンの Flink と比較して開発効率が大幅に向上しています。
-
信頼性の向上。 ストリーミング コンピューティングの Flink バージョンは、単一のタスクに対してチェックポイントを実行します。これにより、大規模な同時実行下でのチェックポイントの成功率が向上します。シングルポイントタスクリカバリ機能とノードブラックリストメカニズム機能により、障害が発生したノードへの迅速な対応が保証され、ビジネス全体の再起動が回避されます。
-
サーバーレスの クラウドネイティブアーキテクチャ。極めて高い柔軟性、1 パーセントのコアファインスケジューリング。
-
使いやすさの向上。 簡素化された SQL 開発は、すぐに使える、O&M 不要で、ストリーミング データの完全なライフサイクル管理をサポートします。
-
低価格で高性能。 高いコストパフォーマンス、高い SLA 保証、超低い TCO。
火山エンジン ストリーミング コンピューティング Flink 製品の全体構造
全体的なアーキテクチャとしては、ソース/シンク側が複数種類のデータストレージをサポートし、コンテナクラスタインフラストラクチャの助けを借りて非常に柔軟で柔軟なリソーススケジューリングプラットフォームを構築し、エンジン層がストリーミングとバッチ統合の観点からランタイムとAPIの統合を実現し、サービスプラットフォームを通じたインテリジェントな診断や自動チューニングなどの高度な補助開発機能を構築します。
現在、火山エンジン ストリーム コンピューティング製品の Flink バージョンは、コンピューティング、ストレージ、インテリジェンスなどの複数の機能を統合した製品ソリューションを形成しています。クロスクラウドおよびマルチクラウドの機能を備えながら、 「クラウドネイティブ、リアルタイム、インテリジェント」という
ビッグデータ
技術の開発方向を常に堅持し、企業のデジタル変革の推進力を提供します。
{{名前}}
{{名前}}