要約: この記事では、Alibaba Cloud と StarRocks コミュニティが共同で構築したクラウド上の StarRocks Speed Lake ウェアハウスのクラウドネイティブな製品実践について共有します。主に4部構成となっており、第1部ではStarRocksのフルマネージドフォームと運用保守サービスが無料のOLAPクラウド製品を紹介し、第2部ではStarRocks Managerのインスタンス管理、診断分析、メタデータ管理、セキュリティセンターなどの機能を紹介、第2部ではStarRocks Managerのインスタンス管理、診断分析、メタデータ管理、セキュリティセンターなどの機能を紹介しています。 3 番目の部分では、ソーシャル ネットワーキング、オンライン教育、電子商取引、その他のシナリオでのユース ケースを紹介し、最後に、製品の長期および短期計画: 1. StarRocks 製品の紹介 2. StarRocks の機能紹介 3. StarRocks
の
シナリオ
ケース
4 .StarRocksの将来計画
1.StarRocks製品紹介
Alibaba Cloud と StarRocks コミュニティは、2022 年初めからセミホスト型で協力する予定です。すでに約 200 の顧客がセミホスト型 StarRocks 製品を使用しています。今年、私たちは管理と使用の敷居をさらに下げ、コミュニティと協力してより多くの OLAP ユーザーに製品を宣伝できるようにしたいと考え、フルマネージドの製品形式の作成を開始しました。
EMR サーバーレス StarRocks は、Alibaba Cloud 上の StarRocks のフルマネージド サービスであり、StarRocks 独自の非常に高速で統合された機能を組み合わせて、敷居を下げることと、運用と保守の複雑さを軽減するという 2 つの目標に焦点を当て、顧客により多くの機能を提供します。
使いやすさの点では、サーバーレスの形でフルマネージドの O&M フリーのサービスを提供するため、日常使用におけるダウンタイムなど、StarRocks クラスターの安定性を心配する必要はありません。データ管理の面では、使いやすい低速 SQL 分析とクラスターの健全性診断、便利なインポート タスク管理、視覚的なメタデータ管理を提供します。
Alibaba Cloud 上の一部の製品と組み合わせることで、クラウドネイティブ機能が統合されます。1 つ目は、基盤となるリソースを K8S と組み合わせて統合し、すぐに使用できるようにすることです。クラスターの迅速な作成には 3 ～ 4 分しかかかりません。さらに、将来的に容量の拡張や縮小、構成のアップグレードやアップグレードを効率的に行うことができ、リソースの迅速な提供を実現します。さらに、DLFとの緊密な統合により、データレイクシステム全体のクラウド上での接続を実現しました。Flink VVP と緊密に統合されているため、開発コストがさらに削減されます。
上図はEMR製品体系を示しています。この紹介では、OLAP の部分に焦点を当てます。StarRocks は EMR によって開始された最初のフルマネージド フォームであり、ユーザーが低いしきい値でビッグ データ テクノロジ スタックを使用できるようにするサーバーレス Doris や Presto など、さらにフルマネージド フォームも登場する予定です。
StarRocks を使用すると、新世代の非常に高速で統合されたデータ アーキテクチャを構築できます。分析レイヤーでは、StarRocks を使用して OLAP エンジンを統合し、すべての OLAP シナリオをカバーできます。このようにして、テクノロジ スタックを統合し、1 つのテクノロジを実現できます。運用保守もさまざまなOLAP分析シナリオに適用できます。
StarRocks のシステム アーキテクチャは上図に示されており、システム全体の核となるのは FE (フロントエンド) と BE (バックエンド) です。
EMR フルホスティングは主に K8S の展開形式を中心に展開し、セミホスティングは主に ECS の展開形式を中心に展開します。準管理は主に、監視やアラームなどの基本的なクラスター管理機能を含む迅速な導入機能を提供します。フルホスティングは上位レベルであり、FE、BEのサービス管理も行われるため、ユーザーはコンピューティングリソースの運用、保守、管理を気にする必要がありません。さらに、拡張と縮小、クラスターの監視とアラームなどのプラットフォームの運用と保守機能がフルマネージドされるため、ユーザーは運用と保守のコストをさらに節約できることが期待されます。フル ホスティングによって提供される機能は、一方では運用やメンテナンスなしであらゆるサービスを利用できること、もう一方では自動的にアップグレードできることです。インポートタスク、メタデータ、権限などのデータをより適切に管理するためのマネージャー機能もいくつかあります。
2. StarRocksの機能紹介
インスタンス管理
インスタンス管理は主に、最も基本的な機能であるフルマネージド形式でクラスターの展開および監視機能を迅速に解決することです。自動アップグレードをより適切に実現できます。さらに、構成を視覚化する機能や、一部の監視およびアラーム ルールのテンプレートも提供します。
診断と分析
日常的なデータクエリやデータアプリケーションのプロセスでは、SQLが遅いという問題が頻繁に発生し、原因を分析して対応する解決策を見つける必要があります。EMR StarRocks Manager は、視覚的な SQL 診断および分析機能を提供し、ユーザーが根本原因を迅速に見つけるのに役立ちます。
メタデータ管理
現在、メタデータ管理は、テーブルの内容を表示するという比較的基本的な機能のみを提供します。将来的には、インポート タスク、具体化されたビュー、外観管理機能など、より詳細な機能が実装される予定です。
セキュリティセンター
現在、サーバーレス バージョンでは、基本的なユーザー管理とライブラリ レベルの権限制御が提供されています。3.0 ではコミュニティの権限が再構築されるため、3.0 のリリース後はより詳細な権限制御が行われる予定です。
バージョン機能の説明
次の表に、EMR StarRocks のさまざまなバージョンの機能の違いを示します。
コアレベルは基本的に一貫しています。データレイククエリの一部のシナリオなどの個々の機能については、イテレーションリズムの観点から、Alibaba Cloud の内部製品に適応する方が速いため、Alibaba Cloud のバージョンの起動は速くなりますが、最終的にはコミュニティに貢献されます。Flink VVP CTAS のシナリオでは、Flink で特別にカスタマイズされたバージョンであるため、コミュニティに貢献することはできません。
インスタンスの O&M 管理に関しては、フルマネージド バージョンでは、より広範囲の視覚化と O&M フリーの機能が提供されます。視覚的なデータベース/テーブル管理、低速 SQL 分析など、上記で紹介したマネージャーの機能の一部は、現在サーバーレス バージョンでのみ利用できます。
3. スターロックスシナリオケース
4. StarRocksの今後の計画
EMR サーバーレス バージョンは、今年 1 月からテストに招待されていましたが、その時点ではいくつかの基本的な機能しかありませんでした。4月10日にパブリックベータが開始された後、さらに多くの能力がリリースされました。
第 2 四半期の計画では、1 つは商用リリースであり、もう 1 つは DLF Hucang 分析の現場を中心にさらなる機能強化を行うことです。これは Hucang 分析におけるコンピューティング リソースの要件がより柔軟であるため、従量課金制である程度の柔軟性が必要です。必要な能力です。さらに、クラスターの問題を迅速に特定できるように、インスタンスのヘルスチェックも提供します。Manager を中心に、マテリアライズド ビューの管理機能が実現されます。現在はマテリアライズド ビューはあまり使用されていませんが、3.0 のリリースとストレージとコンピューティングの分離アーキテクチャのリリースにより、マテリアライズド ビューの使用はますます増えていくでしょう。データインポート管理やSQLエディターなどもあります。
第 3 四半期、ストレージと計算の分離 3.0 のリリース後、ビッグ データ シーン全体が Iceberg や Hudi などのレイク フォーマットに直接適用され、マテリアライズド ビューとレイク フォーマットの一部の機能を使用して LakeHouse を迅速に実現できることが期待されています。シナリオ。さらに、リファクタリング権限モデルや MaxCompute 統合などもあります。
第4四半期では、インスタンスのバックアップとリカバリ、インスタンスの移行に関して使いやすさと製品化を強化します。そして、既存の機能に対してさらに深い最適化と反復を継続します。
上記は今年の全体的な計画であり、もちろん、特定のシナリオにおける顧客のニーズに基づいて調整が行われます。
この記事は Alibaba Cloud のオリジナルのコンテンツであり、許可なく複製することはできません。