自社で構築したオープンソースのビッグデータ プラットフォームは、エンタープライズ データの増大に伴い、パフォーマンスの低下、拡張サイクルの長期化、プラットフォームの安定性の低下、運用と保守の困難、高い投資コストなどの問題に直面します。ここでは、EMRの導入からEMRがこれらの課題をどのように解決するのか、EMRと自作Hadoopの比較メリット、自作のクラウド移行の実践事例などを紹介します。
1.製品紹介
Elastic MapReduce (EMR) は、クラウド ネイティブ テクノロジーと汎 Hadoop エコロジカル オープン ソース テクノロジーをベースとした、安全、低コスト、信頼性の高いオープン ソース ビッグ データ プラットフォームであり、データ クラスターはシームレスかつスムーズに Tencent Cloud EMR に移行されます。
Tencent Cloud EMR 製品は、Hadoop、Hive、Hbase、Spark、Presto、Impala、Flink、Sqoop、Hue、Iceberg、Starrocks などを含む (ただしこれらに限定されない) コミュニティで一般的に人気のあるコンポーネントを統合し、オンラインのビッグ データのニーズに応えます。ビジネス、オフライン/オンライン データ ウェアハウス、クラウドネイティブ データ レイク構築、リアルタイム ストリーミング コンピューティング、その他の包括的なシナリオ。
Tencent Cloud Elastic EMR のコア製品機能を次の図に示します。
● EMRは30以上のオープンソースビッグデータコンポーネントを統合し、ユーザーが選択できるHadoop2/3マルチバージョンコンポーネントセットを提供しており、シナリオに応じて使用したいコンポーネントを選択し、ビッグデータプラットフォームを構築できます。ワンクリックで数分でクラウド化できます。
● クラウド ネイティブのビッグ データ プラットフォームは、ストレージとコンピューティングの分離アーキテクチャをサポートしており、従来の自社構築プラットフォームの容量拡張の遅れとリソース使用率の低さという課題を解決します。ストレージとコンピューティングの分離アーキテクチャの下では、COS ベースのデータ階層型ストレージを実現でき、コンピューティング リソースをオンデマンドで柔軟に使用できるため、リソース利用率が向上し、アイドル コストが削減されます。
● 使用中、EMR コンソール インターフェイスを通じて、サービスの起動とシャットダウン、構成管理、スクリプト配信などを含むクラスタを視覚的に管理できます。また、クラスタ、ノード、サービスをカバーする 1000 を超える豊富な監視インジケータも提供し、サポートを提供します。マルチチャネル構成アラーム ; EMR は、Yarn ジョブ クエリ、Impala クエリ分析、HDFS ファイル ストレージ分析などの高度な洞察機能も提供し、ビッグ データ クラスターやビジネスの運用と保守の効率を大幅に向上させるのに役立ちます。
2. EMRと自作Hadoopの比較優位性
オープンソースの Hadoop リリース バージョンを使用してビッグ データ プラットフォームを構築する場合と比較して、Tencent Cloud EMR には次のような主な利点があります。
1) クラスタの構築が容易で、運用・保守管理機能が豊富で使いやすく、運用・保守が容易
i. オープンソースの Hadoop パブリッシャー ソフトウェアに基づくビッグ データ プラットフォームの構築には、長い時間がかかり、技術的複雑性が高く、開発、運用保守、監視などのサポート ツールが不完全で、効果的な技術サポートが得られず、多大な労力を必要とします。サポートとメンテナンスにかかる費用。
ii. Tencent Cloud EMR は、ワンクリックでクラスターを迅速に構築でき、リリース バージョンは完全にテストされ、互換性が検証されています。コンソールには、すぐに使用できる豊富な運用、メンテナンス、監視ツールが備わっており、使用コストとコストを大幅に削減します。運用とメンテナンスに加えて、Tencent は顧客が問題を迅速に特定して解決できるよう、専門的な技術サポートも提供します。
2) コンピューティング リソースはオンデマンドで柔軟に使用され、データはレイヤーに保存でき、リソース使用率が高くなります。
i. 自社構築のビッグ データ プラットフォームは一般に、事前にサーバー リソースを見積もり、ビジネス ピークに備えて一定の予約を行う必要があるため、リソースの使用率が低くなり、コンピューティング ニーズの潮流の変化に対処する際の柔軟性が低下します。
ii. Tencent Cloud EMR は柔軟で弾力的なスケーリングをサポートしており、リソースはオンデマンドで使用され、スケーリングは数分で完了でき、コンピューティング リソースはビジネスの負荷や期間に応じて自動的にスケーリングできます。これに加えて、ビッグ データ サービスをコンテナ サービス上にデプロイすることもできます。ストレージはストレージとコンピューティングの分離アーキテクチャもサポートしており、データをレイヤーに保存して、顧客のストレージとコンピューティングのリソースのコストを大幅に削減できます。
3) オープンソースコンポーネントの継続的な強化と最適化により、安定性とパフォーマンスが向上します。
i. 自社構築のビッグ データ プラットフォームでは、通常、オープン ソースのコミュニティ バージョンのコンポーネントが使用され、互換性の問題やコンポーネントの欠陥は自分で処理する必要があります。パフォーマンス自体も最適化する必要があるため、コミュニティからの新しいバージョンのコンポーネントや最先端のテクノロジー スタックを使用して構築してテストする必要がある場合、コストが高くなります。
ii. Tencent Cloud EMR は社内の大規模な実践経験を統合しており、Hadoop、Hbase などのコア コンポーネントには、オープン ソースと互換性があり、効果的な安定性強化を提供する Tianqiong Oteam バージョンが導入されています。さらに、新しいテクノロジー スタックは豊富な有利な機能を提供しており、たとえば、Iceberg は Z オーダー最適化をサポートしており、シーンのパフォーマンスを 10 倍以上向上させることができます。クラウド製品のアジャイルな反復の下で、ユーザーはコミュニティの最新の安定バージョンのコンポーネントに基づいてクラスターを簡単に構築し、StarRocks や Iceberg などの新しいリアルタイム レイク ウェアハウス テクノロジーを簡単に使用することもできます。
4) フルスタックのセキュリティ保護戦略、クラウド環境とデータの安全性が向上
i. 自社構築ビッグデータプラットフォームの最下層からサービス層までのセキュリティ機能は独自に構築する必要があり、複雑で対応範囲が不完全であり、監査機能をサポートする機能も完璧ではなく、多くの隠れた危険やリスクが存在します。リスク。
ii. Tencent Cloud EMR は、ハードウェア、ネットワーク、オペレーティング システム、ビッグ データ サービスによるフルスタックの使いやすいセキュリティ保護機能を提供します。CVM ホスト セキュリティ保護、異常アラームを提供、クラウド ハードディスク暗号化、オブジェクト ストレージ COS 暗号化をサポート、ネットワーク層は VPC ネットワーク分離管理、ネットワーク セキュリティ グループ設定をサポート、Kerberos+LDAP セキュリティ アーキテクチャに基づくクラスタ サポート、ID 認証によりクラスタ アクセス セキュリティを確保、 Ranger の複数の戦略に基づいてデータ権利管理を提供します。
5) クラウドエコロジーサービスとシームレスに接続し、完全なサポート機能を迅速に構築します
i. データ開発ツールやその他のサポート機能などのビッグ データ プラットフォームを自社で構築する必要があるため、コストと時間がかかります。
ii. Tencent Cloud EMR は、Wedata データ開発プラットフォームや BI ビジネス インテリジェンス分析製品と簡単にシームレスに接続でき、顧客が敷居を下げて、データ統合、データ開発、データ視覚化などのサービスを迅速に構築できるようにします。さらに、EMR はクラウド監視やクラウド監査などの周辺サービスもサポートしており、顧客がクラウド上に企業向けのインテリジェントなエコシステムを迅速に構築できるように支援します。
3. クラウドへの自社構築移行のベスト プラクティス ケース
ケース 1: 一流の教育機関のクライアント
【お客様の背景】
クライアントは中国のオンライン教育のリーダーであり、人工知能やビッグデータなどの最先端のテクノロジーを利用して、生徒、教師、保護者により効率的な学習と教育を提供するため、テクノロジーを活用してインクルーシブ教育を支援することに尽力してきました。ソリューション、インテリジェントなハードウェア製品が待っています。
【中核的な問題点】
Tencent Cloud EMR サービスを使用する前に、顧客は主に CDH を採用して独自のオープンソース ビッグ データ クラスターを維持します。しかし、ビジネスの爆発的な成長とデータ量の急増に伴い、さまざまなビジネス シナリオの適時性要件を満たすために、お客様は多くの技術ソリューションを採用し、オフライン クラスターの規模を継続的に拡大しようと試みてきましたが、依然として完全には対応できません。 CDH の自社構築ハイブ システムをベースとしたコア レポートが期限内に作成されず、データ分析作業やビジネス上の意思決定に重大な影響を及ぼします。
【解決】
Tencent Cloud Elastic MapReduce は、大量データのオフライン データ ウェアハウスの適時性やクラウド移行後のセキュリティなど、顧客の中核的な要求に対して 2 つのソリューションを提案します。
レイク ウェアハウス統合ソリューション:データ レイク アイスバーグ テクノロジーの導入を促進し、Tencent Cloud EMR の Iceberg 独自の機能により、顧客がハイブベースの PB レベルのレポート システムをアイスバーグ データ レイクに移行できるように支援します。Z オーダーの最適化後、レポートの計算パフォーマンスが大幅に向上します。コストを包括的に削減しながら、コアレポートの効率を向上させます。
統合権限スキーム:製品の統合権限管理および制御能力に基づいて、ストレージとコンピューティング権限の分離の統合スキームを主導し、拡張性を高めます。このスキームでは、オブジェクト ストレージ (cos) がリソースとして使用されます。 ; 権限制御、一元的な権限管理を実現し、権限制御の不一致の問題を解決します。
【移住効果】
シナリオ ベースのクエリ効率が 10 倍向上: Tencent Cloud Elastic MapReduce の Iceberg 機能の最適化、キャッシュ アクセラレーション、ストレージ コンピューティングの分離、インテリジェント レイヤ化およびその他のアプリケーションを通じて、シナリオ ベースのクエリのパフォーマンスが 10 倍近く向上しました。さらに、Tencent Cloud EMRが提供するIceberg外部Matastore機能により、顧客のメタデータ変換コストが削減され、ほぼ変換ゼロでIcebergメタデータへのアクセスが実現します。
固定コンピューティング能力が 5,000 コア削減: EMR コンピューティング ノードのエラスティック スケーリングやコンテナ リソースのオフライン スケジューリングなどのクラウドネイティブ機能により、アイドル状態のリソースの無駄が回避され、全体的なコストが削減されます。
ケース 2: 業界の大手ツール顧客
【お客様の背景】
中国を代表するエンタープライズ クラウド ビジネスおよびマーケティング ソリューション プロバイダーであり、中国を代表する精密マーケティング サービス プロバイダーでもあります。顧客独自の BI、検索、マーケティング、レコメンデーション、その他のビジネス シナリオにより良いサービスを提供するには、安定した高性能のビッグ データ ソリューションのセットが必要です。
【中核的な問題点】
顧客ビジネスの急速な発展とデータ量の急激な増加により、Blackstone 物理マシン + 自社構築の CDH に基づく独自のビッグデータ プラットフォームが徐々に登場し、長い Blackstone ノード拡張サイクル、古い CDH コンポーネント バージョンなどの新しいビジネス シナリオが登場しました。リッチ、データレイクをカバーできないなどの欠点があります。同時に、CDH クラスター コンポーネントの数が多く、平均バグ修復サイクルが長いため、顧客は運用とメンテナンスにより多くの人的資源を投資する必要があります。一般に、ビジネスの急速な発展をサポートするために、顧客のビッグデータ チームは、自社構築クラスターの拡張、新しいビジネス シナリオのサポート、プラットフォームの安定性、運用と保守に多大なコストと人的資源を投資する必要があります。
【解決】
Tencent Cloud EMR は、ワンクリックでクラスターを構築する機能を提供し、ピーク時の営業時間中の分単位の弾力的な拡張と縮小のニーズを満たすことができます。クラスター コンピューティングとストレージ コンポーネントの緊密な統合により、顧客のマルチテナントの誠実さとテーブル レベルの拡張および縮小のニーズを満たすことができます。フィールドレベルの詳細な認可機能。
自動スケーリング機能は、時間と負荷という 2 つの戦略に基づいてコンピューティング ノードを柔軟にスケーリングし、オフラインおよびアドホック分析シナリオでさまざまな期間における顧客のリソース要件を満たすことができます。ドキュメントフィールドレベルでのログイン認証およびインデックス権限管理機能により、クラスターのセキュリティアクセスが確実に保証されます。統合されたオブジェクトストレージ COS 機能により、バックアップが簡単になります。マルチ アベイラビリティ ゾーン機能は、市内で異常な電力またはネットワーク状態が発生した場合に、クラスターに災害復旧保護を提供します。
【移住効果】
Tencent Cloud EMR の導入により、顧客クラスターの配信効率は 10 倍向上しました。
クラスターの分単位の弾力性により、お客様はイベント中のトラフィックの突然の増加によるプレッシャーに簡単に対処できます。
Tencent Cloud EMR セキュリティ システムは、ビジネス セキュリティと高可用性をより有利に保証します。
4. 移行プランと購入割引
クラウドへの移行を決定した後、データと分析タスクは Tencent Cloud EMR に移行され、IDC が自社構築した移行 EMR ソリューションの実践とカスタマイズされた移行 EMR ソリューションを提供します。
● 移行計画の実践:
請求リンク:
https://drive.weixin.qq.com/s?k=AJEAIQdfAAod5vyDEGAFcADQaEACc#/preview?fileId=i.1970325010981265.1688850523229527_f.6789599412zz1
● カスタマイズされた移行計画:
請求リンク:
https://cloud.tencent.com/apply/p/5tjcbikd2f7
現在、EMR を購入すると 3 年間 55% 割引が適用されます。
購入リンク: https://buy.cloud.tencent.com/emr