「21 世紀で最も高価なものは何ですか? 才能!」という格言を聞いたことがあるかもしれません。デジタル経済が全面的に普及すると、この質問に対する答えは「データ」になります。データ分析を通じてほぼリアルタイムの洞察を取得し、ビジネス プロセス全体を推進することが、企業がデジタル トランスフォーメーションを実現する唯一の方法です。Amazon Cloud Technology のサーバーレス データ分析サービスによって構築されたエンドツーエンドのリアルタイム データ ウェアハウス ソリューションの助けにより、Cheetah Mobile におけるアプリ ユーザーの分析負荷のコスト削減は、以前と比較して 30% 削減されました。 、リアルタイム データ ウェアハウスの構築に成功しました。
機会: データから機会をつかむ
あらゆる種類の企業が管理するデータは爆発的に増加しています。IDCの調査によると、2022年から2024年の3年間に作成されるデータの量は、過去30年間に作成されたデータの総量を超え、生成AI技術の登場により、データ分析分野の急速な発展がさらに促進されると予想されています。 。企業にとってデータの所有は「諸刃の剣」であり、大量のデータを蓄積しながら、集約されたデータから詳細なマイニングと分析を行い、データをビジネスの推進に活用したり、データを活用して意思決定を支援したり、データを活用したりする「諸刃の剣」です。ビジネスやビジネスモデルの革新を推進するためにデータを活用することで、最も重要なことはビジネスプロセスの最適化を促進し、それによってコストを削減し、効率を向上させることです。そして、Cheetah Mobile はこの道の先駆者です。
Cheetah Mobile (NYSE: CMCM) は 2010 年 11 月に設立されました。同社は「人間と機械が共存する世界においてテクノロジーで生活をより良くする」ことに取り組んでいます。現在、Cheetah Mobile はモバイル インターネットから AI 主導の産業用インターネットへの戦略的アップグレードを行っており、セキュリティ ツール + AI ロボットのシナリオに焦点を当て、ツール アプリケーション、モバイル エンターテイメント、人工知能、ロボット工学、その他の業界をカバーする Cheetah エコシステムを構築しています。
Cheetah Mobile と Amazon Cloud Technology の連携は古くから行われており、2012 年には Cheetah Mobile が海外でリリースしたモバイル アプリケーション App Clean Master を Amazon Cloud Technology 上で実行していました。2023 年の初めに、Cheetah Mobile は海外で新しいアプリケーションをリリースし、その関連データをクラウド サービス プロバイダーの独自のデータベース製品と分析ツールに基づいた Cheetah Mobile の分析システムに送信し、Cheetah Mobile の運用チームが直接ビジネス分析を実行できるようにしました。元のデータベースにクエリを実行します。
しかし、ユーザー データの量が増加し続け、データの複雑さが増すにつれて、元のクラウド プロバイダーのデータ分析アーキテクチャでは次の問題が明らかになりました。
● まず、オリジナルデータベースの価格モデルは、Cheetah Mobile の運用チームと BI 担当者が直接データウェアハウスを運用することに基づいており、オリジナルデータベースの価格モデルにより、データベース製品は実際の計算量とデータに基づいて課金されます。しかし、顧客チームが作成するクエリ文自体のレベルにはばらつきがあり、無駄な計算やスキャンを行うクエリ文が存在することは避けられず、制御不能なコストが発生するリスクが生じます。
● 次に、元のデータベースは、すべてのログが 1 日以内にデータベースに取り込まれることを保証できず、リアルタイムの取り込みも保証できません。データ規模が大きい場合、保証できるのは T+3 のみです。その日の内容 取り込みから 3 日後にのみデータベースでその日のデータをクエリできるため、T+0 またはほぼリアルタイムのワークロードを実現できません。さらに、元のデータベースの行数が 1 日あたり 2 億行を超えると、ログが失われるという問題が発生する可能性があり、Cheetah Mobile アプリケーションの進歩に大きなプレッシャーをもたらします。
そのため、Amazon Cloud Technology との長期にわたる友好協力関係に基づいて、Cheetah Mobile はユーザー行動データ分析ワークロードの移行タスクを Amazon Cloud Technology に引き継ぎました。
解決策: Amazon Redshift ストリーミング インジェストを使用してリアルタイム データ ウェアハウスを構築する
Amazon Cloud Technology は、お客様の特性やニーズに基づいて、Amazon Redshift をベースとしたサーバーレスデータ分析ソリューションを迅速に構築し、お客様はこのソリューションを使用して PoC 検証テストを実施し、その結果、このソリューションが Cheetah Mobile のすべての課題を解決できることが確認されました。それ以来、お客様はユーザー行動分析ワークロード全体を Amazon クラウド テクノロジーに移行することを決定しました。
データの完全性を保証し、大量のデータのほぼリアルタイムの分析機能を実現します。
このソリューションは、Nginx ログを Vector にプッシュしてから Amazon Kinesis Data Streams に送信し、Amazon Lambda 関数を通じて Amazon Kinesis Data Streams からのストリーミング データをダイジェストし、ETL プロセスを実行して、処理されたデータを Amazon S3 に保存し、再度 2 番目のログをトリガーします。 Amazon Lambda 機能は、Amazon S3 経由で Amazon Redshift クラウド データ ウェアハウスにデータをコピーします。ストリーミング取り込みを使用すると、ユーザーは数百 MB のデータを Amazon Redshift クラウド データ ウェアハウス クラスターに非常に低いレイテンシーで数秒以内に取り込むことができるため、データ損失の可能性が大幅に軽減されます。また、本ソリューションでは、新たな準リアルタイムデータ分析機能を提供し、ストリーミングデータ利用方式において、クエリ速度を従来の日単位計算の「T+3」レベルから現在の分レベルに変更しました。 . パフォーマンスが飛躍的に向上します。
すべてサーバーレスで、制御可能なコストで動的負荷を簡単に処理します
Amazon Redshift Serverless は、Amazon Redshift Serverless のサーバーレス バージョンであり、動的なワークロードを穏やかに処理できる、高速かつスケーラブルで安全なフルマネージド型のクラウド データ ウェアハウスです。Amazon Redshift は、ユーザーが標準 SQL 言語を通じてさまざまなタイプのデータを簡単かつ経済的に分析できるようにし、最大 3 倍のパフォーマンスと価格の比率を達成します。独自の内部テーブルに基づいてデータ分析を実行するだけでなく、データのクエリも実行できます。 Amazon S3: Amazon Redshift と Amazon S3 をシームレスに組み合わせて、インテリジェントなレイク ウェアハウス アーキテクチャの一部を実現できます。お客様が懸念しているコスト問題を解決するため、Amazon Redshift サーバーレス版では、アクティビティ中にデータウェアハウスが消費したコンピューティング容量の料金のみを支払う必要があり、お客様は RPU (Redshift Processing Unit) に応じて Base 指標と Max 指標を設定することができます。データ ウェアハウスのパフォーマンスとコストを管理し、高度なコスト管理を実現します。
データ アナリストとデータ エンジニアに使いやすいクエリ エディター
Amazon Redshift Query Editor v2.0 は、Amazon Redshift データ ウェアハウスでクエリを作成および実行するために使用できるウェブベースの SQL クライアント アプリケーションです。お客様は、図を使用してクエリ結果を視覚化したり、チーム メンバーとクエリを共有して共同作業したりすることを選択できます。エディターは複数の SQL ステートメントの同時実行をサポートしており、結果ペインの個別のタブで各ステートメントの結果を表示できます。データ アナリストでもデータ エンジニアでも、Cheetah Mobile チーム メンバーはクエリでセッション変数と一時テーブルを使用できます。さらに、Amazon Redshift Query Editor v2.0 では、ブラウザ ウィンドウを開いたままにすることなく、長時間実行されるクエリの実行がサポートされています。オープン ステータス以降24 時間以内に結果を取得します。
結果: 移行されたフルスタックのサーバーレス データ分析のコストが 30% 削減されました
より柔軟で使いやすいデータ分析
Amazon Cloud Technology の Serverless サーバーレス データ分析ソリューションを通じて、Cheetah Mobile はバッチ処理分析機能をほぼリアルタイムの分析機能までさらに拡張し、低レイテンシーと高スループットで独自のデータ ウェアハウスに保存されたストリーミング データにアクセスしました。
コントロール可能なコストでの究極のコストパフォーマンス
サーバーレスアーキテクチャ下でのデータ分析ワークロードは非常にコスト効率が高く、Amazon Redshift のサーバーレス自動拡張機能により、Amazon Redshift の速度を活用して最も動的なワークロードでも冷静に処理でき、料金は実費のみで済みます。使用法。顧客が将来的に 1 日あたり 20 TB の新しいログを処理すると予想される場合、データ取り込み部分のコストは、元のクラウド プロバイダーのソリューションよりもコストが安くなります。「Amazon Cloud Technology のサーバーレス製品をベースにしたリアルタイム データ ウェアハウスに移行した後、アプリ チームのユーザー分析負荷のコスト削減は、以前と比べて 30% 削減されました。」と Cheetah Mobile のテクニカル ディレクターである Han Feng 氏は述べています。
顧客がデータを所有および管理するという概念を遵守し、データのライフサイクル暗号化保護を提供します
Amazon クラウド テクノロジーは、顧客がデータを所有し管理するという概念に厳密に準拠しているため、Cheetah Mobile は自身のデータを完全に管理し、プライベート データを任意の方法で管理できます。Amazon クラウドテクノロジーは、不正アクセスを防止するための高度な技術的および物理的対策を提供し、非常に高いデータプライバシーとセキュリティ基準を備えたデータ関連サービスを構築します。さらに、Amazon クラウド テクノロジーは、データの保存、送信、使用のあらゆる側面をカバーする、データのライフサイクル全体に対する暗号化サービスも提供します。
このサーバーレスデータベース移行は、この分野における Cheetah Mobile と Amazon Cloud Technology の最初の試みにすぎません。将来的には、Cheetah Mobile は以前のアプリケーションを徐々に移行し、さらに多くの新しいアプリケーション ロードを Amazon クラウド テクノロジー上に直接構築する予定です。