[ODPS 新製品リリース第 1 号] DataWorks 新リリース: 拡張分析/データモデリング Personal Edition およびその他の新機能

Alibaba Cloud の ODPS シリーズ製品は、MaxCompute、DataWorks、Hologres を中核として、ユーザーの多様化するデータのコンピューティングニーズを解決し、ストレージ、スケジューリング、メタデータ管理における統合アーキテクチャの統合を実現し、交通、金融、科学のサポートに取り組んでいます。シーンデータの効率的な処理は、中国で最も初期に自社開発され、最も広く使用されている統合ビッグデータプラットフォームです。

DataWorks の新しい主要機能の紹介

新製品 - DataWorks 拡張分析
新製品 - DataWorks Intelligent Data Modeling Personal Edition
新機能 - DataWorks は ACK (Spark) での EMR をサポートします
新機能 - DataWorks データのレイクへの統合
新規 - DataWorks データガバナンスセンターは EMR をサポートします

新製品

新製品 - DataWorks 拡張分析

DataWorks が DataV-Card と連携して発表したAI 強化分析製品は、データのクエリから分析、可視化、共有までをワンストップで完全に連携します。データレポートは 1 分で生成でき、インターネット、金融、政府機関などのさまざまな業界の顧客がデータの見解を表現し、優れたデータストーリーを伝えるのに役立ちます。

アプリケーションシナリオ:

手順の簡素化とコストの削減:これまで、データウェアハウスの取得やクエリからデータの視覚化やデータ共有に至るまで、データ分析のワークフローは複数の製品にまたがる必要があり、その結果、ユーザーにとって手順が煩雑になり、製品の学習コストが高くなってしまいました。
大規模なデータクエリ: MaxCompute などのコンピューティングエンジンの強力な分析およびコンピューティング機能に基づいて、DataWorks は大規模なウェアハウスデータに対して SQL クエリを直接実行できます。分析結果は、DataWorks の拡張分析で視覚化され、データ「レポート」を作成し、共有されます。企業データ分析の効率が大幅に向上します。

特徴：

データクエリ: MaxCompute などの強力な分析コンピューティング機能を備えたコンピューティングエンジンに基づいて、ユーザーが大規模なウェアハウスデータに対して SQL クエリを実行できるようにサポートします。究極のシンプルさと軽量性を追求するという特徴があります。
データカード:カードには、共通のグラフ、ワードクラウド、その他のコンポーネントが組み込まれています。データ操作結果の視覚的な資産として、ユーザーが意見をデータカードに記録して、パーソナライゼーションと永続性の特徴を持つ独自のデータ視覚化ナレッジベースを形成することをサポートします。
データレポート:複数のデータカードで構成されるデータ視覚化レポートは、カードの順序を調整し、適切なレポートトピックを選択できます。レポートリンクはさまざまな表示ニーズに適応し、さまざまな業界のユーザーが独自のデータビューを表現し、優れたデータストーリーを伝えることをサポートし、柔軟で多様です。

製品デモデモンストレーション - DataWorks の強化された分析

パブリックデータセットを例に挙げると、SQL クエリのデータウェアハウスデータを参照します。DataWorks の拡張分析をオンにし、グラフやテーマなどを通じてクエリデータの結果を調整し、ビジュアルデータカードとして保存します。カードには独自のメモが表示されます。データのインスピレーションとデータの選択カードはデータレポートを構築して、独占的な個人知識ベースを形成し、ワンクリックでデータレポートを共有します。

リンクをクリックして表示します:

新製品 - DataWorks Intelligent Data Modeling Personal Edition

DataWorks のインテリジェントデータモデリング製品は、データウェアハウス計画、データ標準、ディメンションモデリング、データインジケーターの 4 つの側面からビジネスの観点からビジネスデータを解釈し、データウェアハウスの構築を標準化と持続可能な開発に向けて進化させることができます。この製品には、小売電子商取引データウェアハウスインダストリモデルテンプレートが組み込まれています。個人は、ワンクリックでテンプレートをインポートできます。DataWorks Intelligent Data Modeling Personal Edition の価格は 6 か月です。アクティベーション後、小売モデルテンプレートを入手できます。無料で、ドキュメントに従って学習および操作できます 。

アプリケーションシナリオ:

数字を見つけて数字を使う:ビジネス指標における「同じ名前でも別の同義語があり、同じ名前でも別の名前がある」という問題を解決します。ビジネスに必要な数字を見つけるのは難しく、見つかった数字は使用されません。ビジネスがデータの意思決定タスクを通過できない、データの異常を解決できない、迅速に特定できない、その他のビジネス上の問題など、ユーザーの問題点につながります。
コストの削減:データウェアハウスモデリングの初期ワークロードは膨大で人件費が高くなります。オフラインモデリングの効率は低く、適切なツールが不足しています。モデル設計とデータの研究開発、データ検索、データ消費は的を絞った方法で解決できます。

特徴：

機能はエンタープライズ版と一貫しており、データウェアハウス階層化/ディメンションモデリング/データインジケーターなどの機能はエンタープライズ版と同様であり、マスターアカウントのみで使用され、ユーザーの個人的な学習やモデリングのためのサービスを提供します。
組み込みの無料インダストリモデルテンプレート:データウェアハウスモデリングの理論と実践を組み合わせた無料の小売電子商取引モデルテンプレートを提供し、ユーザーのデータウェアハウスモデリングの個人的な学習を促進し、学習効率を向上させます。
データ開発プロセスとの統合:ワンストップのモデル設計とデータ開発、複数のモデリング手法、個々のユーザー向けのマルチエンジンモデルの実体化とモデルアーキテクチャ図の描画を迅速に完了し、ETL コードを自動生成します。

製品デモデモンストレーション - 小売電子商取引テンプレートに基づく実践的なプロセス

Alibaba Cloud 公式 Web サイトにログインし、DataWorks Intelligent Data Modeling を開いてインダストリモデルテンプレートを見つけます。テンプレートをロードし、データウェアハウスを階層的に表示し、データドメインを表示し、データマートとサブジェクトドメインを表示します。インポートされたデータを確認できます。ディメンションモデリングモデルのテンプレートから。モデルを作成するか、コードモードでモデルを変更するかを選択することもできます。モデルをデータ開発に接続するために、モデルに対応する ETL コードを、モデルによって具体化された物理テーブルを通じて自動的に生成できます。

リンクをクリックして表示します:

新しい機能

新機能 - DataWorks は ACK (Spark) での EMR をサポートします

インベントリは ECS (DataLake/Custom) およびオープンソース上の EMR に適応されています。

アプリケーションシナリオ

クラスターの切り替えまたはデュアル実行により、タスクをシームレスに移行できます。ユーザーが以前に ECS クラスターを使用していて ACK クラスターに切り替えたい場合、または両方のクラスターを同時に実行する場合、Spark タスクは両方のクラスターでスムーズに実行できます。

ビッグデータの開発、スケジューリング、分析、ガバナンス: DataWorks を開くだけでビッグデータエコシステムを形成できます。データ統合モジュールは、データ入力、データ開発とスケジューリング、データ分析とガバナンスなどを実現でき、複数のオープンソースコンポーネントを必要とする製品機能を完成させ、企業のデータウェアハウスチームが研究開発効率の向上とエクスペリエンスの向上を達成できるように支援します。

特徴：

DataWorks は、次の機能を備えた ACK (Spark) 上の EMR を適応させます。

コストカット：

ACK コンテナサービスの弾力性に基づいて、オンデマンドでコンピューティングリソースを柔軟に調整します。オンラインサービスとアプリケーションをサポートするために ACK サービスをすでに維持している場合は、今回はビッグデータエンジン用に ACK を個別に購入する必要はありません。

EMR Spark クラスターは ACK コンテナーサービスにデプロイされ、EMR クラスターを作成するときに既存の ACK を直接選択して、ビッグデータサービスとオンラインアプリケーション間でクラスターリソースの共有を実現します。

ACK コンテナサービス自体は優れた柔軟な拡張機能を備えており、水平拡張、スケジュール拡張、垂直拡張のいずれであっても、さまざまな柔軟な拡張ソリューションを通じて計算のピーク期間に完全に対処し、全体的なリソースの合理的な使用とコストの削減を実現します。

開発を簡素化し、スケジュールを安定させます。

基盤となるクラスターの違いを気にすることなく、Spark のネイティブ開発モデルに集中できます。

複数のスケジューリングサイクルをサポートし、超大規模で安定したスケジューリングを提供し、毎日数千万の強力なスケジュールをサポートでき、ユーザーがタスク実行の異常をタイムリーに処理し、対応する監視アラームを送信できるようにする豊富なタスクの運用および保守方法を提供します。

スケジューリングの適応と最適化は ECS スポットプリエンプティブインスタンスに基づいています。今回、DataWorks は Spark クラスターに適応し、ACK プリエンプティブインスタンスに基づいて特別なスケジューリングの最適化を行いました。

事前の点検と事後の管理：

DataWorks データガバナンスセンターは、豊富な検査項目を提供し、それらをビッグデータ開発プロセスに統合し、研究開発、ストレージ、コンピューティングなどのガバナンスに関する提案を網羅し、企業が継続的なデータガバナンスを実行し続けるのに役立つ定量化可能な健全性サブ指標を形成します。ビッグデータプロセス全体にわたる改善、ガバナンスの最適化。

オープンソースのビッグデータコンポーネントと比較した DataWorks の利点

Alibaba Cloud のワンストップ開発および管理プラットフォームである DataWorks は、クラウド上で完全にホストされた製品であり、オープンソースのような初期の製品展開や環境展開といった面倒なプロセスを経る必要がなく、すぐに使用できます。DataWorks には、オープンソースと比較して次の利点があります。

データ統合 (DataX/Sqoop):

DataX に基づいてオフライン同期リンクを構築する
Flink に基づいてリアルタイム同期リンクを構築する
多様なデータ同期ソリューションをカプセル化: データベース全体の同期、1 回限りの完全同期、定期的な増分同期などのシナリオをカバーする、多様なデータ同期ソリューションを提供します。
豊富なデータチャネル、シンプルなリンク構成、完全なネットワークソリューション: さまざまなデータタイプ間でデータ同期チャネルを構築することで、データツールが複雑で扱いにくいものではなくなります。

開発とスケジューリング (DolphinScheduler/Airflow):

豊富なアトミックタスクタイプ: DataWorks は、さまざまなコンピューティングエンジンに多様なタスクタイプを提供します。
スマート Web IDE + ビジュアルワークフローオーケストレーション: 開発者は、ビジュアルなドラッグアンドドロップを通じてタスク実行ワークフローを迅速に構築し、スマート Web IDE を通じてタスクコードを効率的に作成できます。
きめ細かいスケジューリングプラン: スケジュール頻度、再実行戦略、複雑なシナリオの依存関係など、タスク構成のための柔軟なスケジューリングプランは、非常に完全かつ詳細な機能を提供します。
グローバル運用保守の大画面と単一タスク運用保守の詳細: タスクがオンラインになった後、運用保守大画面と運用保守方法を通じて運用状況を監視および処理することもできます。
インテリジェントなベースラインが本番リンクの異常をタイムリーに捕捉します
データ品質機能 - ダウンストリームのダーティデータ汚染を厳密に監視および制御します

データガバナンス (Atalas など):

包括的なメタデータ管理 (技術/ビジネス/運用メタデータなど)
データリネージのサポートシステム自動分析/ユーザーセルフサービスレポート
データディレクトリによるデータ管理の強化/データ検索効率の向上
健康コンポーネントシステムとガバナンス有効性の多面的評価を提供する
この一連の豊富な製品機能と、機密データの効果的な識別と保護などのエコロジーが複合的な効果を形成します。

新機能 - DataWorks データのレイクへの統合

OSS/Hive へのデータのオフラインおよびリアルタイム同期

アプリケーションシナリオ:

運用および保守レベル: flink/spark ストリーミング/kafka などの運用および保守の最適化とチューニングを解決します。レイクファイル管理: コンパクション、履歴ファイルのクリーンアップ、期限切れのパーティションのクリーンアップ、ジョブ全体の実装性と高スループットの保証、開発/デバッグ/deployment/operation メンテナンスのライフサイクルなどはすべてユーザー管理が必要ですが、これは運用と保守が難しい問題点です。

学習コスト:データベースのビンログ多様性分析には、専門知識の予備、タスクの運用と保守管理、および flink、spark、kafka などの技術エンジンのユーザーの学習コストが必要です。

特徴：

Lake OSS への DataWorks データ統合には次の機能があります。

MySQL はデータベース全体を Hive に同期します:インスタンスモード、フルデータ、および増分フィルタリングをサポートします。増分フィルタリングは、増分を取得するための増分条件に依存します。増分条件は、MySQL VR 条件フィルタリングデータを作成します。データの同期期間は設定できます。ユーザー必要に応じてデータも取得します。
簡単に始めることができます:真っ白な画面のウィザードベースの操作により、ユーザーは直感的にレイクに入り、設定を同期できます。
自動メタデータ統合: Alibaba Cloud DLF との緊密な統合により、レイクとの同期時に、ユーザーの介入なしでデータを自動的に DLF に挿入できます。
リアルタイム同期: OSS レイクへのデータのリアルタイム同期をサポートし、第 2 レベルのレイテンシを実現し、ユーザー同期中のデータ処理をサポートします。

DataWorks のインレイク OSS 機能によってサポートされるリンク機能

MySQL はリアルタイムでレイク OSS に入ります。

第 2 レベルの遅延を伴う、リアルタイムでの MySQL データのレイクへの増分をサポートします。

MySQL の過去の株式データをオフラインでレイクに保存できるため、同期速度を制御してソースビジネスへの影響を回避できます。

MySQL インスタンスレベルの構成タスクをサポートし、1 つのインスタンスの下で複数のデータベースとテーブルを同時に同期します。

通常のルールに従って MySQL 側のデータベーステーブルの変更の検出をサポートし、追加されたデータベーステーブルを OSS レイク側に自動的に追加します

メタデータテーブルを自動的に作成するための OSS レイクエンドのサポート

Alibaba Cloud DLFとのドッキング、レイクへのメタデータの自動インポートをサポートし、リアルタイムで確認可能

OSS レイクエンドストレージパスのカスタマイズをサポート

OSS Lakeside パーティションで日付による値のカスタム割り当てをサポート

Kafka はリアルタイムでレイク OSS に入ります。

第 2 レベルのレイテンシでリアルタイムにレイクに入る Kafka データ増分をサポートします

データのフィルタリング、感度解除、文字列の置換など、データの途中での簡単なデータ処理をサポートします。

フィールドレベルの割り当て操作をサポート

Kafka の非構造化 JSON データをサポートし、同期プロセス中にリアルタイムデータに基づいてフィールドを動的に追加できます。

メタデータテーブルを自動的に作成するための OSS レイクエンドのサポート

Alibaba Cloud DLFとのドッキング、レイクへのメタデータの自動インポートをサポートし、リアルタイムで確認可能

OSS レイクエンドストレージパスのカスタマイズをサポート

製品デモデモ - MySQL をレイク OSS に導入

DataWorks コンソールで新しいタスクを作成し、タスク名を入力し、ソースと宛先を選択し、デモで MySQL to OSS を選択し、レイク全体を選択し、mysql データソース、リソースグループ、OSS データソースを選択して、ユニコムのテスト。——テストが完了したら、タスク構成全体を入力できます。タスク構成で選択したソースはテーブルと同期する必要があります。外部ストレージのパスを選択すると、DIFに同期するかどうかを自動的に確認できます。——確認後、OSSパーティションを作成します。デモでは、時間で分割し、操作中に詳細パラメータを構成します。[完了] をクリックしてタスク構成全体を構成します。

リンクをクリックして表示します:

新機能 - DataWorks データガバナンスセンターは EMR をサポートします

湖と倉庫の統合データガバナンス機能の評価と最適化

アプリケーションシナリオ:

データ量の急速な増加を背景に、効率を高めてコストを削減するために完了する必要があるさまざまなガバナンスシナリオに直面して、ユーザーは DataWorks データガバナンスセンターを通じてストレージとコンピューティングの次元を管理できます。このシステムは、データコンピューティングタスクの最適化、データの管理を提供します。ガバナンス機能は、ユーザーがデータストレージと処理コンピューティングコストを継続的に分析および最適化するのに役立ちます。

特徴：

EMR 上の DataWorks Data Governance Center には次の機能があります

包括的なガバナンス健全性サブアセスメント: Alibaba Cloud E-MapReduce と DLF の接続に基づいて、全体的な状況、チーム、個人を測定するデータガバナンス健全性システムが形成され、ユーザーは統一基準を使用してデータの現状を明確にすることができます。ガバナンスと達成する必要があるガバナンスの目標。
多次元のガバナンス問題発見: 包括的なガバナンス健全性システムは、研究開発、ストレージ、セキュリティ、品質などの複数のガバナンス次元をカバーし、各次元の下に組み込みのガバナンス項目ルールを提供するため、ユーザーはさまざまなタイプの同期タスクを継続的に発見できます。タスクのスケジュール設定、データテーブルの問題を解決します。
プロアクティブなガバナンス問題の阻止: DataWorks データ開発リンクを深く開放し、ユーザーが開発タスクの送信およびリリース中に潜在的なデータガバナンス問題を発見できるように積極的に支援し、タイムリーに問題を防止し、データガバナンスとデータ開発プロセスの統合を実現します。

製品デモデモ～EMRに基づくデータコスト最適化シナリオの実践運用～

DataWorks コンソールからデータガバナンスセンターにアクセスし、全体的なガバナンス健全性スコアと各ディメンションの健全性ステータスを理解します。ガバナンスセンターを使用して分析を行い、データリンクによるさまざまなリソースの全体的な消費量とデータスケジュールタスクのリソースの詳細を表示します。リソースの詳細で、さまざまなタイプの EMR タスクに対してフィルターを実行して、特定のリソース消費を表示できます。——大量のリソース変更を消費するタスクに焦点を当て、ナレッジベースに切り替えて、現在システムでサポートされているデータガバナンス項目を表示し、対応するガバナンスの問題を発見します。 ——事前検査のために問題を特定し、管理の選択を構成します。対応するワークスペースに移動し、ワンクリックで対応するインテリジェンスチェックを開きます項目 - 検査が失敗した場合は、タスクの送信を中断し、「操作チェック」をクリックしてガバナンス仕様に準拠していない内容を表示し、修復します。

リンクをクリックして表示します: