この記事では、Azure Data Lake 分析と、U-SQL を使用したデータのクエリについて説明します。
Azure Data Lake Analytics (ADLA) の概要
Microsoft Azure プラットフォームは、Hadoop、HDInsight、データ レイクなどのビッグ データをサポートします。通常、従来のデータ ウェアハウスはさまざまなソースからのデータを保存し、そのデータを単一の形式に変換し、それを分析して意思決定を行います。開発者は複雑なクエリを使用するため、データの取得に時間がかかることがあります。組織はクラウド インフラストラクチャのフットプリントを拡大しています。Amazon RedShift、Azure Synapse Analytics (Azure SQL Data Warehouse)、AWS Snowflake などのクラウド インフラストラクチャ ウェアハウス ソリューションを活用します。クラウド ソリューションは拡張性と信頼性が高く、データ、クエリ処理、ストレージのニーズをサポートします。
データ ウェアハウスは、抽出、変換、読み込みメカニズムに従ってデータを送信します。
抽出: さまざまなデータ ソースからデータを抽出します。
変換: データを特定の形式に変換する
ロード: 事前定義されたデータウェアハウススキーマ、テーブルにデータをロードします。
データレイクは厳密なスキーマを必要とせず、分析前にデータを単一の形式に変換します。データはバイナリ、ビデオ、画像、テキスト、ドキュメント、PDF、JSON などの生の形式で保存されます。必要な場合にのみデータを変換します。データには、構造化、半構造化、非構造化の形式があります。
データ レイクの便利な機能は次のとおりです。
生データ（生データ形式）を保存します
事前定義されたスキーマはありません
非構造化、半構造化、構造化を保存できる場所
ペタバイト、さらには数百ペタバイトのデータ量を処理できます
データレイクは読み取り方法においてスキーマ（スキーマ）に従い、要件に従ってデータを変換します。
Azure データ プラットフォームのアーキテクチャを簡単に言うと、次のとおりです。画像参照: Microsoft ドキュメント
取り込み: さまざまなデータ ソースからデータを収集し、元の形式で Azure Data Lake に保存します。
ストレージ: Azure Data Lake Storage、AWS S3、または Google Cloud Storage にデータを保存します。
処理: RAW ストレージ内のデータを互換性のある形式に処理します。
分析: 保存および処理されたデータを使用してデータ分析を実行します。Azure Data Lake Analytics (ADLA)、HDInsight、または Azure Databricks を使用できます。
| この記事: https://architect.pub/overview-azure-data-lake-analytics | ||
| ディスカッション: Knowledge Planet [チーフ アーキテクト サークル] または WeChat トランペット [ca_cto] を追加するか、QQ グループを追加します [792862318] | ||
| 一般公開なし |
【jiagoushipro】 【スーパーアーキテクト】 アーキテクチャの方法論、アーキテクチャの実践、技術原則、技術トレンドについての鮮やかなグラフィックと詳細な説明。 お待ちしておりますので、ぜひスキャンしてご注目ください。 |
 |
| WeChatのトランペット |
[ca_cea] エンタープライズ アーキテクチャ、クラウド コンピューティング、ビッグ データ、データ サイエンス、モノのインターネット、人工知能、セキュリティ、フルスタック開発、DevOps、デジタル化について議論する 50,000 人のコミュニティ。 |
|
| QQグループ |
[285069459] エンタープライズ アーキテクチャ、ビジネス アーキテクチャ、アプリケーション アーキテクチャ、データ アーキテクチャ、技術アーキテクチャ、統合アーキテクチャ、セキュリティ アーキテクチャの詳細な交換。そして、ビッグデータ、クラウドコンピューティング、モノのインターネット、人工知能などのさまざまな新興テクノロジー。 QQ グループに参加して、貴重なレポートや乾物を共有してください。 |
|
| ビデオ番号 | 【スーパーアーキテクト】 建築に関する基本的な概念、モデル、手法、経験が1分ですぐに理解できます。 1日1分、仕組みはおなじみです。 |
|
| 知識の惑星 | [チーフアーキテクトサークル] 著名人に質問したり、連絡を取ったり、プライベートな情報を共有したりしてください。 |
|
| ヒマラヤ | [スーパーアーキテクト] 最新のブラックテクノロジー情報と建築体験を道路や車の中で学びましょう。 | [知的な瞬間、ミスター・アーキテクチャーがブラックテクノロジーについて語ります] |
| 知識の惑星 | より多くの友人、職場、技術的なチャットに会いましょう。 | ナレッジプラネット【職場とテクノロジー】 |
| リンクトイン | ハリー | https://www.linkedin.com/in/architect-harry/ |
| LinkedInグループ | LinkedIn アーキテクチャ グループ |
https://www.linkedin.com/groups/14209750/ |
| 微博 | 【スーパーアーキテクト】 | 賢い瞬間 |
| ビリビリ | 【スーパーアーキテクト】 |
|
| チクタク | 【cea_cio】スーパーアーキテクト |
|
| 早い労働者 | 【cea_cio_cto】スーパーアーキテクト |
|
| 小さな赤い本 | [cea_csa_cto] スーパーアーキテクト |
|
| Webサイト | CIO（最高情報責任者） | https://cio.ceo |
| Webサイト | CIO、CTO、CDO | https://cioctocdo.com |
| Webサイト | アーキテクトの実践的な共有 | https://architect.pub |
| Webサイト | プログラマーのクラウド開発共有 | https://pgmr.cloud |
| Webサイト | チーフアーキテクトコミュニティ | https://jiagoushi.pro |
| Webサイト | アプリケーション開発と開発プラットフォーム | https://apaas.dev |
| Webサイト | 開発情報ネットワーク | https://xinxi.dev |
| Webサイト | スーパーアーキテクト | https://jiagou.dev |
| Webサイト | 企業向け技術トレーニング | https://peixun.dev |
| Webサイト | プログラマーの本 | https://pgmr.pub |
| Webサイト | 開発者チャット | https://ブログ.開発者.チャット |
| Webサイト | CPOコレクション | https://cpo.work |
| Webサイト | 最高セキュリティ責任者 | https://cso.pub |
| Webサイト | CIOクール | https://cio.cool |
| Webサイト | CDO情報 | https://cdo.fyi |
| Webサイト | CXO情報 | https://cxo.pub |
ご清聴、転送、いいね、ご視聴ありがとうございます。