ビッグデータ技術を学ぶために:スパーク1言語を習得しなければなりません

 

技術のビッグデータスパーク普及、専門家のための需要も増加しています。語学研修センターは、大規模なコースを、対応するデータ、スパーク学習するだけでなく、ステージがゆっくりと、一般的に以下の段階を経る必要性を話して、学習を持ってスパーク:

第1段階:熟練したマスターScalaの言語

図1は、スパークフレームワークは、洗練された優雅なScalaの言語の使用です。、あなたはスカラ座をマスターする必要があり、マスターになるためにスパーク、あなたはスパークのソースコードを読む必要があります。

2、あなたは複雑を書くためのScalaをマスターしなければならないので、ScalaのAPIの道になり、今スパークは、多言語のJava、Pythonと他のアプリケーションの開発することができますが、最速かつ最高の開発APIサポートはまだ、常にあるものの、スパークと高性能な分散アプリケーション。

図3は、具体的には、マスターScalaの形質は、関数型言語、一般的な、インバータ共変等を適用します。

フェーズII:開発者向けAPIが利用できるスパーク堪能プラットフォーム自体

マスターRDDスパーク開発モデル、マスターおよび変換を使用して各種機能の動作のための1、。

図2に示すように、マスタースパーク依存性と狭い幅と系統依存性機構。

図3は、マスタ計算プロセスRDDは、ステージ部門として、スパークアプリケーションは、基本的なプロセスとワーカークラスタノードごと、等に作品を提出しました

フェーズIII:スパーク深度コア

この段階は、スパークソースフレームワークによって深い研究にスパークのコア部分であります:

1、ジョブ投入プロセスの把握スパークソースを介して、

図2に示すように、ソースコード管理タスクスケジューリングスパーククラスターを介し。

3、特に熟練DAGScheduler、TaskSchedulerとワーカーノード内の詳細作業の各段階。

四権:利用スパークに基づいてコアフレームワークを把握

スパーク

ビッグデータのクラウドコンピューティング時代のマスターとして、リアルタイムのストリーム処理、描画技術、機械学習、のNoSQLクエリの面で大きな利点を持って、我々は、そのようなサメ、スパークとして、そのフレームに使用時にほとんどの時間をスパークを使用しますその上でストリーミングと:

図1は、スパークストリーミングは非常に良好なリアルタイムストリーム処理フレームワークなどのDSTREAM、変換およびチェックポイントを習得することです。

2は、サメのスパークSQLに基づいて立ち上げ1.0.0バージョンをスパーク、オフライン統計分析をスパーク、効率的なオフラインの統計解析機能が大幅に改善している、把握することが重要です。

そのような機械学習とGraphXその原理と使用法を習得するのスパーク3、。

第五クラス:ビジネスレベルのスパークプロジェクトを行います

プロジェクトの建築設計、分析、開発、運用、保守を実現するための技術を使用し、すべての段階で完全に把握し、詳細を含むスパークのすべての側面、を介して実行するための完全な代表によるスパークプロジェクト、あなたが作ることができますあなたは冷静にスパークプロジェクトの大半に直面することができます。

第六クラス:スパークソリューションを提供しています

1、完全把握細部スパークフレームワーク源と

図2は、異なるビジネスシナリオのニーズに応じて異なるシナリオ下でのスパークソリューションが提供されます。

3、実際のニーズに応じて、スパークに基づいて二次開発フレームワーク、スパークが独自のフレームワークを構築するには

今日は、私たちが一緒にチュートリアルと共有するデータの大部分を入れて、それぞれの人が必要と少しの友人が+スカート199プラス427で学習教材を共有することができ、最終的に210個の数字はそれを望んでリンクする、自分のニーズに応じて選択することができます。

おすすめ

転載: www.cnblogs.com/wuxiaoxia888/p/10990664.html