ドライバの理解と理解エグゼキュータのスパーク

図1は、オンラインたくさん読んで、主にdirverとエグゼキュータの間ダイアグラム、物理マシンを含まない
、次の図に、私はこれらは常にやや抽象的であると考え
ここに画像を挿入説明
、このチャートを参照してください、私はどこああ、幽霊でドライバプログラム知りたいのですがあなたが知っていますか?私はいくつかの研究を行っている。このような理由から、ほとんどのユーザーがさまざまなアイデアを持っていると言うコメントしてください
今私は3台のコンピュータがある持っている2.

192.168.10.82 –>bigdata01.hzjs.co 
192.168.10.83 –>bigdata02.hzjs.co 
192.168.10.84 –>bigdata03.hzjs.co 

次のようにスレーブは、設定ファイルをクラスタ化:

bigdata01.hzjs.co
bigdata02.hzjs.co
bigdata03.hzjs.co

したがって、これら3台のマシンはワーカーノードであり、クラスタがテスト完全分散型クラスタで、私はあなたがどのマシン上で実行しているマシン、その後、#1 ./start-all.shを使用すると、マスターノード7071マスターでありますロケーションプロセスは、私は今、192.168.10.84で./start-all.sh使用します

だから、これます
ここに画像を挿入説明
、我々はローカルモードを見てみましょう3.次に、
ここに画像を挿入説明
今では192.168.10.84でSparkContextを生成します。#火花シェル]私は192.168.10.84にビンを行ったとし、この時間84は、ドライバー、他のノードのwokerです(全3)は、機械の実行プログラムを生成します。図は、
ここに画像を挿入説明
今は、機械のビン]#火花シェルが192.168.10.83 192.168.10.83でSparkContextに生成する、今回83はドライバ、他のwokerノード(全3)が生成される実行プログラムに対して実行仮定する。
ここに画像を挿入説明
要約:ローカルモードでドライバのドライバは、このアプリケーションのすべてのコードが含まれ、主な機能のスパークアプリケーションの実装であり、当然のスパークコンテキストを作成します。(あなたがそのマシンを実行するコードを提出することができると言うことは、すべてのアプリケーションコードがsparkContextドライブを作成しているマシン上で実行されています)

4.那么看看cluster模式下
ここに画像を挿入説明
现在假设我在192.168.10.83上执行了 bin]# spark-shell 192.168.10.84:7077 那么就会在192.168.10.84
产生一个SparkContext,此时84就是driver,其他woker节点(三台都是)就是产生executor的机器。这
里直接指定了主节点driver是哪台机器:如图
ここに画像を挿入説明
5. 如果driver有多个,那么按照上面的规则,去判断具体在哪里
ここに画像を挿入説明
Driver:使用Driver这一概念的分布式框架有很多,比如hive,Spark中的Driver即运行Application的main()函数,并且创建SparkContext,创建SparkContext的目的是为了准了Spark应用程序的运行环境,在Spark中由SparkContext负责与ClusterManager通讯,进行资源的申请,任务的分配和监控等。当Executor部分运行完毕后,Driver同时负责将SaprkContext关闭,通常SparkContext代表Driver.
ここに画像を挿入説明
上面红色框框都属于Driver,运行在Driver端,中间没有框住的部分属于Executor,运行的每个ExecutorBackend进程中。
println(pcase.count())collect方法是Spark中Action操作,负责job的触发,因为这里有个sc.runJob()方法

 def count(): Long = sc.runJob(this, Utils.getIteratorSize _).sum

hbaseRDD.map()属于Transformation操作。

概要:仕事に提出されるRDDトリガーアクションアクションを計算するのに使用された場合(SparkContext関連のコードで)スパークアプリケーションのmainメソッドは、ドライバ上で動作し、その後、RDDは初期RDDまで前方すべての変換操作のために非難されますコードExecutorの間で実行し、開始します。

転送:ドライバの理解とエグゼキュータのスパーク学習-42-スパーク理解

おすすめ

転載: blog.csdn.net/liweihope/article/details/91349902