スパークローカルローカル環境構築

注：画像が破損している場合は、記事のリンクをクリックしてください：https : //www.toutiao.com/i6815385772254822919/

前のドキュメント「Sparkソースコードのコンパイル」を行うには

Spark圧縮パッケージを解凍します

 

sudo tar -zxvf spark-2.0.2-bin-2.7.3.tgz -C /opt/bigdata/spark

 

 

構成ファイルを変更する

 

コンテンツを追加

 

hdfsを起動する

namenode和datanode

Sparkに付属の例をテストする

円周率を計算する

./bin/run-example SparkPi

 

 

 

2番目のテスト

./bin/run-example SparkPi 100

 

スパークシェルを開始

 

Sparkシェルを終了するコマンドは次のとおりです：quit

 

ログの印刷レベルを変更する（オプション）

 

ファイルを修正

 

修改log4j.logger.org.apache.spark.repl.Main=INFO这句话就可以了