spark的安装步骤

官网:http://spark.apache.org/downloads.html

安装:
tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz
#配置环境变量(vim ~/.bashrc):
export SPARK_HOME="/opt/spark-2.4.3-bin-hadoop2.7"
export PATH="$PATH:$SPARK_HOME"

#修改配置
cd spark-2.4.3-bin-hadoop2.7
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
vim ./conf/spark-env.sh
(spark-env.sh中最主要的是指定ip地址,如果运行的是master,就需要指定SPARK_MASTER_IP,如果准备运行driver或worker就需要指定SPARK_LOCAL_IP,要和本机的IP地址一致,否则启动不了。
有了hadoop的配置信息以后,Spark就可以把数据存储到Hadoop分布式文件系统HDFS中,也可以从HDFS中读取数据。如果没有配置上面信息,Spark就只能读写本地数据,无法读写HDFS数据。)
配置举例如下:
export SPARK_DIST_CLASSPATH=/opt/hadoop-2.7.2/bin/hadoop
export SPARK_MASTER_IP=192.168.189.129
export SPARK_LOCAL_IP=192.168.189.129


(.conf/slaves文件为从机配置,默认为localhost)
#测试:
#命令:./bin/spark-shell,看是否图案
#命令:./bin/pythonspark,看是否图案
./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"
(结果:Pi is roughly 3.1392956964784826)


-------启动(一键启动所有:start-all.sh)
第一步:启动master
$SPARK_HOME/sbin/start-master.sh
第二步:启动worker
$SPARK_HOME/bin/spark-class org.apache.spark.deploy.worker.Worker spark://master:7077
访问:http://xxx.xxx.xxx:8081/

猜你喜欢

转载自www.cnblogs.com/liuxiaomo/p/11966982.html
今日推荐