CentOS安装配置Spark

CentOS安装配置Spark

配置Java环境

• 详见CentOS安装配置Java

从Apache官网下载spark压缩包

• 也可以到spark下载页面选择spark的其他版本下载链接

wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop3.2.tgz

解压并移动到自定义目录

tar -xvf spark-3.0.0-preview2-bin-hadoop3.2.tgz
mv spark-3.0.0-preview2-bin-hadoop3.2  spark
mv spark ./spark/usr/local/

配置环境变量

• 在/etc/profile文件尾部添加路径

vi /etc/profile

• 添加以下内容，保存并退出

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin

• 使环境变量生效

source /etc/profile

查看是否安装成功

spark-shell -version

• 输出spark版本信息
  
• 进入spark-shell
  

最后

• 若无法进入spark shell，出现JAVA_HOME not found有关问题，需先配置Java环境
• 由于博主水平有限，不免有疏漏之处，欢迎读者随时批评指正，以免造成不必要的误解！