sparkcore, sparksql, sparkstreaming, mllib를 포함하는 대용량 데이터 발화 어셈블리의 새로운 세대가 HDFS, HBase와 하이브와 상호 작용할 수 있으므로, 실제의 생산 등의 다양한 역할을 graphx하고있다. 이 문서에 CentOS7에 스파크를 설치하는 방법을 설명합니다.
1 개 시스템, 소프트웨어 및 전제 제약
- CentOS는 7 장비의 IP 64 워크 스테이션 192.168.100.200, 호스트 이름 danji되면, 독자는 실제 상황에 따라 설정된다
- 하둡 설치 및 시작되었습니다
https://www.jianshu.com/p/b7ae3b51e559 - -bin-2.2.1-스파크 hadoop2.7, 스칼라-2.12.2
스파크 및 스칼라 다운로드 링크 : https://pan.baidu.com/s/1c_skDYabCRSkS5hRUB6lFQ
추출 코드 : A00t
스파크 2.2.1 - 빈 - hadoop2. 7.tgz은 아래에 / 루트 디렉토리 192.168.100.200에 업로드 된
192.168.100.200에서 / root 디렉토리에 업로드 된 스칼라 - 2.12.2.tgz - 작업의 효과를 제거 할 수있는 권한, 모든 작업은 루트하기 위해 수행
이 동작을
- 루트에 192.168.100.200 xshell에 로그인
- 2. 추출
# 进入家目录
cd
# 解压spark
tar -xvf spark-2.2.1-bin-hadoop2.7.tgz
# 解压scala
tar -xvf scala-2.12.2.tgz
- 3. 환경 변수
# 进入家目录
cd
# 修改 .bashrc，保存，退出
export JAVA_HOME=/root/jdk1.8.0_152
export SCALA_HOME=/root/scala-2.12.2
export SPARK_HOME=/root/spark-2.2.1-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$SCALA_HOME/bin:$JAVA_HOME/bin:$PATH
# 使生效
source .bashrc
- 4. 수정 spark-env.sh
# 进入spark配置目录
cd /root/spark-2.2.1-bin-hadoop2.7/conf
# 拷贝spark-env.sh
cp spark-env.sh.template spark-env.sh
#修改spark-env.sh，保存，退出
export JAVA_HOME=/root/jdk1.8.0_152
export SPARK_HOME=/root/spark-2.2.1-bin-hadoop2.7
export SPARK_MASTER_IP=danji
export SPARK_EXECUTOR_MEMORY=1G
export SCALA_HOME=/root/scala-2.12.2
export HADOOP_HOME=/root/hadoop-2.5.2
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
-
- 스파크 시작
# 进入spark的启动目录
cd /root/spark-2.2.1-bin-hadoop2.7/sbin
# 启动
./start-all.sh
-
- 확인
# 查看当前进程
jps
# 结果如下就说明启动成功，其中Master，Worker就是spark的进程，其他的是Hadoop的进程。
10193 NameNode
10515 SecondaryNameNode
10310 DataNode
11447 Worker
11369 Master
10798 NodeManager
15790 Jps
10687 ResourceManager
위는 CentOS7 그들 설치 과정의 불꽃입니다.
HTTPS : //www.jianshu.com/p/8384ab76e8d4 재현