Hadoop2.7.7 완전히 분산

IP 주소를 수정

cd /etc/sysconfig/network-scripts
vi 第一个文件名或者有字母数字的文件名

구성을 수정

BOOTPROTO=”static”  #静态获取IP地址
ONBOOT=“yes”   #开机使用本配置
IPADDR=      #IP地址
NETMASK=255.255.255.0 # 网络子掩码
GATEWAY=   #网关
DNS1= 114.114.114.114  #DNS配置

네트워크 서비스를 다시 시작

service network restart

호스트 이름 간의 매핑을 수정 IP 할

vi  /etc/hosts

IP는 세 기기 및 호스트 이름의 IP 주소는 동일한 로컬 영역 네트워크에서도 수정하는
다른 두 개의 가상 머신 및 재시작 (실제 동작 구성 다음 IP 주소)로 전달 된 다음의 두 복사본을
172.16.201.10 마스터
172.16.201.11 SLAVE1
172.16. 201.12 slave2
각각의 호스트에 호스트 이름을 수정

vi /etc/hostname
master

가상 컴퓨터를 다시 시작

reboot

무료 운영 조밀 한
세 개의 가상 머신이 동작 다음 공개 키에 따라
다른 두 전달 세 authorzied_keys에 배치되고, 공개 키 자신의 세 가지 대중 사이에서 보장하는 것은이
생성 공개 키를

ssh-keygen 

노드에 추가

ssh-copy-id -i .ssh/id_rsa.pub root@wangmaste

# 테스트 무료 비밀 성공 여부

ssh localhost

다른 가상 컴퓨터와의 연결을 테스트

ssh 主机名

JDK 설치
기계가 JDK가 있는지 여부에보기

rpm  -qa|grep jdk

제거 JDK

 yum remove jdk文件名

압축을 풀고 좋은 JDK, 하둡

tar xf  jdk名  hadoop文件名  -C  安装路径

설정 JDK, 하둡 환경 변수

#jdk
export  JAVA_HOME=/opt/jdk #jdk安装路径
#hadoop
export  HADOOP_HOME=/opt/Hadoop  #hadoop安装路径
PATH=$PATH:$JAVA_HOME/bin$HADOOP_HOME/bin:$HADOOP_HOME/sbin

구성 파일을 적용하려면

source  /etc/profile

하둡 설정 파일을 입력

cd /opt/hadoop/etc/Hadoop

파일 hadoop-env.sh 수정

vi hadoop-env.sh

JDK의 설치 경로를 수정할 수있는 설정 환경 변수 JDK 문을 찾기

export JAVA_HOME=/opt/jdk

수정 yarn-env.sh 파일

vi yarn-env.sh

JDK의 설치 경로를 수정할 수있는 설정 환경 변수 JDK 문을 찾기

export JAVA_HOME=/opt/jdk

수정 된 핵심-site.xml 파일

vi  core-site.xml
<property>
       <name>fs.defaultFS</name>
       <value>hdfs://master:9000</value>
</property>
<property>
       <name>hadoop.tmp.dir</name>
       <value>/opt/hadoop/tmp</value>
</property>

수정 HDFS-site.xml 파일

vi hdfs-site.xml
<property>
         <name>dfs.replication</name>
         <value>1</value>
</property>
<property>
           <name>dfs.namenode.secondary.http-address</name>
           <value>master:50090</value>
</property>

수정은 mapred-site.xml의 파일이
-mapred site.xml.template 파일과 파일 이름을 mapred-site.xml 파일을 수정 복사

cp mapred-site.xml.template  mapred-site.xml
vi mapred-site.xml   
   <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
   </property>

수정 원사-site.xml 파일

vi yarn-site.xml     
   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapredue_shuffle</value>
   </property>
   <propety>
      <name>yarn.resourcemanager.hostname</name>
      <value>master</value>
   </property>

수정 노예 파일

vi slaves

# 두 개의 슬레이브 노드 추가

slave1   #从节点的主机名
slave2   #从节点的主机名

방화벽을 해제

systemctl stop firewalld.service

금지는 방화벽을 부팅

systemctl  disable firewalld.service

다른 가상 머신 하둡에 전달 된 전체 파일을 복사
SCP -r 다른 호스트 이름 @root에 하둡 폴더 경로 : / 저장 경로
마스터 가상 머신에서 포맷

hdfs namenode   -format

시작 하둡

start-all.sh

과정을보기

jps

maste 마스터 노드는 네 개의 프로세스를 가지고
노드에서 다른 가상 머신에 대한 세 가지 프로세스가

하둡은 프로세스가 완전히 분산 구성 완료를 요구했다 달성 할!

게시 39 개 원래 기사 · 원의 찬양 (13) · 전망 2312

추천

출처blog.csdn.net/qq_43205282/article/details/103433722