세 개의 가상 머신 : 데이터 노드 1 노드로 마스터 노드의 노드 1은 노드 2, 및 노드 데이터 노드 3도 또한 제공하기 위해 선택
기본 설정이 필요
1. 시간 동기화 (시간 서버), 네트워크, 호스트
배치 된 시간 동기화 (시간 서버, NTP 서버)
냠하여 ntpdate를 설치
ntpdate를 -u 3.tw.pool.ntp.org
당신은 고정 IP 설정할 수 있습니다
VI / etc / sysconfig / network-scripts에 /를이 ifcfg-ens33 / E / CF2
추가 IPADDR = 192.168.3.4
검토 호스트 이름 :
hostnamectl의 SET-호스트 이름 node1.test.com
배열 호스트
빔을 / etc / 호스트
192.168.3.4 노드 1
192.168.3.5 노드 2
192.168.3.6 노드 3
네트워크 서비스를 다시 시작합니다
서비스 네트워크를 다시 시작
(여유 조밀 한 구성, 구성이 서비스를 시작 후에는 암호를 입력해야합니다 경우는 네임 노드 데이터 노드 무료 비밀 설정을 할) 2. 무료 밀도가 다른 노드로 노드 1을
밀도 설정을 피하기 http://hadoop.apache.org /docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Setup_passphraseless_ssh
SSH-Keygen은 -t DSA -P ''-f ~ / 스푸핑 / id_dsa
CD의 /root/.ssh의
CAT ~ / 스푸핑 / >> ~ id_dsa.pub / 스푸핑 /를 authorized_keys에
은 chmod 0600 ~ / 스푸핑 /를 authorized_keys에
다른 노드에 키를 복사
루트 @ 로컬 호스트의 SSH를] # 개의 SCP의 id_dsa.pub의 노드 2 : / tmp를 /
루트 @ 로컬 호스트의 SSH를] # 개의 SCP의 id_dsa.pub의 노드 3을 : / tmp를 /
노드 1에 다음 문, 노드 2 무료 이용 비밀
CAT ~ / 스푸핑 / id_rsa.pub | SSH 루트 @의 노드 2 "에서 mkdir -p ~ / 스푸핑 && chmod를 700 ~ / 스푸핑 && CAT >> ~ / 스푸핑 / authorized_keys에"
CAT ~ / 스푸핑 / id_rsa.pub | SSH 루트 @의 노드 3 "에서 mkdir -p ~ / SSH를 && chmod를 700 ~ / 스푸핑 && 고양이 >> ~ / 스푸핑 / authorized_keys에"
3.jdk의
노드 2에 복사 JDK, 노드 3
[루트 도구 @ localhost를] # JDK-8u211 SCP-리눅스 x64.rpm 노드 2 :`pwd`에
[루트 도구 @ 로컬 호스트] #의 JDK-8u211 SCP-리눅스 x64.rpm의 노드 3 : `pwd`에
설치 (XShell 키는 모든 세션 통합 설치를 전송하기 위해 사용될 수있다)
RPM -ivh는 / usr / 도구 / JDK를 *
(역시 ~ / .bashrc에 제공 될 수 있음) JAVA_HOME 설정
빔을 / etc / 프로필
JAVA_HOME 환경 추가
내보내기 JAVA_HOME =은 / usr / 자바 / jdk1.8.0_211 - AMD64
JAVA_HOME / 빈 : 내보내기 경로를 = $ 경로를
효과적인 구성함으로써
소스은 / etc / 프로파일을
구성 확인하는
자바 -version을
4. 설치 파일 업로드를 추출, 구성 파일을 수정
[루트 @ localhost를 도구] # 타르 zxvf 하둡-3.2.0.tar.gz의 -C / 홈
구성 하둡 경로 :
수출 HADOOP_HOME은 = / 홈 / 하둡-3.2.0
내보내기 PATH = $ PATH : $ HADOOP_HOME / 빈 : $ HADOOP_HOME / sbin에
유효한 구성
소스의 / etc / 프로필
5. 프로필 수정
[루트 @ 로컬 호스트의 하둡-3.2.0] # cd를 등 / 하둡
정력 hadoop-env.sh
(정력中执行命令:! $ JAVA_HOME 에코)
JAVA_HOME =은 / usr / 자바 / jdk1.8.0_211 - AMD64
HDFS_DATANODE_USER = 루트
HDFS_SECONDARYNAMENODE_USER = 루트
HDFS_NAMENODE_USER = 루트
YARN_RESOURCEMANAGER_USER = 루트
YARN_NODEMANAGER_USER = 루트
코어 - 더 site.xml의 빔
<구성>
<! - 임시 경로를 HDFS ->
<속성>
<이름> hadoop.tmp.dir </ 이름>
<값> / 옵션 / HDFS / tmp를 </ 값>
</ 속성 >
<! - 기본 주소 HDFS, 포트 접속 주소 ->
<속성>
<이름> fs.defaultFS </ 이름>
<값> HDFS : // 노드 1 : 9820 </ 값>
</ 속성>
</ 구성 >
HDFS-site.xml의
<구성>
<속성>
<이름> dfs.replication </ 이름>
<값> 2 </ value>를
</ 속성>
<! -是否启用HDFS权限检查거짓关闭->
<속성>
<이름> dfs.permissions.enabled </ 이름>
<값> 거짓 </ value>를
</ 속성>
<속성>
<이름> dfs.namenode.name.dir </ 이름>
<값> / 옵션 / HDFS / 이름 </ value>를
</ 속성>
<속성>
<이름> dfs.datanode.data.dir </ 이름>
<값> / 옵션 / HDFS / 데이터 </ value>를
</ 속성>
<속성>
<이름> DFS. namenode.secondary.http 주소 </ 이름>
<값> 노드 2 : 9868 </ value>를
</ 속성>
<속성>
<이름> 호스트 이름 dfs.namenode.datanode.registration.ip 체크 </ 이름>
<값> 거짓 </ value>를
</ 속성>
</ 구성>
원사를 site.xml
<구성>
<! - 사이트 특정 YARN 구성 속성 ->
<! -集群마스터 ->
<특성>
<이름> yarn.resourcemanager.hostname </ 이름>
<값> 노드 1 </ 값>
</ 부동산>
<! - NodeManager上运行的附属服务->
<특성>
<이름> yarn.nodemanager.aux-서비스 </ 이름>
<값> mapreduce_shuffle </ 값>
</ 부동산>
</ 구성>
를 site.xml-mapred
<구성>
<! - 로컬 표현이 로컬로 실행이 고전 원사가 새로운 프레임 워크를 대표하는 고전 맵리 듀스 프레임 워크를 나타냅니다 ->
<속성>
<이름> mapreduce.framework.name </ 이름>
<값> 원사 </ 값>
</ property>를
</ 구성>
새로운 석사 (마스터 노드의 네임 노드)
노드 1
(마스터 노드의 노드 1 데이터 노드도 같이) 근로자 변성
노드 1
노드 2
노드 3은
start-dfs.sh, stop-dfs.sh中添加
HDFS_DATANODE_USER = 루트
HDFS_SECONDARYNAMENODE_USER = 루트
HDFS_NAMENODE_USER = 루트
start-yarn.sh, stop-yarn.sh中添加
YARN_RESOURCEMANAGER_USER = 루트
YARN_NODEMANAGER_USER = 루트
6. 동기화 프로필, 일관성있는 클러스터 구성 파일을 보장하기 위해
다른 노드에 동기화
[루트 @ localhost를 홈] # scp를 -r 하둡-3.2.0 / 노드 2를 : / 홈
7. 네임 노드를 포맷 :
HDFS 네임 노드 -format
8. 시작 start-all.sh
9. 부팅 프로세스 검토
JPS를
9. 액세스 웹
http://192.168.3.4:9870
원사 UI : http://192.168.3.4:8088/cluster
다시 포맷하면 데이터 데이터 저장 디렉토리를 삭제해야
데이터 노드 노드는 정상적으로 시작하지만, UI가에 표시되지
를 site.xml - HDFS에서 다음과 같은 구성을 추가해야합니다 :
<속성>
<이름> dfs.namenode.datanode.registration.ip - 호스트 이름 확인 </ 이름>
false로 <값> < / 값>
</ property>를