고 가용성 하둡 클러스터 설치
고 가용성 클러스터를 구축 할 필요가 팔 개 프로파일을 포함하는
1.zookepper 파일 디렉토리를 MYID 노드 zkdata
zoo.cfg 파일 디렉토리 노드 2.zookepper zkdata에서
등 / 디렉토리에서 / 3.hadoop 설치 디렉토리에서 하둡 hadoop-env.sh
설치 디렉토리 4.hadoop에서 등 / 하둡 / 디렉토리에 코어를 site.xml은
5.hadoop HDFS-site.xml의 설치 디렉토리 아래 / 디렉토리 등 / 하둡
전문 의약품 / 하둡 6.hadoop 설치 디렉토리 아래에 / 디렉토리에 노예
설치 7.hadoop 원사-site.xml 파일 / 디렉토리 등 / 하둡 디렉토리
등 / 8.hadoop에서 하둡은 mapred-site.xml의 설치 디렉토리 아래 / 디렉토리
`集群策略：
zk 1 、2 、3为 zookapper
hadoop4、5为 namenode
hadoop6、7为``resourcemanager
hadoop 8、9 、10为 namdnode 、journalnode 以及 nodemanager
클러스터 설치 아이디어와 프로필 정보
zookepper 클러스터를 설정
목적 : 클러스터 환경에서 자동 장애 (적어도 3 홀수)를 보장하기
①myid
1
의 시스템 만들기 zkdata 대한 myid라는 이름의 파일 접촉되는 파일 디렉토리,
각각의 고유 한 정체성을 가지고 ZK 보장하기 위해서입니다.
②zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/root/zkdata
clientPort=3001
server.1=主机名:3002:3003
server.2=主机名:4002:4003
server.3=主机名:5002:5003
내용의 위, CFG 파일과 같이 zkdata 파일 디렉토리에있는 동물원을 만듭니다.
DATADIR 파일 디렉토리는
3001 포트 ZK 서버를 clientPort와 (클라이언트 프로세스 포트)
(3002) : 데이터에 대한 원자 방송 내부 포트
3003 : 내부 선거 허용 포트에 대한
원자 방송 : 그 동료 서버 중 하나는 클라이언트의 요청에 쓰기의 모든 서버 간 동기화.
지금까지 zookepper 클러스터 준비 작업이 완료되었습니다.
ZK 클러스터 명령 :
설치 디렉토리 ZK 아래의 bin 디렉토리에 실행 된
/root/zkdata/zoo.cfg 시작 ./zkServer.sh (시작)
./zkServer.sh 상태 /root/zkdata1/zoo.cfg (상태보기)
클러스터 HDFS 최대 2 세트
사전 작업 :
정적 IP 주소를 수정 : vim /etc/sysconfig/network-script/ifcfg-ens37
호스트 이름 : vim /etc/hostname
IP 매핑을 : vim /etc/hosts
구성 ssh를 무료 밀도 로그인 : ssh-keygen -t rsa(생성 된 비밀 키), ssh-copy-id 主机名(분산 비밀 키)
③hadoop-env.sh
환경 변수를 JDK의 목적 수정 : 원격 액세스를, 환경 변수가 유효하지 않습니다, 그것은 원격 액세스를 보장하기 위해 제대로 작동 할 수 있습니다.
export JAVA_HOME=/自己的安装目录
④core-site.xml 파일
하둡 코어 구성 파일
<!-- 高可用集群的配置 -->
<!-- 文件系统的入口 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns</value>
</property>
<!-- 文件系统的目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop-2.9.2/data</value>
</property>
<!-- ZK系统的IP及Port -->
<property>
<name>ha.zookeeper.quorum</name>
<value>zk1:3001,zk2:4001,zk3:5001</value>
</property>
이 클러스터이기 때문에, 그래서 항목 대신 *** 사용자 정의 이름 *** NS에 파일 시스템을 지정하지 않습니다.
⑤hdfs-site.xml 파일
<!--指定hdfs的nameservice为ns，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns</value>
</property>
<!-- ns下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns.nn1</name>
<value>hadoop4:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns.nn1</name>
<value>hadoop4:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns.nn2</name>
<value>hadoop5:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns.nn2</name>
<value>hadoop5:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop8:8485;hadoop9:8485;hadoop10:8485/ns</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/root/journal</value>
</property>
<!-- 开启NameNode故障时自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制，如果ssh是默认22端口，value直接写sshfence即可 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!-- 可视化界面可写操作 -->
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
⑥slaves
hadoop8
hadoop9
hadoop10
데이터 노드로하고 nodeManager 등 모두 세 개의 호스트의 구성.
⑦yarn-site.xml 파일
<!-- 开启RM高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop24</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop25</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>hadoop6:8088</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>hadoop7:8088</value>
</property>
<!-- 指定zk集群地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>zk:3001,zk:4001,zk:5001</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
⑧mapred-site.xml 파일
<!--配置计算框架-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!--配置历史服务器的TCP端口-->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop10:10020</value>
</property>
<!--配置历史服务器的web端口-->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop10:19888</value>
</property>
참고 : 없기 때문에 mapred-site.xml 파일에서 기본 디렉토리 하둡. 필요가 수동으로 복사 할 수 있도록, 다음 명령을 실행합니다 :
cp hadoop-2.9.2/etc/hadoop/mapred-site.xml.template hadoop-2.9.2/etc/hadoop/mapred-site.xml
문서를 만들 수 있습니다 Mapred
클러스터 구성을 구축, 지금까지 완료
3. 시작을 고 가용성 클러스터 하둡
명령 (연속)
☆☆☆☆ yum install psmisc -y(모든 노드는 의존 centos7.x 클러스터 구조를 설치)
☆☆☆☆ hdfs zkfc -formatZK(어떤 네임 노드에서 포맷을 수행 ZK)
☆☆☆☆ hadoop-daemon.sh start journalnode(실행은 모든 journalNode 노드에서 시작)
먼저 journalNode의 형식은 네임 노드 전에 (자신의 데이터), 데이터의 동기화를 보장하도록하는 것입니다 시작합니다.
☆☆☆☆ hdfs namenode -format ns(네임 노드의 활성 [선택]의 실행 개시)
☆☆☆☆ start-dfs.sh(HDFS 파일 시스템을 시작합니다)
☆☆☆☆ hdfs namenode -bootstrapStandby(네임 노드의 대기 포맷)
☆☆☆☆ hadoop-daemon.sh start namenode(네임 노드 대기 노드의 시작)
☆☆☆☆ start-yarn.sh(실행의 활성 노드 resourcesNode의 얀 [선택] 시작)
☆☆☆☆ yarn-daemon.sh start resourcemanager(resourcesManager 대기 노드의 시작)
4. 테스트 클러스터
액세스
ip:50070파일 시스템의 웹 인터페이스 HDFS
ip:8088얀 얀 resourcesManager 웹 인터페이스
다른 명령 :
☆☆☆☆ mr-jobhistory-daemon.sh start histroyserver(역사 서버를 시작)
☆☆☆☆ hadoop jar 包名(병 패키지를 실행하는 작업의 작업을 수행)
ip:19888 역사 서버 웹 인터페이스
