本文是我学习Hadoop搭建过程中的各种笔记,内容来自于各种公开的教程,起点非常低,从Linux基础开始,直至在PC上搭建Hadoop成功,是真正的从零开始。
感谢过程中帮助我的各位认识的和不认识的老师。
34、Yarn的流程介绍:
Hadoop MapReduce1简单的运行流程:
两个Client,每个颜色的Client代表一个单个的作业
Job Submission :作业提交,提交给Job Tracker
Job Tracker相当于Hadoop2的yara
Job Tracker把作业分发给每一个Task Tracker
Task Tracker具体把每一个作业分解,分解完后,让Task来执行
Task执行完后,原路返回给Task Tracker,Task Tracker返回给Job Tracker
Apache Hadoop YARN:流程
http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html
Client :提交作业,提交给Resource Manager
Resource Manager有两个核心组件: Scheduler(调度器) and ApplicationsManager(应用管理者).
提交,提交给ApplicationsManager
Scheduler 和 ApplicationsManager 会协商启动第一个ApplicationsManager
有且仅有一个App Mstr
每一个椭圆就是一个container
App Mstr的container是由Resource Manager和status以及Node Manage,它们几者协商之后启动的一个container,启动之后在里面启动ApplicationsManager
App Mstr和 Node Manage进行沟通,才知道本次输入数据目录在哪,得到输入数据目录了,就能得到需要被输入文件的大小,App Mstr开始负责切片,由App Mstr像Resource Manager申请资源,Resource Manager返回资源,返回到container里面
App Mstr通知Node Manage在对应的节点上,把container启动起来,container里面是有Java的运行环境的
35、克隆虚拟机:
Hadoop集群需要多台服务器,为Hadoop集群做准备
(克隆hadoop1,克隆成hadoop2)
1. 克隆虚拟机
2. 克隆后的配置
克隆后的虚拟机需要四个地方:
修改网卡信息: vi /etc/udev/rules.d/70(Tab键)-net(Tab键).rules
[root@hadoop01 Desktop]# vi /etc/udev/rules.d/70-persistent-net.rules
dd :删除以前网卡
修改主机名:vi /etc/sysconfig/network (永久性修改)
[root@hadoop01 Desktop]# vi /etc/sysconfig/network
修改IP信息: vi /etc/sysconfig/network-scripts/ifcfg-eth0 (改成16进制)
[root@hadoop01 Desktop]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
改三处:UUID、IPADDR、HWADDR
修改映射: vi /etc/hosts
[root@hadoop01 Desktop]# vi /etc/hosts
O键 :换行
输入:192.168.216.112.hadoop02 www.hadoop02.com
从新启动网卡: service network restart
[root@hadoop01 Desktop]# service network restart
查看现在的IP: ifconfig
[root@hadoop01 Desktop]# ifconfig
最终要到达的效果:在windows能ping上服务端
C:\Users\lyd\ping 192.168.216.112 能通
通过XShell建立连接,在xshell上新建hadoop02
此时名字仍然是hadoop01,重新启动:reboot
[root@hadoop01 ~]# reboot