Hadoop搭建笔记(20)

本文是我学习Hadoop搭建过程中的各种笔记,内容来自于各种公开的教程,起点非常低,从Linux基础开始,直至在PC上搭建Hadoop成功,是真正的从零开始。

感谢过程中帮助我的各位认识的和不认识的老师。

34、Yarn的流程介绍:

Hadoop MapReduce1简单的运行流程:

两个Client,每个颜色的Client代表一个单个的作业

Job Submission :作业提交,提交给Job Tracker

Job Tracker相当于Hadoop2yara

Job Tracker把作业分发给每一个Task Tracker

Task Tracker具体把每一个作业分解,分解完后,让Task来执行

Task执行完后,原路返回给Task TrackerTask Tracker返回给Job Tracker

Apache Hadoop YARN:流程

http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html

Client :提交作业,提交给Resource Manager

Resource Manager有两个核心组件: Scheduler(调度器) and ApplicationsManager(应用管理者).

提交,提交给ApplicationsManager

Scheduler  ApplicationsManager 会协商启动第一个ApplicationsManager

有且仅有一个App Mstr

每一个椭圆就是一个container

App Mstrcontainer是由Resource Managerstatus以及Node Manage,它们几者协商之后启动的一个container,启动之后在里面启动ApplicationsManager

App Mstr Node Manage进行沟通,才知道本次输入数据目录在哪,得到输入数据目录了,就能得到需要被输入文件的大小,App Mstr开始负责切片,由App MstrResource Manager申请资源,Resource Manager返回资源,返回到container里面

App Mstr通知Node Manage在对应的节点上,把container启动起来,container里面是有Java的运行环境的

 

35、克隆虚拟机:

Hadoop集群需要多台服务器,为Hadoop集群做准备

(克隆hadoop1,克隆成hadoop2)

1. 克隆虚拟机

2. 克隆后的配置

克隆后的虚拟机需要四个地方:

修改网卡信息:   vi /etc/udev/rules.d/70(Tab)-net(Tab).rules

[root@hadoop01 Desktop]# vi /etc/udev/rules.d/70-persistent-net.rules

dd :删除以前网卡

修改主机名:vi /etc/sysconfig/network   (永久性修改)

[root@hadoop01 Desktop]# vi /etc/sysconfig/network  

修改IP信息:   vi /etc/sysconfig/network-scripts/ifcfg-eth0   (改成16进制)

[root@hadoop01 Desktop]# vi /etc/sysconfig/network-scripts/ifcfg-eth0

改三处:UUID、IPADDRHWADDR

修改映射:    vi /etc/hosts

[root@hadoop01 Desktop]# vi /etc/hosts

O键 :换行

输入:192.168.216.112.hadoop02 www.hadoop02.com

从新启动网卡:   service network restart

[root@hadoop01 Desktop]# service network restart

查看现在的IP:   ifconfig

[root@hadoop01 Desktop]# ifconfig

最终要到达的效果:在windowsping上服务端

C:\Users\lyd\ping 192.168.216.112   能通

通过XShell建立连接,在xshell上新建hadoop02

此时名字仍然是hadoop01,重新启动:reboot

[root@hadoop01 ~]# reboot


猜你喜欢

转载自blog.csdn.net/zxqjinhu/article/details/80471126
今日推荐