HDFS 的体系结构

HDFS 采用了主从(Master/Slave)结构模型,一个HDFS 集群是由一个NameNode 和若干个DataNode 组成的。其中NameNode 作为主服务器,
管理文件系统的命名空间和客户端对文件的访问操作;集群中的DataNode 管理存储的数据。


sudo apt-get install sun-java6-jdk
这里先解释一下sudo 与apt 这两个命令,sudo 这个命令允许普通用户执行某些或全部
需要root 权限命令,它提供了详尽的日志,可以记录下每个用户使用这个命令做了些什么操
作;同时sudo 也提供了灵活的管理方式,可以限制用户使用命令。sudo 的配置文件为/etc/
sudoers。

apt 的全称为the Advanced Packaging Tool,是Debian 计划的一部分,是Ubuntu 的软件
包管理软件,通过apt 安装软件无须考虑软件的依赖关系,可以直接安装所需要的软件,apt
会自动下载有依赖关系的包,并按顺序安装,在Ubuntu 中安装有apt 的一个图形化界面程序
synaptic(中文译名为“新立得”),

sudo apt-get install ssh
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
解释一下,ssh-keygen 代表生成密钥;-t(注意区分大小写)表示指定生成的密钥类型;
dsa 是dsa 密钥认证的意思,即密钥类型;-P 用于提供密语;-f 指定生成的密钥文件

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
这段话的意思是把公钥加到用于认证的公钥文件中,这里的authorized_keys 是用于认证
的公钥文件。

Hadoop 分别从三个角度将主机划分为两种角色。第一,划分为master 和slave,即主人
与奴隶;第二,从HDFS 的角度,将主机划分为NameNode 和DataNode(在分布式文件系
统中,目录的管理很重要,管理目录的就相当于主人,而NameNode 就是目录管理者);第
三,从MapReduce 的角度,将主机划分为JobTracker 和TaskTracker(一个job 经常被划分
为多个task,从这个角度不难理解它们之间的关系)。

格式化Hadoop 的文件系统HDFS
bin/Hadoop NameNode -format


Hadoop 的配置文件分为两类:
只读类型的默认文件:src/core/core-default.xml、src/hdfs/hdfs-default.xml、src/
mapred/mapred-default.xml、conf/mapred-queues.xml
定位(site-specific)设置:conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml、
conf/mapred-queues.xml。

Hadoop 允许定义最终参数(final parameters),如果任意资源声明了final 这个值,那
么之后加载的任何资源都不能改变这个值,定义最终资源的格式是这样的:
<property>
<name>dfs.client.buffer.dir</name>
<value>/tmp/Hadoop/dfs/client</value>
<final>true</final> // 注意这个值
</property>

Hadoop 允许参数传递,如下所示,当tempdir 被调用时,basedir 会作为值被调用
<property>
<name>basedir</name>
<value>/user/${user.name}</value>
</property>
<property>
<name>tempdir</name>
<value>${basedir}/tmp</value>
</property>

 conf/core-site.xml 的配置
fs.default.name NameNode 的IP 地址及端口

conf/hdfs-site.xml 的配置
dfs.name.dir NameNode 存储名字空间及汇报日志的位置
dfs.data.dir DataNode 存储数据块的位置

conf/mapred-site.xml 的配置
mapreduce.jobtracker.address  JobTracker 的IP 地址及端口
mapreduce.jobtracker.system.dir  MapReduce 在HDFS 上存储文件的位置, 例如/Hadoop/mapred/system/
mapreduce.cluster.local.dir  MapReduce 的缓存数据存储在文件系统上的位置
mapred.tasktracker.{map|reduce}.tasks.maximum  每台TaskTracker 所能运行的Map 或Reduce 的task 最大数量
dfs.hosts/dfs.hosts.exclude  允许或禁止的DataNode 列表
mapreduce.jobtracker.hosts.filename/
mapreduce.jobtracker.hosts.exclude.filename  允许或禁止的TaskTrackers 列表
mapreduce.cluster.job-authorization-enabled  布尔类型,标志着job 存取控制列表是否支持对job 的观察和修改


重启坏掉的DataNode 或JobTracker。
bin/Hadoop-daemon.sh start DataNode
bin/Hadoop-daemon.sh start jobtracker

动态加入DataNode 或TaskTracker。这个命令允许用户动态将某个节点加入集群中。
bin/Hadoop-daemon.sh --config ./conf start DataNode
bin/Hadoop-daemon.sh --config ./conf start tasktracker


 

猜你喜欢

转载自501565246-qq-com.iteye.com/blog/1927736