hdfs集群——安装、配置、部署(hadoop)

一、安装包上传至服务器并解压

二、修改配置文件

1) 指定hadoop的默认文件系统为：hdfs 
2) 指定hdfs的namenode节点为哪台机器
3) 指定namenode软件存储元数据的本地目录
4) 指定datanode软件文件块的本地目录

hadoop的配置文件在：path/to/hadoop/etc/hadoop

1. 修改hadoop-env.sh
   export JAVA_HOME=/path/to/jdk
2. 修改core-site.xml

   <configuration>
   	<property>
   		<name>fs.defaultFS</name>
   		<value>hdfs://hostname:9000</value>
   	</property>
   </configuration>
   

3. 修改hdfs-site.xml

	<configuration>
		<property>
			<name>dfs.namenode.name.dir</name>
			<value>/path/to/name</value>
		</property>
		<property>
			<name>dfs.datanode.data.dir</name>
			<value>/path/to/data</value>
		</property>
		<!--关闭ip -> 域名检查（如果core-site.xml中配置的是ip:port形式，添加此配置）-->
		<property>  
			<name>dfs.namenode.datanode.registration.ip-hostname-check</name>
			<value>false</value>
		</property>
	</configuration>

部署

拷贝整个hadoop安装目录到其它机器

	scp -r /path/to/hadoop hostname:/path/to/hadoop

启动(单节点启动)

1. 初始化namenode的元数据目录(在namenode机器上执行)
   hadoop namenode -format

   创建了一个全新的元数据存储目录
   生成了记录元数据的文件fsimage
   生成了集群的相关标识：如 集群id——clusterID

2. 启动namenode进程

	hadoop-daemon.sh start namenode
	启动完成后，首先使用jps命令查看一下namenode的进程是否存在
	> http://hostname:50070  # 可用该地址查看网页形式

3. 启动datanode
   hadoop-daemon.sh start datanode

集群启动(脚本方式)

1. 先配置hadp-01机器到集群中所有机器(包含自己)的免密登录
2. 配置完免密后，可执行一次 ssh 0.0.0.0
3. 修改hadoop安装目录中 /path/to/hadoop/etc/hadoop/slaves(把需要启动datanode进程的节点列入)
   hdp-01
   hdp-02
   hdp-03
   hdp-04
   hdp-05
4. 在hdp-01上用脚本：start-dfs.sh来启动整个集群
5. 如果要停止，则用脚本：stop-dfs.sh

写在最后

欢迎留言私信讨论；
文章有知识性错误请立马联系博主，博主将非常感谢；
无需经过允许即可随意使用转载，知识本来就是被广泛用来学习的；
非常感谢您能看到此处，本文为博主学习笔记，如有不同见解，请不吝赐教。