【hadoop】伪分布式配置

基本配置参考这一篇

本文中所用到的     主机名：daisuke     用户名：hadoop

hadoop-env.sh

java环境

export JAVA_HOME=/opt/modules/jdk1.7.0_79

core-site.xml

	<!--HDFS集群访问入口地址-->
    	<property>
        	<name>fs.defaultFS</name>
        	<value>hdfs://daisuke:8020</value>
    	</property>

	<!--声明存放数据的目录-->
    	<property>
        	<name>hadoop.tmp.dir</name>
        	<value>/opt/modules/hadoop-2.5.0-cdh5.3.6/data</value>
    	</property>

hdfs-site.xml

namenode与datanode配置在同一节点上，数据块的副本数不能大于datanode的节点数

	<!--Block的副本数-->
    	<property>
        	<name>dfs.replication</name>
        	<value>1</value>
    	</property>

slaves

此文件指明datanode节点在哪些服务器上，一行一个主机名，此次伪分布式配置，只有一个datanode节点

daisuke

格式化文件系统并启动服务,当前目录为hadoop安装目录，注意！使用hadoop用户进行格式化操作，绝对不能使用root用户

#格式化namenode
bin/hdfs namenode -format

#开启namenode和datanode
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode

#查看服务是否成功启动
jps

#关闭所有java进程
killall java

此处常见问题：

namenode启动无效

• 可能原因：配置文件有误，修改后对namenode进行了多次格式化
• 处理办法：删除hadoop安装目录下的data文件夹，关闭所有java进程，重新进行namenode格式化

处于安全模式

• 可能原因：DFS里面的备份块丢失过多
• 处理办法：退出安全模式，或者重新格式化

#退出安全模式
bin/hdfs dfsadmin -safemode leave

待续......