centos7 搭建Hadoop 50070端口无法开启及jps查看datanode已启动namenode查不到

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_32447321/article/details/82533222

CDH 镜像地址       apach官方镜像地址 按需选择下载安装

最近由于项目需要开始接触hadoop,在配置伪分布式启动后,jps查询进程发现少了namenode,而DataNode却存在。 

配置内容及流程如下:

Configuration
	Use the following:

	0:安装jdk并配置hadoop-env.sh的JAVA_HOME
	
		必须在hadoop-env.sh文件中设置Java的绝对路径
	
	1:	etc/hadoop/core-site.xml:

		<configuration>
			<property>
				<name>fs.defaultFS</name>
				<value>hdfs://alex-prod-01.com:9000</value>
			</property>
			#hadoop存放临时文件
			<property>
				<name>hadoop.tmp.dir</name>
				<value>/alex/data/bigdata/hadoop/hadoop-2.6.0-cdh5.9.3/tmp</value>
			</property>
		</configuration>
		
		
	2:etc/hadoop/hdfs-site.xml:

		<configuration>
			<property>
				<name>dfs.replication</name>
				<value>1</value>
			</property>
			<property>
				<name>dfs.permissions.enabled</name>
				<value>false</value>
			</property>
		</configuration>
		

bin/hadoop namenode -format

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode
#查看namenode datanode 启动日志
/alex/data/bigdata/hadoop/hadoop-2.6.0-cdh5.9.3/logs

ps: alex-prod-01.com 
/etc/hosts  127.0.0.1 alex-prod-01.com

1:参考文章:https://www.cnblogs.com/lishpei/p/6136043.html

2:https://blog.csdn.net/shizhixin/article/details/50469566  

3:https://www.cnblogs.com/zlslch/p/6604189.html

首先google了一下,网上看了几个方法没有解决。

干脆看启动日志,我们从启动脚本打印的日志可知启动NameNode的日志是放在hadoop下的logs目录下,进入这个目录可发现有一个hadoop-namenode.log(名字貌似根据用户名而定:格式如×××namenode×××.log),打开这个日志文件发现有这么一段:

netstat -ntlp 查看端口不是占用问题;是有序漏掉了流程的0步;del tmp文件夹;重新启动;效果如下

扫描二维码关注公众号,回复: 3895859 查看本文章

ps: 切记安装流程3中hdfs-default.xml配置权限问题的说明路径: url;否则root用户不能启动问题,默认true权限;根据自己需要修改

猜你喜欢

转载自blog.csdn.net/qq_32447321/article/details/82533222