Hadoop安装错误集锦

        由于Hadoop安装配置比较繁琐,经常遇到各种各样的问题,在此,笔者仅列出自己遇到的和总结别人遇到的问题。

问题1、安全模式导致的错误

org.apache.hadoop.dfs.SafeModeException: Cannot delete ..., Name node is in safe mode 

      原因:  在hadoop启动的时候,会进入安全模式,在该模式下,文件系统中的所有文件不能进行修改和删除。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期间通过命令也可以 进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。

    解决方案:退出安全模式

hadoop dfsadmin -safemode leave

问题2、“no datenode to stop”问题、

    在停止hadoop时出现如下信息:

stopping jobstracker
10.128.0.131 no tasktracker to stop
10.128.0.132 no tasktracker to stop
10.128.0.133 no tasktracker to stop
10.128.0.134 no tasktracker to stop
stopping namenode
10.128.0.131 no datanode to stop
10.128.0.132 no datanode to stop
10.128.0.133 no datanode to stop
10.128.0.134 no datanode to stop

       原因:多次namenode format,每次格式化都会重新创建一个namenodeId,而tmp/dfs/data下包含了上次留下的id。每次格式化清空了namenode下的数据,但是没有清空datanode下的数据。

    解决方案1:重新格式化

(1) 删除"hdfs-site.xml"配置文件中的指定目录

<property>  
    <name>dfs.namenode.name.dir</name>  
    <value>file:/data1/hdfs/namenode</value>  
</property>  
/*配置datanode的数据存储目录*/  
<property>  
    <name>dfs.datanode.data.dir</name>  
    <value>file:/data1/hdfs/datanode</value>  
</property>  

我们将配置文件中对应的物理路径中的namenode和datanode删除。

(2) 删除"core-site.xml"配置文件指定的相关目录

/*临时文件夹路径*/  
<property>  
    <name>hadoop.tmp.dir</name>  
    <value>file:/data1/hadooptmp</value>  
    <description>Abase for other temporary directories. </description>  
</property>  

(3) 重新执行命令:hadoop namenode -format

这种格式化HDFS的方式是需要把原来HDFS中的数据全部清空,然后再格式化并安装一个全新的HDFS。

    解决方案2:

(1)修改每个Slave的namespaceID使其与Master的namespaceID一致。或者

(2)修改Master的namespaceID使其与Slave的namespaceID一致。

该"namespaceID"位于"/data1/hadooptmp/dfs/data/current/VERSION"文件

问题3、Slave服务器中datanode启动后又自动关闭

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException:
                          Call to ... failed on local exception: java.net.NoRouteToHostException: No route to host   

解决方案:关闭防火墙

service iptables stop
注:hadoop安装遇到的大多数问题都是配置问题和格式化问题,配置问题请参考CentOS配置Hadoop集群(完全分布式),格式化问题请参考本篇博客问题2。



猜你喜欢

转载自blog.csdn.net/u011380972/article/details/80774804