hadoop开发环境搭建时出现的一些问题

hadoop开发环境搭建时出现的一些问题

一、向eclipse添加hadoop插件时,将插件拷贝到plugs文件夹下却不起作用。

解决方法:

尝试将hadoop插件拷贝到dropins文件夹下,是否能解决问题。

二、在启动Hadoop时,出现Hadoop-daemon.sh权限不足的问题。

原因:

进入其所指的hadoop-1.0.1目录下,使用命令:ll -d hadoop-1.0.1

发现这个文件的用户为root用户下的为只读(这大部分是由于之前用root用户进入过Hadoop,导致root用户将其改为默认的root

限。)

解决方法

使用命令:chown  hewei:hewei  hadoop-1.0.1 (其中用户名视自己情况而定)将权限改为用户可读写权限。

三、ubuntu每次重启都会格式化/tmp中的信息,而namenode的格式化信息是存在/tmp下,所以每次启

动都要重新格式化。

解决方法:

mkdir  /home/hewei/Hadoop/hadoop-1.0.1/tmp (我的用户是hewei)

在conf/core-site.xml增加

<property>

    <name>hadoop.tmp.dir</name>

    <value>/home/hewei/Hadoop/hadoop-1.0.1/tmp</value>

    <description>Abase for other temporary directories</description>

</property>

修改完成后,格式化:./hadoop  namenode  -format

重启,不需要格式化。

四、启动hadoop时,出现错误:JAVA_HOME  is not set.

1.检查本地/etc/profile中的JAVA_HOME是否配置正确;

2.检查hadoop配置文件hadoop-env.sh文件中的JAVA_HOME是否配置正确;

3.检查hadoop配置文件hadoop-env.sh中   export      JAVA_HOME=“”前的“#”有没有去掉。

、启动hadoop后,上传/创建文件时出现错误:Namenode is in safe mode.

原因:

此时namenode在安全模式下。

什么是安全模式:

在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修

改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必

要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安

全模式不允许修改的出错提示,只需要等待一会儿即可。

解决方法:

使用命令:./hadoop dfsadmin -safemode leave 离开安全模式。

安全模式的一些操作:

./hadoop dfsadmin -safemode enter -进入安全模式

./hadoop dfsadmin -safemode leave -强制NameNode离开安全模式


./hadoop dfsadmin -safemode get -返回安全模式是否开启的信息

./hadoop dfsadmin -safemode wait -等待,一直到安全模式结束。

猜你喜欢

转载自blog.csdn.net/HW_0919/article/details/53940077
今日推荐