window下eclipse运行集群mr时错误总结


    1.集群提交修改项


      a.确保JobAPP提交至集群
      解决方案:修改mapred-site.xml
                     mapreduce.framework.name = yarn

      b.报重新连接:0.0.0.0/0.0.0.0:8032
      解决方案: 修改yarn-site.xml文件
                      yarn.resourcemanager.hostname = master

      C.抛异常:ExitCodeException exitCode=1: /bin/bash: line 0: fg: no job control
      解决方案:修改mapred-site.xml
                    mapreduce.app-submission.cross-platform = true

      d.无结果:没有生成Jar文件
        解决方案:打jar包。放置到classpath下:右键jar包-->Bulid Path-->add to Bulid Path
      
      e.报重新连接:0.0.0.0/0.0.0.0:10020端口
      解决方案:开启history server
           $>mr-jobhistory-daemon.sh start historyserver
       修改mapred-site.xml:mapreduce.jobhistory.address = master:10020

      2:运行没有显示日志信息

       在hadoop的安装目录下的share目录下搜索log4j.properties(大小约10.9k),把它放入工程的src下

      3:Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=Administrator, access=EXECUTE, inode="/tmp/hadoop-yarn/staging/Administrator/.staging":michael:supergroup:drwxrwx---

有以下四种方法解决:

       1、把用户名改成和集群中用户名一致

       2、在环境变量里面加上HADOOP_USER_NAME     值是集群中用户名(需要重启)

       3、右键-》run as -》run Configurations -》选中要运行的工程 -》 第二个选项卡Arguments -》 VM arguments下加上-DHADOOP_USER_NAME=你的集群上的用户名

       4、去掉权限验证

           在集群的hdfs-site.xml下加入下面配置

              <property>

                <name>dfs.permissions.enabled</name>

                <value>false</value>

                <description>

                  If "true", enable permission checking in HDFS.

                  If "false", permission checking is turned off,

                  but all other behavior is unchanged.

                  Switching from one parameter value to the other does not change the mode,

                  owner or group of files or directories.

                </description>

              </property>

       4、null\bin\winitil.exe

              设置环境变量

              HADOOP_HOME  值你的hadoop的安装路径

               在path里面加上%HADOOP_HOME%\bin和%HADOOP_HOME%\sbin

               需要重启

猜你喜欢

转载自blog.csdn.net/superXZT/article/details/83352387
今日推荐