跑hadoop任务时提示running beyond virtual memory limits

结尾还提示:Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1

解决方法:

     首先保证/usr/local/src/hadoop-2.6.1/etc/hadoop/hdfs-site.xml下<name>dfs.replication</name>是正确的。(这步好像不会影响,只要下面2步做完就行)

  1. mapred-site.xml中设置map和reduce任务的内存配置如下,将以下代码追加到mapred-site.xml中:(value中实际配置的内存需要根据自己机器内存大小及应用情况进行修改)

    <property>
      <name>mapreduce.map.memory.mb</name>
      <value>1536</value>
    </property>
    <property>
      <name>mapreduce.map.java.opts</name>
      <value>-Xmx1024M</value>
    </property>
    <property>
      <name>mapreduce.reduce.memory.mb</name>
      <value>3072</value>
    </property>
    <property>
      <name>mapreduce.reduce.java.opts</name>
      <value>-Xmx2560M</value>
    </property>
  2. 将master虚拟机内存设置为3072MB,然后hadoop集群不需要重启就可以跑成功了。

猜你喜欢

转载自blog.csdn.net/m0_37443131/article/details/81177485