Linux相关hadoop环境配置

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/eieiei438/article/details/81739740

Linux相关hadoop环境配置

说明

 

此环境配置适合单机版配置
操作系统的版本：centOS6.5
jdk安装目录：/home/software/jdk/jdk8
hadoop安装目录：/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
ssh：已经安装
主机名：hadoop01

JDK相关配置

 

JAVA_HOME=/home/software/jdk/jdk8
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lb/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME PATH CLASSPATH

SSH免密相关配置

 

1. 生成ssh
    ssh-keygen
    所有停顿点直接回车
2. 设置免密登录
    ssh-copy-id -i 生成的公钥路径

hadoop相关配置

• 环境配置

   

  export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
  export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH    
  

• hadoop相关文件的具体配置【进入hadoop的安装路径下的etc/hadoop】

  • hadoop-env.sh的相关配置

     

    #jdk的安装目录
    export JAVA_HOME=/home/software/jdk/jdk8
    

  • core-site.xml的相关配置

     

    <!-- hdfs的访问地址【代码连接时的地址】-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:8020</value>
    </property>
    
    <!--临时文件的存放地址【下一次开机保留上次的记录】-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/app/tmp</value>
    </property>
    

  • hdfs-site.xml相关配置

     

    <!--副本-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    
    <!--namenode的临时文件目录-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/app/tmp/dfs/name</value>
    </property>
    
    <!--datanode的临时文件目录-->
    <property>
        <name>dfs.namenode.data.dir</name>
        <value>file:/home/hadoop/app/tmp/dfs/data</value>
    </property>
    

  • slaves

     

    hadoop01
    

  • mapred-site.xm相关配置【这个文件操作之前需要复制一份mapred-site.xml.template文件，并将名字改为mapred-site.xml】

     

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    

  • yarn-site.xml相关配置

     

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>