CentOS7下单机伪分布式Hadoop搭建

本文章仅作为个人笔记

• Hadoop官网：http://hadoop.apache.org
• 前期准备工作：
  
  • 生成密钥：
  • 运行 ssh-keygen –t dsa 连续回车
  • 此时会生成id_dsa和id_dsa.pub文件，及私钥和公钥，运行 cat id_dsa.pub >> authorized_keys 将公钥信息传入authorized_keys文件即可完成免密自登陆。运行 ssh localhost 可进行验证。
    
  • 安装 jdk/vim/tar
    
    yum install java-1.8.0-openjdk.x86_64 java-1.8.0-openjdk-devel.x86_64 –y
    yum install vim –y
    yum install tar.x86_64 -y
• Hadoop安装：
  
  • Hadoop下载：
    wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.0.0-beta1/hadoop-3.0.0-beta1.tar.gz
  • 解压Hadoop：
    mkdir /bigdata
    tar –zxvf hadoop-3.0.0-beta1.tar.gz –C /bigdata/
• 修改Hadoop配置文件：
  
  • 配置hadoop引用的java环境
  • 运行 rpm -qa | grep java 查看所有安装的java应用
• 查看所有安装的java应用
  
  
  • 找到带openjdk-devel的那个选项，运行 rpm -ql java-1.8.0-openjdk-devel-1.8.0.131-3.b12.el7_3.x86_64 | grep /bin/java 找到java的安装位置
    
  • 找到java的安装位置
    vim /bigdata/hadoop-3.0.0-beta1/etc/hadoop/hadoop-env.sh 添加环境地址
    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.131-3.b12.el7_3.x86_64
  • 添加javahome
    
  • 配置hadoop核心配置
    vim /bigdata/hadoop-3.0.0-beta1/etc/hadoop/core-site.xml
    
    
    fs.defaultFS
    hdfs://127.0.0.1:9000
    
    
    
    hadoop.tmp.dir
    /bigdata/tmp
    
    
  • 配置指定HDFS存储数据的副本数据量
    vim /bigdata/hadoop-3.0.0-beta1/etc/hadoop/hdfs-site.xml
    
    
    dfs.replication
    1
    
    
  • 指定mapreduce编程模型运行在yarn上
    mv /bigdata/hadoop-3.0.0-beta1/etc/hadoop/mapred-site.xml.template /bigdata/hadoop-3.0.0-beta1/etc/hadoop/mapred-site.xml
    vim /bigdata/hadoop-3.0.0-beta1/etc/hadoop/mapred-site.xml
    
    
    mapreduce.framework.name
    yarn
    
    
  • 指定yarn的resourcemanager的地址
    vim /bigdata/hadoop-3.0.0-beta1/etc/hadoop/yarn-site.xml
    
    
    yarn.resourcemanager.hostname
    127.0.0.1
    
    
    
    yarn.nodemanager.aux-services
    mapreduce_shuffle
    
    
  • 更改hdfs启动和关闭文件脚本（3.0及以上配置，3.0以下请自动忽略）
    vim /bigdata/hadoop-3.0.0-beta1/sbin/start-dfs.sh
    vim /bigdata/hadoop-3.0.0-beta1/sbin/stop-dfs.sh 加入如下内容：
    HDFS_DATANODE_USER=root
    HADOOP_SECURE_DN_USER=hdfs
    HDFS_NAMENODE_USER=root
    HDFS_SECONDARYNAMENODE_USER=root
    
  • 更改yarn启动关闭脚本（3.0及以上配置，3.0以下请自动忽略）
    vim /bigdata/hadoop-3.0.0-beta1/sbin/start-yarn.sh
    vim /bigdata/hadoop-3.0.0-beta1/sbin/stop-yarn.sh 加入如下内容：
    YARN_RESOURCEMANAGER_USER=root
    HADOOP_SECURE_DN_USER=yarn
    YARN_NODEMANAGER_USER=root
    
• 初始化并启动
  
  • 运行 /bigdata/hadoop-3.0.0-beta1/bin/hdfs namenode -format 初始化namenode出现如下标识（has been successfully formatted.）则为初始化成功，失败的自行百度 。
    
  • 运行 /bigdata/hadoop-3.0.0-beta1/sbin/start-all.sh 启动所有服务，运行完可再运行jps看是否启动成功，成功会多出NodeManager NameNode SecondaryNameNode DataNode ResourceManager
    
  • 访问服务器9870端口（例：http://192.168.64.132: 9870）可观察当前Hadoop状态（2.6.5为50070端口） Live Nodes 可以查看存活节点及hdfs的状态。
    
  • 访问服务器8042端口（例：http://192.168.64.132: 8042）可查看当前yarn管理界面（2.6.5为8088）
    
  • 至此Hadoop单机伪分布式搭建完毕
• 如果出现namenode无法启动，将/bigdata/tmp/dfs/name/current/VERSION 的clusterID值复制到/bigdata/tmp/dfs/data/current/VERSION 中在重启便好