Hadoop分布式集群的搭建(Apache 版本)上

        前面说过,大数据框架最常使用的有两种一种是Apache发布的开源版本,还有一种是Cloudera公司基于Apache发布的开源版本进行优化修改升级的CDH版本。这两个版本大公司偏向于第一种,他们技术成熟,有能力自己处理开源版本中的bug,但中小型企业一般都会选择Cloudera公司发布的cdh版本,因为该公司会一直对这些版本进行优化升级,方便中小公司的使用。

        这几篇博客我将会以Apache版本进行安装,它与cdh版本的安装搭建区别不大,基本相同。

        在安装之前有必要说一下,其实安装搭建过程在Apache官网中有详细的介绍,需要你去解读,所以这里我会按照官网的推荐安装方式安装,在之后学习过程中,一定要学会如何使用官网上的一些学习帮助文档。

首先打开Apache Hadoop官网:(我在图片中说明)

打开分布式部署文档

我使用的是hadoop-2.7.3版本所以可以在历史版本中找到该版本对应的帮助文档,然后使用工具上传安装包到software目录下;并解压到modules目录下,然后打开hadoop-2.7.3;

hadoop中各个文件的作用以及hadoop的目录结构:

安装好之后,打开配置文件目录

扫描二维码关注公众号,回复: 4964065 查看本文章
[super-yong@bigdata-01 hadoop]$ ll
total 140
-rw-r--r-- 1 super-yong super-yong  4436 Aug 17  2016 capacity-scheduler.xml
-rw-r--r-- 1 super-yong super-yong  1335 Aug 17  2016 configuration.xsl
-rw-r--r-- 1 super-yong super-yong   318 Aug 17  2016 container-executor.cfg
-rw-r--r-- 1 super-yong super-yong   774 Aug 17  2016 core-site.xml
-rw-r--r-- 1 super-yong super-yong  4224 Aug 17  2016 hadoop-env.sh
-rw-r--r-- 1 super-yong super-yong  2598 Aug 17  2016 hadoop-metrics2.properties
-rw-r--r-- 1 super-yong super-yong  2490 Aug 17  2016 hadoop-metrics.properties
-rw-r--r-- 1 super-yong super-yong  9683 Aug 17  2016 hadoop-policy.xml
-rw-r--r-- 1 super-yong super-yong   775 Aug 17  2016 hdfs-site.xml
-rw-r--r-- 1 super-yong super-yong  1449 Aug 17  2016 httpfs-env.sh
-rw-r--r-- 1 super-yong super-yong  1657 Aug 17  2016 httpfs-log4j.properties
-rw-r--r-- 1 super-yong super-yong    21 Aug 17  2016 httpfs-signature.secret
-rw-r--r-- 1 super-yong super-yong   620 Aug 17  2016 httpfs-site.xml
-rw-r--r-- 1 super-yong super-yong  3518 Aug 17  2016 kms-acls.xml
-rw-r--r-- 1 super-yong super-yong  1527 Aug 17  2016 kms-env.sh
-rw-r--r-- 1 super-yong super-yong  1631 Aug 17  2016 kms-log4j.properties
-rw-r--r-- 1 super-yong super-yong  5511 Aug 17  2016 kms-site.xml
-rw-r--r-- 1 super-yong super-yong 11237 Aug 17  2016 log4j.properties
-rw-r--r-- 1 super-yong super-yong  1383 Aug 17  2016 mapred-env.sh
-rw-r--r-- 1 super-yong super-yong  4113 Aug 17  2016 mapred-queues.xml.template
-rw-r--r-- 1 super-yong super-yong   758 Aug 17  2016 mapred-site.xml.template
-rw-r--r-- 1 super-yong super-yong    10 Aug 17  2016 slaves
-rw-r--r-- 1 super-yong super-yong  2316 Aug 17  2016 ssl-client.xml.example
-rw-r--r-- 1 super-yong super-yong  2268 Aug 17  2016 ssl-server.xml.example
-rw-r--r-- 1 super-yong super-yong  4567 Aug 17  2016 yarn-env.sh
-rw-r--r-- 1 super-yong super-yong   690 Aug 17  2016 yarn-site.xml
[super-yong@bigdata-01 hadoop]$

Hadoop的环境配置:

可以看到有很多配置文件,我们需要修改hadoop的环境变量:

hadoop-env.sh 、yarn-env.sh 、mapred-env.sh 三个文件

       需要修改的的是java环境变量,因为之前我们的jdk环境变量已经配置为全局变量了,但是建议配置为指定变量,原因是如果配置了全局变量,但是当你用到其他jdk版本是,由于当安装多个jdk时会出错,所以配置为指定java环境变量。

=========================================分割线==================================================

后面的配置全部按照官网介绍配置就ok了,它是按照hadoop模块进行配置的。

大家参考这个网址的步骤挨个配置就ok了:

hadoop安装配置文档

在网页中:

配置这块有各个文件中详细的配置参数,根据你自己的要求添加配置就可以了。

也可以按照我的这篇博客配置:

Hadoop分布式集群的搭建(Apache 版本)下———配置详解

猜你喜欢

转载自blog.csdn.net/superme_yong/article/details/86508704