Hadoop从入门到精通系列之--1.环境搭建

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Haidaiya/article/details/83106447

目录

 

一 Hadoop简介

二 Hadoop运行环境搭建前准备

2.1虚拟机准备

2.2网络配置

2.3修改Linux主机名称

三 Hadoop运行环境搭建

3.1 克隆虚拟机

3.2修改静态ip

3.3修改主机名称(见上)

3.4关闭防火墙

3.5创建用户wanglei

3.6给wanglei配置root权限

3.7在/opt下新建software存放安装包,module安装软件文件夹

四 安装JDK和Hadoop

4.1使用xFtp传输jdk的tar包

4.2安装Hadoop

4.3 总结:hadoop的环境配置是开始最难的一步,需要一定的Linux基础,不然很难理解,我自己也是花了一个月时间将Linux学习了一遍,在配置的时候还是蛮顺利的,这里分享一下我的Linux学习视频


一 Hadoop简介

关于Hadoop,去百度上搜索能收到很多关于它的介绍,我用自己的话来介绍一下,Hadoop是Apache的一个项目,现在的社会已经步入了大数据时代,这个时代的特点就是数据量特别大,那么就会遇到一个问题,数据量太大了,怎么处理呢?Hadoop框架的作用就两个:1.存储 2.计算。存储就是数据太大了,一台电脑已经存储不了了,那么就需要好多台电脑存数据,那么这么多电脑存,会遇到很多问题,比如怎么存等等;计算就是比如我想统计一下阿里巴巴的日访问量,阿里那么大的访问量怎么统计求和呢?Hadoop就是为了处理这样的问题诞生的。

Hadoop的下载:hadoop官网:http://hadoop.apache.org/

点击Download或者Getting   started均可,选择对应的版本下载,建议hadoop2.x下载

二 Hadoop运行环境搭建前准备

2.1虚拟机准备

关于虚拟机的准备可以查看我在博客中Linux分类下的虚拟机和Linux安装的部分,需要相关软件的,链接:https://pan.baidu.com/s/1NuLTfrRmBNQlPq0bpsd9Ng 提取码:qs2w,百度云链接失效的可以发邮件到我的邮箱[email protected];我会及时补上。

https://blog.csdn.net/Haidaiya/article/details/81005032

2.2网络配置

网络配置的作用是设置服务器的静态ip,并且使得我们Linux系统可以上网,具体步骤如下图所示

  1. 命令行模式下输入vim /etc/sysconfig/network-scripts/ifcfg-eth0
  2. 按照修改红色方框中的内容修改

2.3修改Linux主机名称

修改Linux主机的名称是为了让我们在访问服务器的时候更加方便一点,比如说访问baidu时,我们更倾向于访问www.baidu.com,而不是它的IP地址。

修改的步骤如下:

  1. hostname查看当前的名称
  2. vim /etc/sysconfig/network修改主机名称
  3. 将主机名称修改为hadoop101,其实这个名称随意起
  4. vim /etc/sysconfig/network,修改主机名称到IP地址的映射
  5. 上一部分,设置的ip地址和这里的主机名称对应起来,这样以后访问这个服务器就不要输入ip地址了,直接输入hadoop101就可以访问了。

如有需要也可以在windows下添加映射,这样可以ping通主机名称

三 Hadoop运行环境搭建

3.1 克隆虚拟机

右键虚拟机,管理,克隆

3.2修改静态ip

针对克隆过来的虚拟机

  1. 因为虚拟机是直接复制前面一步安装的,所以对于它的网卡部分需要修改
  2. 注释下图中的那行,复制物理网卡地址,修改NAME为eth0

配置网络

将上一部中复制的网卡地址复制到下图的位置

3.3修改主机名称(见上)

见2.3

3.4关闭防火墙

service   iptables stop

3.5创建用户wanglei

创建用户useradd    wanglei

指定密码passwd     wanglei

3.6给wanglei配置root权限

给普通用户wanglei配置root权限是为了方便一些操作,因为有些文件夹普通用户打不开。

如果发现这个下图中的文件是只读文件,就是用chmod  744   sudoers命令修改一下,即可编辑这个文件,在文件中添加红色框中的命令。


3.7在/opt下新建software存放安装包,module安装软件文件夹

sudo   mkdir  software

sudo   mkdir  module

四 安装JDK和Hadoop

4.1使用xFtp传输jdk的tar包

这里解释一下为什么要安装JDK,因为Hadoop框架是用java写的,没错就是这样,使用Xftp工具将jdk-8u144-linux-x64.tar.gz传输到Linux服务器上的softwar目录,并且将压缩包解压到module目录下,命令如下:tar    -zxvf    jdk-8u144-linux-x64.tar.gz     -C      /opt/module/

配置环境变量,输入vim    /etc/profile  ,  添加两行

export   JAVA_HOME=/opt/module/jdk1.8.0_144

export   PATH=$PATH:$JAVA_HOME/bin

4.2安装Hadoop

步骤与jdk的安装步骤相同,环境变量的配置不同

输入hadoop可以顺利看到这些信息说明hadoop的环境已经基本搭建好了,这里讲的很详细了,但是如果没有Linux基础的话可能还是看的云里雾里,需要提前看一下Linux基础

4.3 总结:hadoop的环境配置是开始最难的一步,需要一定的Linux基础,不然很难理解,我自己也是花了一个月时间将Linux学习了一遍,在配置的时候还是蛮顺利的,这里分享一下我的Linux学习视频

https://www.bilibili.com/video/av31902291/?p=1

猜你喜欢

转载自blog.csdn.net/Haidaiya/article/details/83106447
今日推荐