HADDOP安装配置过程(新手初学)

      最近刚开始学习HADOOP,跟着一个视频初步了解了一些HADOOP的基本的安装过程,感觉有必要总结一下,以便后续可以温习一下微笑


1.前期准备

   (1)虚拟机:我采用的是截止当前最新的VMware虚拟机(64位);

  (2)下载虚拟机的安装镜像文件:我用的事CentOS 7.2版本(64位),至于用64位还是32位取决于机器物理配置,建议4G内存以及以上使用64位

  (3)下载java Jdk:由于HADOOP的底层也是基于java程序编写的所以要想正常运行HADOOP需要在linux环境下安装jdk,我用的是jdk1.8;

    (4)   下载hadoop使用的jar包:我采用的是hadoop-2.6.5.tar.gz的binary包,不是source包,据说source包再配以maven管理也可以(具体不太清楚);

2.安装相关工具

(1)安装虚拟机:很简单的安装不再赘述;

        (2)在虚拟机中安装CentOS 7.2 ,可查考网上教程进行安装:http://www.linuxidc.com/Linux/2014-10/108013.htm

        (3)安装jdk以及配置相关的环境变量


1)下载jdk1.8版本:jdk-linux-x64.tar.gz 具体可到Apache的官网去下载

  2)可以使用ftp工具将jdk上传到虚拟机上,然后执行解压命令,我将jar包解压到了/usr/java文件夹下:

                    

                执行的命令为:

                    mkdir  /usr/java

                    tar -zxvf  jdk-linux-x64.tar.gz  -C /usr/java


                 配置jdk的环境变量:

                在关于linux下全局的环境变量的配置文件在根目录下的etc文件夹下的profiles文件中 路径为 : /etc/profiles

                

               然后在文件的最后添加白色部分的代码;

              然后需要使添加的环境变量生效,执行命令:source /etc/profiles

              再然后 执行命令:java -version ,能够显示信息,说明安装已经成功:

             

     (4)HADOOP的安装以及配置文件的配置:

首先我也将hadoop-2.6.5.tar.gz放到了tools文件夹下,为了方便后续的配置,我再根目录下创建了一个bigdata的文件夹用来存放相关的工具:

mkdir  /bigdata

然后将hadoop的压缩包解压到/bigdata目录下:tar -zxvf hadoop=2.5.6.tar.gz -C /bigdata

修改/etc/hosts文件修改虚拟机名称:加入最后一行的内容

然后需要配置一下对/bigdata/hadoop-2.6.5/etc/hadoop下的几个文件进行配置具体各个配置文件内容如下:

1)core-site.xml文件:

             2)mapred-site.xml

\

            3)yarn-site.xml 文件

4)配置hdfs-site.xml


格式化hdfs: 

进入到/bigdata/hadoop-2.6.5/sbin 目录,然后执行命令:./hdfs namenode -format 然后执行成功后会在 ./bigdata目录下生成tem文件夹,如果生成了说明命令执行成功,注意如果要重新格式化,之前最好是先删掉tem文件目录(否则多次格式化后,在启动./start-dfs.sh脚本时可能会报错);

启动start-dfs.sh脚本:

再进入/bigdata/hadoop-2.6.5/sbin然后执行命令./start-dfs.sh命令 ,在弹出的命令行中出入yes后,会需要输入三次root的用户的密码,这是有序linux在底层创建SecondaryNameNode、 DataNode、NameNode时采用SSH登陆的形式(具体我也不太明白),可以设置成SSH免登陆的形式,后续会再研究

执行成功后,执行命令 jps查看,会查看到有三个进程存在:

启动start-yarn.sh脚本:

脚本启动成功后会看到两个进行:

至此hadoop的启动已经成功:

可以打开浏览器登录查看hadoop的管理界面:

              输入:http://192.168.152.128:50070  前面是虚拟机的IP地址,50070为hadoop的默认端口号,对于之前配置的9000为hadoop的底层通信的端口号不是访问请求的端口号:

    同时也可以访问yarn的管理页面 将端口号改为8088即可:http://192.168.152.128:8088:



至此本次hadoop启动成功!

新手初学,有部队的地方还望多担待!

猜你喜欢

转载自blog.csdn.net/xiongmaodeguju/article/details/72049648
今日推荐