hadoop集群搭建前的准备

1. 修改主机名:

[root@localhost home]# sudo vi /etc/sysconfig/network
修改主机名:
hadoop集群搭建前的准备

2. 设置系统默认启动级别:

[root@localhost home]#vi /etc/inittab
改默认启动级别,3 是多用户模式,并且不启动图形界面
hadoop集群搭建前的准备

3. 配置 hadoop 用户 sudoer 权限:

这里使用普通用户hadoop,对Linux进行操作:
创建hadoop用户
[root@localhost home]# useradd hadoop
[root@localhost home]# passwd hadoop
对hadoop用户权限设置
[root@localhost home]# vi /etc/sudoers
hadoop集群搭建前的准备
加入:hadoop ALL=(ALL) ALL

4. 配置 IP:

[root@localhost home]# system-config-network #使用这个命令,之后傻瓜式配置

5. 关闭防火墙/关闭 Selinux

注意:这里是测试环境,所以直接关闭,如果是生产环境,请票配置防火墙策略
查看防火墙状态:service iptables status
关闭防火墙:service iptables stop
开启防火墙:service iptables start
重启防火墙:service iptables restart
关闭防火墙开机启动:chkconfig iptables off
开启防火墙开机启动:chkconfig iptables on
永久关闭selinux
[root@localhost home]# vim /etc/selinux/config
hadoop集群搭建前的准备

6. 添加内网域名映射

这里是根据自己的集群,以及IP去设置主机名和ip地址的映射关系:
[root@localhost home]#vi /etc/hosts
hadoop集群搭建前的准备

7. 安装 JDK

由于hadoop是用java编写的,所以在搭建hadoop平台前,一定要保证有java的环境

  • 上传 jdk-8u73-linux-x64.tar.gz
  • tar -zxvf jdk-8u73-linux-x64.tar.gz -C /usr/local #解压到/usr/local 目录下
  • 配置环境变量 vi /etc/profile:
    加入export JAVA_HOME=/usr/local/jdk1.8.0_73
    export PATH=$PATH:$JAVA_HOME/bin
  • source /etc/profile
  • 检测是否安装成功,输入命:java -version
    hadoop集群搭建前的准备

    8. 同步服务器时间

    由于是hadoop分布式的,每台集群之间需要通信,所以时间的同步时非常重要的步骤:
    这里使用的是定时任务的方式,进行定期的同步时间:
    [root@localhost home]#crontab -e
    加入:
    /5 /usr/sbin/ntpdate cn.pool.ntp.org >/dev/null 2>&1 #每5分钟同步一次

    9. 配置免秘钥登录:

    在集群规划之后的所有的节点下都需要配置,相互之间进行免秘钥登录:
    这里一定要切换到hadoop用户下,因为免秘钥登录是针对用户的:
    [hadoop@localhost home] ssh-keygen -t rsa
    [hadoop@localhost home]ssh-copy-id hostname
    使用上面两个命令实现免秘钥登录,一定注意,配置完成之后,需要测试。登录到其他的主机看看是否需要密码:
    hadoop集群搭建前的准备


这里提示一下:小编后续文章中的集群是3台测试机,主机名分别是:hadoop01、hadoop02、hadoop03,IP地址根据自己的网络配置,能ping通外网即可。

注意以上的9步完成之后,在看小编下面的文章,hadoop分布式和HA的集群搭建,不然会出现问题!!!

猜你喜欢

转载自blog.51cto.com/14048416/2341450
今日推荐