Hadoop集群安装环境准备

1、创建虚拟机(Vmware)

2、最小化(mini)安装Linux操作系统

3、克隆系统

1、通过克隆,迅速创建另外三台系统

4、配置虚拟网络

集群中的机器需要网络互通,因此搭建集群之前需要配置好网络。

1、首先将虚拟机网络设置为NAT模式,选择NAT模式(VMnet8)

2、使用Nat模式,通过Vmware虚拟出一块网卡,虚拟网卡通过物理网卡上网,集群中的机器可以通过虚拟出的网卡互通与上网

优点:即使换了网络比如在家中和在公司,hadoop集群的网络不受影响,不用再次修改网络设置

(1)打开虚拟网络编辑器,设置网关

选择NAT模式,设置子网IP和子网掩码,修改成你想修改成的网段,比如我设置的网关192.168.33.1

3、修改4台虚拟机的主机名,分别为mini1,mini2,mini3,mini4

修改主机名(重启后永久生效)
vi /ect/sysconfig/network

4、分别修改4台机器的IP

修改IP(重启后永久生效)
vi /etc/sysconfig/network-scripts/ifcfg-eth0

192.168.33.61

192.168.33.62

192.168.33.63

192.168.33.64

5、重启网络

service network restart

5、使用SSH客户端远程连接Linux系统

通常服务器与工作地址不在一起,需要远程连接

这里使用SecureCRT,打开连接窗口,输入需要连接的机器IP、用户名(初学可用root直接操作系统,随后可添加操作用户)

6、配置host映射

配置host映射后,虚拟Linux之间可以通过主机名相互访问,更加便捷

机器之间首先是通过寻找host文件中的IP对应的主机名来寻找机器,因此在host中配置了IP和主机名的映射,机器之间就可以通过主机名访问了

配置文件为“/etc/hosts”,注意,配置多台,因为要相互访问

7、配置免密登陆

因hadoop集群中,涉及到一个Name Node节点,一个Secondary NameNode节点和多个Data Node节点,通过SSH免密登陆到其它节点,可实现SSH远程登录到其他节点启动软件进程脚本,而不需要人工重复多次输入密码。

1、使用mini安装的Linux没有ssh客户端工具,需要先安装

yum  -y  install  openssh*

2、创建密钥对,将公钥拷贝到需要远程无秘登录的机器

(1)在mini1上,进入到 home目录下:cd ~/.ssh

(2)生成密钥对:ssh-keygen

(3)将公钥拷贝到远程登录机器上,需要远程登录的都需要要拷贝:ssh-copy-id mini2, ssh-copy-id mini3, ssh-copy-id mini4

附上免密登陆原理图:

8、防火墙配置

学习期间,暂时选择关闭防火墙和防火墙开机自启动

1、关闭防火墙:service iptables stop

2、关闭防火墙自启动:chkconfig iptables off   关掉指定服务的自动启动

9、安装配置JDK

1、上传:按下快捷键alt+p 后出现sftp窗口,然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz(也可直接拖文件到上传窗口)

2、解压JDK

    tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app

3、配置环境变量

        vim /etc/profile
        #在文件最后添加
        export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
        export PATH=$PATH:$JAVA_HOME/bin

4、生效配置

    source /etc/profile

猜你喜欢

转载自blog.csdn.net/weixin_36490014/article/details/81322090