2.Spark大型电商项目-大数据环境搭建之CentOS 6.4集群

目录

实验环境 

创建虚拟机

安装CentOS

设置ip

获取动态ip

设置静态ip

配置hosts

使用Xshell连接虚拟机 

关闭防火墙 

安装jdk 

安装三节点虚拟机

配置集群Ssh免密码登陆


(由于本人的设备局限,并未使用这篇博文的方法搭建Linux集群,将本文转过来是保持博文的完整性。)

转载地址2.环境搭建-CentOS集群搭建

本文主要介绍在 Windows 宿主机上使用 VirtualBox 搭建三节点 CentOS 集群实验环境。

实验环境 

  • Windows 宿主机:Windows 10 企业版
  • VirtualBox 版本:VirtualBox 5.1.10
  • CentOS 版本:CentOS 6.4
  • Xshell 版本:Xshell 5

*本实验项目所需软件均可在百度网盘链接:http://pan.baidu.com/s/1dFeNR6h 密码:1zx4 中获取。

创建虚拟机

 
使用VirtualBox创建三台CentOS作为项目实验集群。

点击“新建”按钮开始创建虚拟机。

这里写图片描述 
填写虚拟机名称,选择类型为“Linux”,版本为“Red Hat(32-bit)”

这里写图片描述 
内存根据自己实际情况,尽可能选择大些。

这里写图片描述

这里写图片描述

这里写图片描述

选择目录和磁盘大小,目录位置后续会占用大量磁盘空间,根据自己磁盘实际情况选择。 
虚拟硬盘大小数值尽量设置大些,避免后续虚拟硬盘不足情况,实际占用本地硬盘会根据实际数量进行分配。

è¿éåå¾çæè¿°

 创建好虚拟机后在“设置”中设置“网络”连接方式为“桥接网卡”,并且在“界面名称”中根据实际使用的网卡进行选择(一般会自动匹配)。è¿éåå¾çæè¿°

在“存储”中选择磁盘镜像

安装CentOS

è¿éåå¾çæè¿°

 点击“启动”按钮,开始安装CentOS

è¿éåå¾çæè¿°

è¿éåå¾çæè¿°

选择“skip”

è¿éåå¾çæè¿°

è¿éåå¾çæè¿°

è¿éåå¾çæè¿° è¿éåå¾çæè¿°

è¿éåå¾çæè¿° è¿éåå¾çæè¿°

è¿éåå¾çæè¿°

 è¿éåå¾çæè¿°

è¿éåå¾çæè¿° 设置root密码

è¿éåå¾çæè¿°

如果密码较弱会弹出“Weak Password”提示,选择“Use Anyway”

è¿éåå¾çæè¿°

è¿éåå¾çæè¿° 选择“Write change to disk”

è¿éåå¾çæè¿°

è¿éåå¾çæè¿°

点击“Reboot”重启系统。

è¿éåå¾çæè¿°

使用root用户和root密码登陆

è¿éåå¾çæè¿°

设置ip

获取动态ip

vi /etc/sysconfig/network-script/ifcfg-eth0

DEVICE=eth0

TYPE=Ethernet

ONBOOT=yes

BOOTPROTO=dhcp 

service network restart

此时查看ip

ifconfig 

è¿éåå¾çæè¿°

设置静态ip

vi /etc/sysconfig/network-script/ifcfg-eth0

DEVICE=eth0

TYPE=Ethernet

ONBOOT=yes

BOOTPROTO=static

IPADDR=192.168.1.102

NETMASK=255.255.255.0

GATEWAY=192.168.1.1

IPADDR为之前动态ip分配的,GATEWAY根据自己情况填写

重启网卡

service network restart 

测试网络 

è¿éåå¾çæè¿°

配置hosts

vi /etc/hosts 

è¿éåå¾çæè¿°

配置宿主机(Windows主机)上的hosts 
在C:\Windows\System32\drivers\etc\hosts文件末尾添加

#sparkproject

192.168.1.102 sparkproject1

使用Xshell连接虚拟机 

è¿éåå¾çæè¿°

è¿éåå¾çæè¿°

è¿éåå¾çæè¿°

è¿éåå¾çæè¿°

可选择“记住用户名”和“记住密码”选项,以后可以直接登陆

è¿éåå¾çæè¿°

关闭防火墙 

service iptables stop

service ip6tables stop

service iptables status

service ip6tables status

chkconfig iptables off

chkconfig ip6tablesoff 

修改配置文件

vi /etc/selinux/config 

SELINUX=disabled 

安装jdk 

删除/usr/local/目录下的所有文件

è¿éåå¾çæè¿°

安装lrzsz传输工具

yum install lrzsz

传输jdk文件到/usr/local目录下

rz 

è¿éåå¾çæè¿°

è¿éåå¾çæè¿°

安装jdk

rpm -ivh jdk-7u65-linux-i586.rpm 

è¿éåå¾çæè¿°

配置jdk相关的环境变量

vi ~/.bashrc

export JAVA_HOME=/usr/java/latest

export PATH=$PATH:$JAVA_HOME/bin 

è¿éåå¾çæè¿°

使配置生效

source ~/.bashrc

测试jdk安装是否成功

java -version 

è¿éåå¾çæè¿°

删除网络配置文件

rm -f /etc/udev/rules.d/70-persistent-net.rules 

安装三节点虚拟机

 克隆或相同的方式再安装两台一模一样的虚拟机,hostname分别设置为sparkproject2和sparkproject3。

为避免出错,而且只是三节点,没有使用克隆,而是手动安装。

配置集群Ssh免密码登陆

 在各节点hosts中添加三台虚拟机的ip 

è¿éåå¾çæè¿°

Ping测试,三个节点能相互ping通 

è¿éåå¾çæè¿°

在三台机器上配置对本机的ssh免密码登录

ssh-keygen -t rsa

生成本机的公钥,过程中不断敲回车即可 

è¿éåå¾çæè¿°

将公钥复制为authorized_keys文件,此时使用ssh连接本机就不需要输入密码了

cd /root/.ssh

cp id_rsa.pub authorized_keys

è¿éåå¾çæè¿°

其他三个节点同样执行上述操作

配置三台机器互相之间的ssh免密码登录

ssh-copy-id -i sparkproject2

提示输入密码时输入相应节点的密码 

è¿éåå¾çæè¿°

然后在各节点上执行相应的操作 

è¿éåå¾çæè¿°

至此,三节点CentOS集群即搭建成功,后续会此基础上安装hadoop、zookeepr、kafka、flume和spak等集群。

猜你喜欢

转载自blog.csdn.net/someby/article/details/87889508
今日推荐