部署Hadoop环境(一)linux环境准备与设置

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/weixin_42738043/article/details/86220528
  • Linux系统常规设置

Linux系统安装这里就不再详细讲解,不熟悉的同学可以参考VMware12安装Centos7超详细过程,接下来我们重点了解Linux系统常规设置。

1、设置ip地址

刚安装的centos7,一开始是dhcp但是由于重启机器ip可能会变,所以想使用静态ip,查了一些资料,综合了很多资料才配置好,下面说一下配置的步骤:

1)编辑/etc/sysconfig/network-scripts/ifcfg-ens33

sudo  vi  /etc/sysconfig/network-scripts/ifcfg-ens33

2)修改BOOTPROTO=static

3)修改或添加IPADDR=192.168.1.11(这个根据自己的情况 而定,我的主机的ip是192.168.1.1,所以我的这个ip可以设置为192.168.1.(1~255之间的,但不能和宿主机的ip重复))

4)修改或添加GATEWAY=192.168.1.1(这个是根据主机的默认网关一致的)

5) 修改 或添加ONBOOT="yes"

6)修改 或添加DNS1=8.8.8.8,也可以多写几个依次为DNS2,DNS3,常用的多是114.114.114.114或者8.8.8.8或者8.8.4.4等

7)重启网络

service network restart

8)重启机器

reboot

2、创建用户

大数据项目开发中,一般不直接使用root用户,需要我们创建新的用户来操作,比如jaleel。

a)创建用户命令

adduser kfk

b)设置用户密码命令

passwd kfk

3)文件中设置主机名

Linux系统的主机名默认是localhost,显然不方便后面集群的操作,我们需要手动修改Linux系统的主机名。

        a)查看主机名命令

hostname

        b)修改主机名称

vi /etc/hostname

4)主机名映射

如果想通过主机名访问Linux系统,还需要配置主机名跟ip地址之间的映射关系。

vi /etc/hosts

192.168.1.11 jaleel1

配置完成之后,reboot重启Linux系统即可。

如果需要在windows也能通过hostname访问Linux系统,也需要在windows下的hosts文件中配置主机名称与ip之间的映射关系。在windows系统下找到C:\WINDOWS\system32\drivers\etc\路径,打开HOSTS文件添加如下内容:

192.168.1.1 jaleel1

5)root用户下设置无密码用户切换

在Linux系统中操作是,kfk用户经常需要操作root用户权限下的文件,但是访问权限受限或者需要输入密码。修改/etc/sudoers这个文件添加如下代码,即可实现无密码用户切换操作。

vi /etc/sudoers

#添加如下内容即可

kfk ALL=(root)NOPASSWD:ALL

6)关闭防火墙

查看防火墙状态

firewall-cmd --state

停止firewall

systemctl stop firewalld.service

禁止firewall开机启动

systemctl disable firewalld.service 

关闭selinux 
进入到/etc/selinux/config文件

vi /etc/selinux/config

将SELINUX=enforcing改为SELINUX=disabled

7)卸载Linux本身自带的jdk

一般情况下jdk需要我们手动安装兼容的版本,此时Linux自带的jdk需要手动删除掉,具体操作如下所示:

a)查看Linux自带的jdk

rpm -qa|grep java

b)删除Linux自带的jdk

rpm -e --nodeps [jdk进程名称1 jdk进程名称2 ...]

2.克隆虚拟机并进行相关的配置

前面我们已经做好了Linux的系统常规设置,接下来需要克隆虚拟机并进行相关的配置。

1)kfk用户下创建我们将要使用的各个目录

#软件目录

mkdir /opt/softwares

#模块目录

mkdir /opt/modules

#工具目录

mkdir /opt/tools

#数据目录

mkdir /opt/datas

2)jdk安装

大数据平台运行环境依赖JVM,所以我们需要提前安装和配置好jdk。 前面我们已经安装了64位的centos系统,所以我们的jdk也需要安装64位的,与之相匹配

a)将jdk安装包通过工具上传到/opt/softwares目录下

b)解压jdk安装包

#解压命令

tar -zxf jdk-7u67-linux-x64.tar.gz /opt/modules/

#查看解压结果

ls

jdk1.7.0_67

c)配置Java 环境变量

vi /etc/profile

export JAVA_HOME=/opt/modules/jdk1.7.0_67

export PATH=$PATH:$JAVA_HOME/bin

d)查看Java是否安装成功

java -version

java version "1.7.0_67"

Java(TM) SE Runtime Environment (build 1.7.0_67-b15)

Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)

3)克隆虚拟机

在克隆虚拟机之前,需要关闭虚拟机,然后右键选中虚拟机——》选择管理——》选择克隆——》选择下一步——》选择下一步——》选择创建完整克隆,下一步——》选择克隆虚拟机位置(提前创建好),修改虚拟机名称为Hadoop-Linux-pro-2,然后选择完成即可。

然后使用同样的方式创建第三个虚拟机Hadoop-Linux-pro-3。

4)修改克隆虚拟机配置

克隆完虚拟机Hadoop-Linux-pro-2和Hadoop-Linux-pro-3之后,可以按照Hadoop-Linux-pro-1的方式配置好ip地址、hostname,以及ip地址与hostname之间的关系。

5) 两台虚拟机之间相互传文件:

例如代码在ip为192.168.1.1中的home/code路径下,复制到192.168.1.2中,在192.168.1.2的终端中运行一下命令

#scp是网络间的拷贝
#命令格式:
#scp [参数] [原路径] [目标路径]
scp -r [email protected]:/home/code ./

 

猜你喜欢

转载自blog.csdn.net/weixin_42738043/article/details/86220528