史无前例详细从零开始安装Hadoop集群

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/flyinthesky111/article/details/79236486

1.安装一个VM虚拟机管理工具。(这个网上自行下载,傻瓜式一键安装就好)

2.配置VM的环境


2.1配置Windows中vmnet8网卡的ip配置


3.创建一个虚拟机(空白的虚拟机,稍后用自己的ISO镜像文件装系统)

4.安装Linux的虚拟机系统(虚拟机的设置中按照如下进行设置)


5.启动Linux系统,进行基础配置

安装本地yum源

先确保虚拟机的驱动已经连接(在虚拟机的可移动设备的cd/dvd那一栏打√)

然后执行命令:

mkdir /mnt/cdrom   

mount -t iso9660 -o loop /dev/cdrom /mnt/cdrom

检查是否成功: ls /mnt/cdrom  看看有没有文件

配置yum源地址,只想  /mnt/cdrom   

 cd /etc/yum.repos.d/

 rename .repo .repo.bak *

 cp CentOS-Media.repo.bak cdrom.repo

 vi cdrom.repo


安装ssh工具包

yum install -y openssh.x86_64 openssh-clients.x86_64

6.配置Linux的网络环境

配置ip



配置主机名

 vi /etc/sysconfig/network

 改成hadoop01

配置域名映射

vi/etc/hosts


关闭 防火墙

service iptables stop

chkconfig iptables off

用远程连接工具连接虚拟机hadoop01(连接之前,保证Windows和虚拟机之间能够相互ping通)


ping通后就用crt远程连接工具连接到虚拟机

连接之后开始安装JDK

上传jdk的安装包到hadoop01 上,然后建一个apps目录,来解压安装包


解压完成后,配置JAVA_HOME 和PATH变量

vi /etc/profile

 

克隆虚拟机

hadoop01克隆出hadoop02hadoop03

然后,在hadoop0203上进行网卡的配置

首先,删除老的eth0网卡,将新的eth1网卡改名为eth0


结果


修改eth0的ip地址

vi /etc/sysconfig/network-scripts/ifcfg-eth0


结果如下


修改主机名

vi /etc/sysconfig/network

02就改成hadoop02

03 就改成hadoop03

安装Hadoop

上传安装包到hadoop01上  解压到apps目录下


修改配置文件

配置文件在:/root/apps/hadoop-2.8.1/etc/hadoop

 vi hadoop-env.sh


vi core-site.xml


vi hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>/root/dfsdata/name/</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/root/dfsdata/data/</value>

</property>

</configuration>

拷贝安装目录到hadoop0203

scp -r hadoop-2.8.1/ hadoop03:$PWD

启动HDFS

在三台机器上将hadoop的目录都配置到/etc/profile下

vi/etc/profile

export JAVA_HOME=/root/apps/jdk1.8.0_60

export HADOOP_HOME=/root/apps/hadoop-2.8.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后  :source/etc/profile

格式化namenode       : 

 hadoop namenode -format

启动namenode:   

hadoop-daemon.sh start namenode

启动datanode:

hadoop-daemon.sh start datanode

去web界面访问namenode节点的50070端口 查看状态














猜你喜欢

转载自blog.csdn.net/flyinthesky111/article/details/79236486
今日推荐