ECS服务器搭建hadoop伪分布式(图文并茂)

编程语言 2019-01-18 17:32:03 阅读次数: 0

前提准备

1）阿里云ECS服务器Centos7.5

2）Xshell或者其他和Linux交互的软件（本文用的Bitvise SSH软件）

我用的是Bitvise SSH

Bitvise SSH下载

Bitvise SSH使用   里面有讲SSH软件怎么用

3）最好会vim操作（不会也没问题）

不会的用软件把需要修改的文件下载下到本地修改完毕后在上传回去覆盖原来的文件

4）hadoop-x.x.x.tar.gz   

我用的是  hadoop-2.7.2.tar.gz    下载2.7.2链接

5）一颗想着快照的心，一颗想着快照的心，一颗想着快照的心

搭建细节介绍

打算搭建之前请先快照一下

打算搭建之前请先快照一下

打算搭建之前请先快照一下

注意是在哪个路径下进行一些操作

hadoop我安装在    /opt/module    文件下

我使用的是root用户

如果你发现没有某某文件，就是你当前在的路径不是对

写的优点啰嗦，请注意阅读

搭建流程

将ECS服务器快照一下

创建快照

回滚快照

用SSH软件和ECS服务器建立连接

（无法用语言表达）

安装宝塔界面（宝塔面板和Linux就和应用宝和手机的关系）

宝塔面板官网    在官网最下面有各种Linux系统安装宝塔的代码

yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh

中间有问你是否yes or no,安装要求输入yes或者y

到下面就显示成功了，记住下面的url，账号，密码 

把上面的url打开并且输入账号密码就出现下面的图

在箭头处可以修改账号密码

安装jdk并且配置环境变量

选择安装tomcat就安装好JDK了

jdk默认安装的路径是下图

修改/etc/profile文件，在最后，最后，最后加上下面的的java_home配置 

通过vim操作或者把文件下载下来修改在上传覆盖

#JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin

让修改后的文件生效

[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# source /etc/profile

查看JDK是否安装成功

java -version

安装hadoop并且配置环境变量

进入  /opt/ 下创建两个文件夹

[root@iZm5ea99qngm2v98asii1aZ opt]# cd /opt/
[root@iZm5ea99qngm2v98asii1aZ opt]# mkdir software
[root@iZm5ea99qngm2v98asii1aZ opt]# mkdir module
[root@iZm5ea99qngm2v98asii1aZ opt]#

用软件将hadoop-2.7.2.tar.gz文件上传到  /opt/software/   下

[root@iZm5ea99qngm2v98asii1aZ opt]# pwd
/opt
[root@iZm5ea99qngm2v98asii1aZ opt]# cd software/
[root@iZm5ea99qngm2v98asii1aZ software]# ls
hadoop-2.7.2.tar.gz
[root@iZm5ea99qngm2v98asii1aZ software]#

将压缩包解压到   /opt/module/  下

tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

获取hadoop安装路径  /opt/module/hadoop=2.7.2

[root@iZm5ea99qngm2v98asii1aZ module]# cd /opt/module/hadoop-2.7.2/
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# pwd
/opt/module/hadoop-2.7.2
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]#

配置hadoop环境变量（修改 /etc/profile）(在最后加，和上面的配置JAVA_HOME一样)

可以vim操作，可以将文件下载到本地修改完后在上传覆盖原来的文件

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

让修改后的文件生效

[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# source /etc/profile

查看hadoop是否安装成功

[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# hadoop

伪分布式运行模式

修改hadoop的配置文件

修改/opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_121

修改/opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml

注意：hdfs://abcdefg:9000          abcdefg处填写你的如下图部分

<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://iZm5ea99qngm2v98asii1aZ:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

 

修改/opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

启动集群

进入/opt/module/hadoop-2.7.2目录

[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# cd /opt/module/hadoop-2.7.2

格式化NameNode（第一次启动时格式化，以后就不要格式化）

[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# bin/hdfs namenode -format

启动NameNode

[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# sbin/hadoop-daemon.sh start namenode

启动DateNode

[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# sbin/hadoop-daemon.sh start datanode

查看是否启动成功

[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# jps

web端查看HDFS文件系统

1开放端口9000,50070

见下面常见问题

2 访问url

http://你的IP地址/dfshealth.html#tab-overview

到这里ECS搭建hadoop伪分布式已经搭建完毕

配置并启动YARN

前提：

修改配置文件

修改/opt/module/hadoop-2.7.2/etc/hadoop/yarn-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_121

修改前

修改后

修改/opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml

注意：第二value值是

<!-- Reducer获取数据的方式 -->
<property>
 		<name>yarn.nodemanager.aux-services</name>
 		<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>iZm5ea99qngm2v98asii1aZ</value>
</property>

修改/opt/module/hadoop-2.7.2/etc/hadoop/mapred-env.sh

修改JAVA_HOME和上面修改操作一致，不在重复

修改/opt/module/hadoop-2.7.2/etc/hadoop/mapred-site.xml（敲黑板）

1）将mapred-site.xml.template重新命名为mapred-site.xml

进入 /opt/module/hadoop-2.7.2/etc/hadoop

[root@iZm5ea99qngm2v98asii1aZ hadoop]# cd /opt/module/hadoop-2.7.2/etc/hadoop

对文件重命名 

[root@iZm5ea99qngm2v98asii1aZ hadoop]# mv mapred-site.xml.template mapred-site.xml

2）修改配置文件mapred-site.xml

<!-- 指定MR运行在YARN上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

修改后如图所示 

启动集群

启动前必须保证NameNode和DataNode已经启动

返回到/opt/module/hadoop-2.7.2目录下

[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# cd /opt/module/hadoop-2.7.2

启动ResourceManager

[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# sbin/yarn-daemon.sh start resourcemanager

启动NodeManager

[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# sbin/yarn-daemon.sh start nodemanager

开放8088端口

操作见最后常见问题

YARN的浏览器页面查看

http://你的IP:8088/cluster

配置历史服务器

修改/opt/module/hadoop-2.7.2/etc/hadoop/mapred-site.xml

<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>iZm5ea99qngm2v98asii1aZ:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>iZm5ea99qngm2v98asii1aZ:19888</value>
</property>

启动历史服务器

注意： 在  /opt/module/hadoop-2.7.2   下

[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# sbin/mr-jobhistory-daemon.sh start historyserver

 开放19888端口

见下面常见问题

查看JobHistory

http://你的IP:19888/jobhistory

常见问题

忘记ECS服务器密码

更多--》修改密码

开放端口（两处都要修改）

1 在阿里云界面修改安全组开放端口

2 在宝塔界面开放端口

猜你喜欢

转载自blog.csdn.net/qq_37171353/article/details/86533886
今日推荐
《美国对全球网络空间安全与发展的威胁和破坏》报告发布
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
周排行
循环神经网络（rnn）讲解
Tigao教程四：单独的关节运动
金蝶K3WISE15.0-注册套打教程
如何在Mac上配置Kubernetes
Android应用结束自身进程的方法
SpringMVC学习 十三 拦截器栈
中国驻洛杉矶总领馆举行新春招待会
HttpClient get post 发送
11 - three.js 笔记 - 绘制三维字体模型
Mysql递归获取某个父节点下面的所有子节点和子节点上的所有父节点
每日归档
更多
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)
2024-04-22(39)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022