Apache Hadoop 完全分布式集群 搭建

其他 2020-10-16 14:02:50 阅读次数: 0

centos7实现免密登录

在node01上生产一对钥匙（公钥和私钥）

首先在root用户下，执行ssh-keygen -t rsa，一路回车，接着会产生在/root目录下会产生.ssh目录

查看 .ssh 目录，会发现它下面生成了两个 id_rsa ， id_rsa.pub文件
ssh-copy-id node01
ssh-copy-id node02
ssh-copy-id node03
同理其它节点也一样

虚拟机环境准备

  1. 三台虚拟机（静态IP，关闭防火墙，修改主机名，配置免密登录，集群时间同步）
  2. 在/opt目录下创建文件夹
mkdir -p /opt/lagou/software --软件安装包存放目录
mkdir -p /opt/lagou/servers --软件安装目录

  1. Hadoop下载地址
    https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/
    http://hadoop.apache.org/

  2. 上传hadoop安装文件到/opt/lagou/software

集群规划

在这里插入图片描述

安装Hadoop

登录linux121节点；进入/opt/lagou/software,解压安装文件到/opt/lagou/servers

tar -zxvf hadoop-2.9.2.tar.gz -C /opt/lagou/servers
  • 查看是否解压成功
ll /opt/lagou/servers/hadoop-2.9.2
  • 添加Hadoop到环境变量 vim /etc/profile
##HADOOP_HOME
export HADOOP_HOME=/opt/lagou/servers/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
  • 使环境变量生效
source /etc/profile
  • 验证hadoop
hadoop version

在这里插入图片描述

  • hadoop目录
    在这里插入图片描述
  1. bin目录:对Hadoop进行操作的相关命令，如hadoop,hdfs等
  2. etc目录：Hadoop的配置文件目录，入hdfs-site.xml,core-site.xml等
  3. lib目录：Hadoop本地库（解压缩的依赖）
  4. sbin目录：存放的是Hadoop集群启动停止相关脚本，命令
  5. share目录：Hadoop的一些jar,官方案例jar，文档等

集群配置

Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置

  • HDFS集群配置
  1. 将JDK路径明确配置给HDFS（修改hadoop-env.sh）
  2. 指定NameNode节点以及数据存储目录（修改core-site.xml）
  3. 指定SecondaryNameNode节点（修改hdfs-site.xml）
  4. 指定DataNode从节点（修改etc/hadoop/slaves文件，每个节点配置信息占一行）
  • MapReduce集群配置
  1. 将JDK路径明确配置给MapReduce（修改mapred-env.sh）
  2. 指定MapReduce计算框架运行Yarn资源调度框架（修改mapred-site.xml）
  • Yarn集群配置
  1. 将JDK路径明确配置给Yarn（修改yarn-env.sh）
  2. 指定ResourceManager老大节点所在计算机节点（修改yarn-site.xml）
  3. 指定NodeManager节点（会通过slaves文件内容确定）

集群配置具体步骤：

  • HDFS集群配置
cd /opt/lagou/servers/hadoop-2.9.2/etc/hadoop

配置：hadoop-env.sh
将JDK路径明确配置给HDFS
vim hadoop-env.sh
在这里插入图片描述
在这里插入图片描述

export JAVA_HOME=/usr/local/jdk1.8.0_261
  • 指定NameNode节点以及数据存储目录（修改core-site.xml）

vim core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://linux121:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value>
</property>

core-site.xml的默认配置
https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/coredefault.xml

指定secondarynamenode节点(修改hdfs-site.xml)
vim hdfs-site.xml
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>linux123:50090</value>
</property>
<!--副本数量 -->
<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>

官方默认配置
https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-hdfs/hdfsdefault.xml

  • 指定datanode从节点(修改slaves文件，每个节点配置信息占一行)
vim slaves
linux121
linux122
linux123

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

MapReduce集群配置

指定MapReduce使用的jdk路径（修改mapred-env.sh）

vim mapred-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_261

在这里插入图片描述

  • 指定MapReduce计算框架运行Yarn资源调度框架(修改mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定MR运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

mapred-site.xml默认配置
https://hadoop.apache.org/docs/r2.9.2/hadoop-mapreduce-client/hadoop-mapreduceclient-core/mapred-default.xml

Yarn集群配置

指定JDK路径
vim yarn-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_261
指定ResourceMnager的master节点信息(修改yarn-site.xml)

vim yarn-site.xml
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>linux123</value>
</property>
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

yarn-site.xml的默认配置
https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-common/yarndefault.xml
指定NodeManager节点（slaves文件已修改）
注意：
Hadoop安装目录所属用户和所属用户组信息，默认是501 dialout，而我们操作Hadoop集群的用户使
用的是虚拟机的root用户，
所以为了避免出现信息混乱，修改Hadoop安装目录所属用户和用户组！

chown -R root:root /opt/lagou/servers/hadoop-2.9.2

分发配置

编写集群分发脚本rsync-script
rsync 远程同步工具
rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文
件都复制过去。

rsync -rvl $pdir/$fname $user@$host:$pdir/$fname

命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称
2. 选项参数说明
在这里插入图片描述
3. 三台虚拟机安装rsync (执行安装需要保证机器联网)

[root@linux121 ~]# yum install -y rsync

2.把linux121机器上的/opt/lagou/software目录同步到linux122服务器的root用户下的/opt/目录

[root@linux121 opt]$ rsync -rvl /opt/lagou/software/ root@linux122:/opt/lagou/software
集群分发脚本编写
  1. 需求：循环复制文件到集群所有节点的相同目录下

rsync命令原始拷贝

rsync -rvl /opt/module root@linux123:/opt/

期望脚本 脚本+要同步的文件名称
3. 说明：在/usr/local/bin这个目录下存放的脚本，root用户可以在系统任何地方直接执行。
4. 脚本实现
（1）在/usr/local/bin目录下创建文件rsync-script，文件内容如下

[root@linux121 bin]$ touch rsync-script
[root@linux121 bin]$ vim rsync-script

#!/bin/bash
#1 获取命令输入参数的个数，如果个数为0，直接退出命令
paramnum=$#
if((paramnum==0)); then
echo no params;
exit;
fi
#2 根据传入参数获取文件名称
p1=$1
file_name=`basename $p1`
echo fname=$file_name
#3 获取输入参数的绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取用户名称
user=`whoami`
#5 循环执行rsync
for((host=128; host<135; host++)); do
echo ------------------- linux$host --------------
rsync -rvl $pdir/$file_name $user@linux$host:$pdir
done
  • 修改脚本 rsync-script 具有执行权限
chmod 777 rsync-script
  • 调用脚本形式：rsync-script 文件名称
rsync-script /home/root/bin

调用脚本分发Hadoop安装目录到其它节点

rsync-script /opt/lagou/servers/hadoop-2.9.2

启动集群

注意：如果集群是第一次启动，需要在Namenode所在节点格式化NameNode，非第一次不用执行格式化Namenode操作！！

单节点启动
hadoop namenode -format

在这里插入图片描述
在这里插入图片描述

  • 在linux121上启动NameNode
hadoop-daemon.sh start namenode
 jps
  • 在linux121、linux122以及linux123上分别启动DataNode
    在这里插入图片描述
    在这里插入图片描述
  1. web端查看Hdfs界面
    http://192.168.181.135:50070/dfshealth.html#tab-overview
    在这里插入图片描述

Yarn集群单节点启动

在这里插入图片描述
Hadoop集群每次需要一个一个节点的启动，如果节点数增加到成千上万个怎么办？

集群群起

  1. 如果已经单节点方式启动了Hadoop,可以先停止之前的启动的Namenode与Datanode进程,如果
    之前Namenode没有执行格式化，这里需要执行格式化!!!
hadoop namenode -format

在这里插入图片描述
在这里插入图片描述
注意：NameNode和ResourceManger不是在同一台机器，不能在NameNode上启动 YARN，应该
在ResouceManager所在的机器上启动YARN

Hadoop集群启动停止命令汇总

  1. 各个服务组件逐一启动/停止
    分别启动/停止HDFS组件
hadoop-daemon.sh start / stop namenode / datanode / secondarynamenode
  1. 启动/停止YARN
yarn-daemon.sh start / stop resourcemanager / nodemanager
  1. 各个模块分开启动/停止（配置ssh是前提）常用

整体启动/停止HDFS


start-dfs.sh / stop-dfs.sh

整体启动/停止YARN


start-yarn.sh / stop-yarn.sh

集群测试

  1. HDFS 分布式存储初体验
    从linux本地文件系统上传下载文件验证HDFS集群工作正常
hdfs dfs -mkdir -p /test/input
#本地hoome目录创建一个文件
cd /root
vim test.txt
hello hdfs
#上传linxu文件到Hdfs
hdfs dfs -put /root/test.txt /test/input
#从Hdfs下载文件到linux本地
hdfs dfs -get /test/input/test.txt
  1. MapReduce 分布式计算初体验
    在HDFS文件系统根目录下面创建一个wcinput文件夹
[root@linux121 hadoop-2.9.2]$ hdfs dfs -mkdir /wcinput

在/root/目录下创建一个wc.txt文件(本地文件系统)

[root@linux121 hadoop-2.9.2]$ cd /root/
[root@linux121 wcinput]$ touch wc.txt
  1. 编辑wc.txt文件
hadoop mapreduce yarn
hdfs hadoop mapreduce
mapreduce yarn lagou
lagou
lagou
  1. 上传wc.txt到Hdfs目录/wcinput下
hdfs dfs -put wc.txt /wcinput

回到Hadoop目录/opt/lagou/servers/hadoop-2.9.2
执行程序
/opt/lagou/servers/hadoop-2.9.2/share/hadoop/mapreduce

hadoop jar hadoop-mapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput

查看结果

[root@linux121 hadoop-2.9.2]$ hdfs dfs -cat /wcoutput/part-r-00000
hadoop 2
hdfs 1
lagou 3
mapreduce 3
yarn 2

配置历史服务器

在Yarn中运行的任务产生的日志数据不能查看，为了查看程序的历史运行情况，需要配置一下历史日志
服务器。具体配置步骤如下

    1. 配置mapred-site.xml 增加
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>linux121:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>linux121:19888</value>
</property>

完整

<configuration>
 <!-- 指定MR运行在Yarn上 -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
<!-- 历史服务器端地址 -->
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>linux135:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>linux135:19888</value>
</property>

</configuration>

. 分发mapred-site.xml到其它节点
rsync-script mapred-site.xml

  • 启动历史服务器
sbin/mr-jobhistory-daemon.sh start historyserver

查看历史服务器是否启动
在这里插入图片描述

查看JobHistory

http://192.168.181.135:19888/jobhistory
在这里插入图片描述

配置日志的聚集

日志聚集：应用(Job)运行完成以后，将应用运行日志信息从各个task汇总上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和
HistoryManager。
开启日志聚集功能具体步骤如下：

  • 配置yarn-site.xml
    增加
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
  • 完整
<configuration>

<!-- Site specific YARN configuration properties -->
  <!-- 指定YARN的ResourceManager的地址 -->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>linux128</value>
</property>
<!-- Reducer获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
</property>

</configuration>
  • 分发
rsync-script yarn-site.xml
  1. 关闭NodeManager 、ResourceManager和HistoryManager
[root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh stop resourcemanager
[root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh stop nodemanager
[root@linux121 hadoop-2.9.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver

或者使用群关
stop-yarn.sh
4. 启动NodeManager 、ResourceManager和HistoryManager

[root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh start resourcemanager
[root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh start nodemanager
[root@linux121 hadoop-2.9.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

或者
start-yarn.sh

  1. 删除HDFS上已经存在的输出文件
[root@linux121 hadoop-2.9.2]$ bin/hdfs dfs -rm -R /wcoutput
  1. 执行WordCount程序
hadoop jar hadoop-mapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput
  1. 访问日志
    http://192.168.181.135:19888/jobhistory
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/ko0491/article/details/109030804
今日推荐
开源日报 | Chrome内置Gemini的意义不在于Gemini；中国AI追随之路的五大误区；ECharts创始人“下海”养鱼；谷歌I/O开发者大会什么都有，只是没有惊喜
微软回应中国区AI团队“打包赴美”传闻
基于大语言模型的开源知识库问答系统 MaxKB GitHub Star 数量突破 5,000 个！
美国拟限制 AI 大模型出口中国和俄罗斯
苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone
openKylin 社区生态委员会第六次会议圆满召开
阿里云正式发布通义千问 2.5
Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器
Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号
Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作
《2024 年一季度互联网投融资运行情况》研究报告
报告：Django 仍然是 74% 开发者的首选
周排行
返回指定时间格式
fopen函数中的mode参数
Java 单例模式探讨
Flex remoteobject工作原理探讨
寻找mplayer的便捷安装方法
30天了解30种技术系列---(26)MySQL自动化运维工具Inception
关于Jboss/Tomcat/Jetty的JNDI定义123
程序减肥，strip，eu-strip 及其符号表
AsyncTask、View.post(Runnable)、ViewTreeObserver三种方式总结frame animation自动启动
Json和Bean的互相转换
每日归档
更多
2024-05-15(24)
2024-05-14(0)
2024-05-13(18)
2024-05-12(0)
2024-05-11(38)
2024-05-10(38)
2024-05-09(35)
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022