大数据学习总结（2021版）---Hadoop（入门）

其他 2021-03-21 06:26:44 阅读次数: 0

这里写目录标题

第 1 章 Hadoop 概述

  • 是一个分布式系统基础架构
  • 主要解决，海量数据的存储和海量数据的分析计算问题
  • Hadoop 特点：大量、高速、多样、低价值密度
  • Hadoop 优势（4 高）：高可靠性、高扩展性、高效性、高容错性

1.1 大数据部门业务流程分析、部门组织结构（重点）

在这里插入图片描述
在这里插入图片描述
平台组：主要做的就是数据的采集。保证每一个框架的稳定运行，偏技术

数据仓库组（需求量大）：

  • 数据清洗：实习生常做
  • HIVE工程师-数据分析、数据仓库建模：偏业务

数据挖掘组（发展好）：尽量往这个方向发展

1.2 Hadoop 组成（面试重点）

Hadoop1.x、2.x、3.x区别
在这里插入图片描述

1.2.1 HDFS 架构：分布式文件系统

NameNode（nn）、DataNode(dn)、SecondaryNameNode
在这里插入图片描述

1.2.2 YARN：Hadoop 的资源管理器

  • ResourceManager（RM）：整个集群资源（内存、CPU等）的老大
  • NodeManager（NM）：单个节点服务器资源老大（故每个节点都要部署）
  • ApplicationMaster（AM）：单个任务运行的老大
  • Container：容器，相当一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等
    在这里插入图片描述

1.2.3 MapReduce 架构：Map（并行处理数据） 和 Reduce（数据结果汇总）

MapReduce 将计算过程分为两个阶段：Map 和 Reduce

  • Map 阶段并行处理输入数据
  • Reduce 阶段对 Map 结果进行汇总

1.3 大数据技术生态体系

在这里插入图片描述
对于图中涉及的技术名词后续会单独学习

1.4 推荐系统框架图

在这里插入图片描述

1.5 HDFS、YARN、MapReduce 三者关系

在这里插入图片描述

扫描二维码关注公众号，回复： 12812408 查看本文章

第 2 章 Hadoop 运行环境搭建（开发重点）

2.1 虚拟机环境准备

1. 克隆虚拟机

2. 修改克隆虚拟机的静态IP

3. 修改主机名

4. 关闭防火墙

  • 关闭：systemctl stop firewalld
  • 开启：systemctl disable firewalld.service

5. 创建atguigu用户

6. 配置atguigu用户具有root权限，方便后期加 sudo 执行 root 权限的命令

[root@hadoop100 ~]# vim /etc/sudoers

修改/etc/sudoers 文件，在%wheel 这行下面添加一行，如下所示：

atguigu ALL=(ALL) NOPASSWD:ALL

7．在/opt目录下创建module、software文件夹,并修改所属用户和所属组
修改 module、software 文件夹的所有者和所属组均为 atguigu 用户

[root@hadoop100 ~]# chown atguigu:atguigu /opt/module 
[root@hadoop100 ~]# chown atguigu:atguigu /opt/software

8．卸载虚拟机自带的 JDK

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e 
--nodeps

9．重启虚拟机

2.2 克隆虚拟机（以下以 hadoop102 举例说明）

1．利用模板机 hadoop100，克隆三台虚拟机：hadoop102 hadoop103 hadoop104

2．修改克隆虚拟机的静态 IP

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

注意：保证 Linux 系统 ifcfg-ens33 文件中 IP 地址、虚拟网络编辑器地址和 Windows 系 统 VM8 网络 IP 地址相同

3．修改克隆机主机名

[root@hadoop100 ~]# vim /etc/hostname
hadoop102

4．配置 Linux 克隆机主机名称映射 hosts 文件，打开/etc/hosts

[root@hadoop100 ~]# vim /etc/hosts
添加如下内容
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104

5．重启克隆机 hadoop102
6．修改 windows 的主机映射文件（hosts 文件）

2.3 在 hadoop102 安装 JDK

1．卸载现有 JDK
注意：安装 JDK 前，一定确保提前删除了虚拟机自带的 JDK。

2．JDK 导入到 opt 目录下面的 software 文件夹下面

  • 用Xftp传输工具
    在这里插入图片描述
  • SecureCRT或Xshelll，进入需要jdk存放的路径，然后“alt+p”进入sftp模式，选择jdk1.8拖入
    在这里插入图片描述

3．解压 JDK 到/opt/module 目录下

[atguigu@hadoop102 software]$ tar -zxvf jdk-8u212-linuxx64.tar.gz -C /opt/module/

4．配置 JDK 环境变量
新建/etc/profile.d/my_env.sh 文件

[atguigu@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh
添加如下内容
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

注意：source 一下/etc/profile 文件，让新的环境变量 PATH 生效

[atguigu@hadoop102 ~]$ source /etc/profile

5．测试 JDK 是否安装成功，然后重启

2.4 在 hadoop102 安装 Hadoop

步骤：基本与安装jdk相同，配置环境变量时，在 my_env.sh 文件末尾添加如下内容

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

2.5 Hadoop 目录结构

[atguigu@hadoop102 hadoop-3.1.3]$ ll
总用量 52
drwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 bin
drwxr-xr-x. 3 atguigu atguigu 4096 5 月 22 2017 etc
drwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 include
drwxr-xr-x. 3 atguigu atguigu 4096 5 月 22 2017 lib
drwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 libexec
-rw-r--r--. 1 atguigu atguigu 15429 5 月 22 2017 LICENSE.txt
-rw-r--r--. 1 atguigu atguigu 101 5 月 22 2017 NOTICE.txt
-rw-r--r--. 1 atguigu atguigu 1366 5 月 22 2017 README.txt
drwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 sbin
drwxr-xr-x. 4 atguigu atguigu 4096 5 月 22 2017 share

重要目录
在这里插入图片描述

第 3 章 Hadoop 运行模式（完全分布式模式：开发重点）

分析：
1）准备 3 台客户机（关闭防火墙、静态 IP、主机名称） 2）安装 JDK
3）配置环境变量
4）安装 Hadoop
5）配置环境变量
6）配置集群
7）单点启动
8）配置 ssh
9）群起并测试集群

3.1编写集群分发脚本 xsync

1．在/home/atguigu/bin 目录下创建 xsync 文件

[atguigu@hadoop102 opt]$ cd /home/atguigu
[atguigu@hadoop102 ~]$ mkdir bin
[atguigu@hadoop102 ~]$ cd bin
[atguigu@hadoop102 bin]$ vim xsync

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
	 echo Not Enough Arguement!
	 exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
	 echo ==================== $host ====================
	 #3. 遍历所有目录，挨个发送
	 for file in $@
	 do
		 #4. 判断文件是否存在
		 if [ -e $file ]
			 then
			 	 #5. 获取父目录
				  pdir=$(cd -P $(dirname $file); pwd)
			 
				  #6. 获取当前文件的名称
			 	 fname=$(basename $file)
				  ssh $host "mkdir -p $pdir"
				  rsync -av $pdir/$fname $host:$pdir
			 else
			 	 echo $file does not exists!
	      fi
 	done
 done

2．修改脚本 xsync 具有执行权限

[atguigu@hadoop102 bin]$ chmod +x xsync

3．将脚本复制到/bin 中，以便全局调用

[atguigu@hadoop102 bin]$ sudo cp xsync /bin/

3.2 SSH 无密登录配置（配置好后，可直接“ssh 用户” 切换用户）

1．免密登录原理
在这里插入图片描述

2．生成公钥和私钥
在这里插入图片描述
.ssh 文件夹下（~/.ssh）的文件功能解释
在这里插入图片描述
在这里插入图片描述
3．将公钥拷贝到要免密登录的目标机器上

[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104

注意：每个节点都要这样操作！！！，并且用户之间不同，如需其他用户也要配置，采用相同的方法即可

3.3 集群配置

3.3.1 集群部署规划

在这里插入图片描述

3.3.2 配置文件（core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml）

  • Hadoop 配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值
  • 默认配置文件：文件存放在 Hadoop 的 jar 包中的位置
  • 自定义配置文件：core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml
  • 四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置

在集群上分发配置好的 Hadoop 配置文件

3.3.3 群起集群配置（一次启动多个节点）

1．配置 workers

[atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop-
3.1.3/etc/hadoop/workers

在该文件中增加如下内容：
hadoop102
hadoop103
hadoop104

记得同步所有节点！！

2．启动集群

  • 集群是第一次启动，需在 hadoop102 节点格式化 NameNode
[atguigu@hadoop102 hadoop-3.1.3]$ hdfs namenode -format
  • 启动 HDFS
[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
  • 在配置了 ResourceManager 的节点（hadoop103）启动 YARN
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

实操截图
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

3.4 集群基本测试

在HDFS上创建目录：
在这里插入图片描述
上传文件：
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

查看 HDFS 文件存储路径：

[atguigu@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-962968270-
192.168.10.102-1616034469344/current/finalized/subdir0/subdir0

在这里插入图片描述

3.5 配置历史服务器

1．配置 mapred-site.xml

2．分发配置

3．在 hadoop102 启动历史服务器

4．查看历史服务器是否启动在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

3.6 配置历史服务器

注意：开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和HistoryServer。

1．配置 yarn-site.xml

2．分发配置

3．关闭 NodeManager 、ResourceManager 和 HistoryServer

4．启动 NodeManager 、ResourceManage 和 HistoryServer

5．查看日志

第 4 章 集群启动/停止方式总结

4.1 各个模块分开启动/停止（配置 ssh 是前提）常用

（1）整体启动/停止 HDFS

start-dfs.sh/stop-dfs.sh

（2）整体启动/停止 YARN

start-yarn.sh/stop-yarn.sh

4.2 各个服务组件逐一启动/停止

（1）分别启动/停止 HDFS 组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）启动/停止 YARN

yarn --daemon start/stop resourcemanager/nodemanager

第 5 章 编写 Hadoop 集群常用脚本

5.1 Hadoop 集群启停脚本（包含 HDFS，Yarn，Historyserver）：myhadoop.sh

在这里插入图片描述

在这里插入图片描述

5.2 查看三台服务器 Java 进程脚本：jpsall

在这里插入图片描述

5.3 集群时间同步

  • 如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准；
  • 如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。

猜你喜欢

转载自blog.csdn.net/m0_51755061/article/details/115000237
今日推荐
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
国产云输入法——仅华为无云端数据上传安全问题
开源日报 | 工业开源项目OGG 1.0；姐姐，你要和我一起配置火狐吗；苹果AI遥遥落后？Fedora 40
开放签电子签章：停止新增，优化体验，前进更进（五一假期前工作）
周排行
Metasploit文件目录与入侵基本概念
跨域(CORS)请求问题[No 'Access-Control-Allow-Origin' header is present on the requested resource]常见解决方案
CodeIgniter 源码解读之 CodeIgniter.php（二）
SAS入门之（四）改变数据类型
初识元组
[数学建模]数学建模算法和模型（B站视频）（二）
Nginx 服务器源码安装配置流程
C#实现语音视频录制 【基于MCapture + MFile】
开发进度4
下载安装vue的方法网址
每日归档
更多
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)
2024-04-22(39)
2024-04-21(0)
2024-04-20(6)
2024-04-19(5)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022