Hadoop是一个开源的框架,可编写和运行分布式应用处理大规模数据,在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能,具有更灵活的处理能力。在大数据开发方面应用广泛,学习大数据开发,hadoop的相关知识点有哪些呢?
参考知识点来源:成都加米谷大数据开发培新课程
第五阶段:HDFS分布式文件系统
学习目标:HDFS原理剖析、HDFS编程
学习效果:深入理解HDFS的原理并灵活运用
HDFS原理剖析
1、HDFS概念
2、HDFS内核/读写原理
3、HDFS数据块
4、HDFS数据副本的存放策略
5、HDFS安全模式/负载均衡/机架感应
6、HDFS名称节点NameNode
7、HDFS第二名称节点SecondNameNode
8、HDFS高可用HA/联邦Federation
HDFS 编程实践
1、HDFS分布式文件读取
2、HDFS写入剖析/读取剖析组
3、HDFS一致模型/数据完整性
4、HDFS压缩/序列化
5、HDFS基于文件的数据结构
6、HDFS数据备份/网络拓扑
7、HDFS集群的构建和安装
8、HDFS配置管理/环境设置/安全性
9、文件系统操作Hadoop fs与hdfs dfs
第六阶段:MapReduce分布式计算模型
学习目标:MapReduce原理剖析、MapReduce实践
学习效果:熟练掌握MapReduce原理并灵活运用
MapReduce原理剖析
1、MapReduce产生背景
2、MapReduce适用场景
3、MapReduce基本原理
4、MapReduce作业执行流程
5、MapReduce基本组件
6、MapReduce JobTracker
7、MapReduce TaskTracker
MapReduce实践
1、MapReduce高级编程应用
2、MapReduce Combiner
3、MapReduce Partitioner
4、MapReduce性能优化技巧
5、MapReduce案例分析
6、MapReduce开发实践操作
第七阶段:Yarn分布式资源管理器
学习目标:Yarn原理剖析、Yarn实践
学习效果:深入理解Yarn的原理并调优
Yarn原理剖析
1、Yarn架构设计
2、Yarn核心原理
3、Yarn主节点ResourceManager
4、Yarn从节点NodeManager
5、Yarn从节点Container
6、Yarn的Application
第八阶段:Zookeeper分布式协调服务
学习目标:Zookeeper原理剖析、Zookeeper实践
学习效果:深入理解Zookeeper的原理并灵活运用
Zookeeper原理+实践
1、Zookeeper 介绍
2、Zookeeper核心原理
3、Zookeeper结构
4、Zookeeper Server
5、Zookeeper Client程
6、Zookeeper访问
7、Zookeeper常用访问工具
Hadoop本身是一个生态圈. 整个生态圈里包含了底层的分布式存储HDFS, 计算框架Mapreduce, 集群调度管理工具Zookeeper,集群资源管理工具YARN, 分布式数据库HBASE等。主要应用于数据量大的离线场景。
参考知识点来源:成都加米谷大数据开发培训课程。加米谷大数据机构由来自阿里、华为、京东、星环等国内知名企业的多位技术大牛联合创办,技术底蕴丰厚,勤奋创新,精通主流前沿大数据及人工智能相关技术。
第九阶段:Hbase分布式数据库
学习目标:Hbase原理剖析、Hbase编程实践
学习效果:深入理解Hbase的原理并灵活运用及调优
Hbase原理剖析
1、Hbase存储原理
2、Hbase列式存储原理
3、Hbase稀疏存储设计
4、Hbase KeyValue存储设计
5、Hbase数据多版本
6、Hbase Rowkey设计
7、Hbase 存储无模式设计
Hbase编程实战象
1、Hbase 访问Shell接口实践
2、Hbase 访问API接口实践
3、Hbase 实战训练
第十阶段:Hive分布式数据仓库
学习目标:Hive原理剖析、Hive编程实践
学习效果:深入理解Hive的原理并灵活运用
Hive原理剖析
1、Hive介绍
2、Hive应用场景
3、Hive架构
4、Hive运行原理
5、Hive命名空间
6、Hive库的位置
7、Hive数据仓库
Hive实践
1、Hive创建库
2、Hive修改库与删除库
3、Hive普通表与带分区的表
4、Hive带Bucket的表/外部表/相似表
5、Hive分区/Bucket管理/向Hive表中装载与插入数据
6、创建并加载数据到Hive表与导出数据
7、Hive SelectFrom/Where/GroupBy/Join
第十一阶段:FlumeNG分布式数据采集系统
学习目标:FlumeNG原理剖析、FlumeNG编程实践
学习效果:熟练掌握FlumeNG的各种应用场景
FlumeNG原理剖析
1、FlumeNG概述
2、FlumeNG部署配置
3、FlumeNG分布式架构
4、FlumeNG应用场景
5、FlumeNG与同类产品的优缺点
6、FlumeNG工作原理
7、FlumeNG运行时系统实现的逻辑
FlumeNG实践
1、FlumeNG指定文件数据作为数据源
2、FlumeNG监测并读取新增文件数据作为数据源
3、FlumeNG命令输出作为数据源
4、FlumeNG监听TCP的端口作为数据源
5、FlumeNG获取HTTP数据作为数据源
6、FlumeNG HDFS作为输出源
7、FlumeNG本地目录作为输出源
第十二阶段:Sqoop大数据迁移系统
学习目标:Sqoop原理剖析、Sqoop编程实践
学习效果:熟练掌握Sqoop并灵活运用
Sqoop原理剖析
1、Sqoop介绍
2、Sqoop架构原理
Sqoop实践
1、数据迁入大数据存储
2、数据迁出大数据存储