一、课程目标
了解Hadoop的历史及目前发展的现状、以及Hadoop的技术特点，从而把握分布式计算框架及未来发展方向，在大数据时代能为企业的技术选型及架构设计提供决策参考。
全面掌握Hadoop的架构原理和使用场景，并通过贯穿课程的项目进行实战锻炼，从而熟练使用Hadoop进行MapReduce程序开发。课程还涵盖了整个Hadoop生态体系结构中的组件，让学员全面了解并学习Hadoop的生态系统。
深入理解Hadoop技术架构,对Hadoop运作机制有清晰全面的认识，可以独立规划及部署生产环境的Hadoop集群，掌握Hadoop基本运维思路和方法，对Hadoop集群进行管理和优化。
二、适用人群
① 已经掌握Java开发语言，并想进一步学习大数据的学员。
② 大数据项目的开发工程师和运维工程师
③ 大数据分析平台架构师
④ 大数据挖掘处理算法应用工程师
⑤ 大数据项目的规划咨询管理人员
⑥ 大数据项目的售前和售后技术支持服务人员
⑦ 有一定的计算机系统基础知识（如Linux操作系统知识）
三、培训特色和时长
定制授课+ 案例分析讲解 + 实战操作
四、授课讲师
赵强老师，清华大学软件工程专业毕业。曾就职于Oracle（中国）有限公司高级技术顾问，在Oracle公司服务已超过11年。业界知名的Oracle数据库专家和大数据专家，精通Oracle数据库、大数据、Weblogic中间件和Java技术。
五、课程大纲
| 一、Hadoop的起源与背景知识 （一）什么是大数据 （二）OLTP与OLAP （三）数据仓库 （四）Google的基本思想：（核心重点） 二、搭建实验环境 三、Apache Hadoop的体系结构（核心重点） （一）分布式存储：HDFS （二）YARN: 分布式计算(MapReduce) （三）HBase的体系结构 四、Hadoop 的安装与配置 （一）Hadoop安装部署的预备条件 （二）Hadoop的目录结构 （三）Hadoop安装部署的三种模式 （四）验证Hadoop环境 （五）配置SSH免密码登录 五、Hadoop应用案例分析 （一）互联网应用的架构 （二）日志分析 （三）Hadoop在淘宝的应用 六、分布式文件系统：HDFS （一）HDFS的命令行操作 （二）HDFS的Java API （三）HDFS的Web Console （四）HDFS的回收站 （五）HDFS的快照 （六）HDFS的用户权限管理 （七）HDFS的配额管理 （八）HDFS的安全模式 （九）HDFS的底层原理 七、分布式计算模型：MapReduce （一）MapReduce在Yarn平台上 运行过程 （二）第一个MapReduce程序：WordCount （三）WordCount的数据流过程 （四）使用MapReduce处理数据 （五）Shuffle的过程 （六）使用MRUnit进行单元测试过程 （七）MapReduce作业任务的管理 （八）MapReduce案例集锦 （十）搭建Hadoop的Eclipse开发环境 八、数据仓库：Hive （一）什么是Hive （二）Hive的体系结构 （三）Hive的管理 （四）Hive的数据类型 （五）Hive的数据模型 （六）Hive数据的导入 （七）Hive的查询 （八）Hive的客户端操作：JDBC （十）Hive的自定义函数 |
九、数据分析引擎：Pig （一）什么是Pig？ （二）Pig的体系结构 （三）Pig的安装和工作模式 （四）Pig的内置函数 （五）使用Pig Latin语句分析数据 （六）Pig的自定义函数 十、NoSQL数据库：HBase （一）什么是HBase？ （二）HBase的体系结构 （三）HBase的表结构和数据模型 （四）HBase的安装和部署 （五）-ROOT-和.META. （六）HBase Shell （七）HBase的Java编程接口 （八）HBase上的过滤器 （九）HBase上的MapReduce （十）HBase的HA 十一、数据交换引擎：Sqoop （一）什么是Sqoop？ （二）Sqoop是如何工作？ （三）使用Sqoop 十二、数据采集引擎：Flume （一）什么是Flume？ （二）Flume的体系结构 （三）安装和配置Flume （四）使用Flume采集日志数据 十三、大数据UI系统：HUE （一）什么是HUE？ （二）HUE所需要的rpm包 （三）HUE与Hadoop集成 （四）HUE与HBase集成 （五）HUE与Hive集成 （六）HUE的文档 十四、分布式协调服务：ZooKeeper （一）什么是ZooKeeper? （二）ZooKeeper的体系结构 （三）Zookeeper能帮我们做什么？ （四）安装和配置Zookeeper （五）操作Zookeeper （六）ZooKeeper的分布式锁：秒杀的实现 十五、Hadoop的集群和HA （一）HDFS的联盟 （二）利用ZooKeeper实现Hadoop的HA |
Copyright © 2004-2017 JD.COM 京东版权所有 Power by 企业信息化部
