版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u013066244/article/details/80825088
环境
看视频：
http://study.163.com/course/courseMain.htm?courseId=1002887002
前言
个人笔记 视频笔记
正文
大数据 思路的转变：
全样而非抽样
效率而非精确
相关而非因果
核心技术
分布式存储 和 分布式处理
云计算
解决了：分布式存储 、 分布式处理、虚拟化和多租户；
Hadoop
YARN 简称“样” 作用是起到 调度作用；因为在版本1时 MapReduce 即处理 又负责调度；版本2进行拆分；
（集群资源管理）
HDFS
解决海量数据分布式存储问题
几个重要的概念：1、块（block）2、name node 和 data node
数据节点会定期发送自己存储的块的列表给主节点（名称节点）。
Fsimage
FsImage文件记录：文件的复制等级、修改和访问时间、访问权限，块大小以及组成文件的块。对于目录，则存储修改时间、权限和配额元数据。
Nosql
1、频繁的读写 使用键值数据库更好些
MapReduce
其实就是分布式并行编程
Hadoop MapReduce 是其具体实现。
设计理念
计算向数据靠拢
主要组成部分
1、Client
2、JobTracker
3、TaskTracker
4、Task
工作流程概述
1、不同的Map任务之间不会进行通信
2、不同的Reduce任务之间也不会进行通信
Shuffle 洗牌
分区、排序、合并、归并
之后再分发给Reduce。
合并（Combine）和归并（Merge）的区别：
两个键值对