二、Hadoop大数据处理架构

一、概述

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。是一个能够对大量数据进行分布式处理的软件框架。由Java开发，但开发其应用可以使用多种语言，C，C++，跨平台性非常好。

两大核心：解决了分布式存储和分布式处理两大问题

1. HDFS（Hadoop Distributed File System）
2. MapRedue

Hadoop 2.0 （Apache免费开源，企业版可以选择Cloudera，更方面都更优异(安装，计算等)）

• MapReduce（离线计算，批处理，基于磁盘），Spark（与MapReduce类似，基于内存，所以性能更优）
• YARN（资源分配，CPU，内存等等）
• HDFS（分布式储存）

下面是更详细的Hadoop生态系统