First, the data analysis platform level analysis
Big data analysis and processing architecture diagram
Data source: In addition to this method, it can also be divided into offline data, approximate real-time data and real-time data. According to the classification in the figure, it actually explains the structure of data storage, and especially the stream data, the core of which is the continuity and rapid analysis of data;
Computing layer: Spark in memory computing is the latest work of UC Berkeley. The idea is to use all the memory in the cluster to load the data to be processed, saving a lot of I/O overhead and hard disk drag, thereby speeding up the calculation. The idea of Impala comes from Google Dremel, which makes full use of distributed clusters and efficient storage methods to speed up queries on large data sets. This is the approximate real-time query I mentioned above; the underlying file system is of course HDFS. That is, the underlying storage of Hadoop. Now, the big data technology is basically HDFS as the underlying storage technology, except for the accident of Microsoft. The upper YARN is the second version of MapReduce, and together it is the latest version of Hadoop. The above-based applications include Hive and Pig Latin, which use the idea of SQL to query data on Hadoop.
Key: Use big data for decision support. R can help you do statistical analysis on big data. Using the R language and framework, you can achieve very professional statistical analysis functions, and can display them in the form of graphics; and Mahout is a tool that integrates data mining, decision support and other algorithms. , which contains all the classic algorithms based on Hadoop. It is good to take this as a reference for the core algorithm set of data analysis.
How should such a decision support system be presented? In fact, this is the same as the presentation in the data mining process. It is nothing more than displaying through tables and icon graphics. In fact, a data icon report with detailed classification, bright colors and authoritative data is the best way to present it to customers! As for what tool to use, there are two best data presentation tools, Tableau and Pentaho. Using them as the data presentation layer is definitely the best choice.
2. The planned data platform product AE (Accelerate Engine)
支持下一代企业计算关键技术的大数据处理平台：包括计算引擎、开发工具、管理工具及数据服务。计算引擎是AE的核心部分，提供支持从多数据源的异构数据进行实时数据集成、提供分布式环境下的消息总线、通过Service Gateway能够与第三方系统进行服务整合访问；设计了一个分布式计算框架，可以处理结构化和非结构化数据，并提供内存计算、规划计算、数据挖掘、流计算等各种企业计算服务。Data Studio包括了数据建模、开发、测试等集成开发环境。管理工具包括了实施、客户化及系统管理类工具。AE平台还可以通过UAP开发者社区提供丰富的数据服务。
AE架构图
新规划将BAP平台拆分为两部分，底层技术平台发展内存计算和数据处理，上层BI展现端重点发展仪表盘、web和移动设备展现。
两大产品通过数据处理接口和嵌入式应用服务于业务系统。
生态系统图
大数据处理平台担负着为BI系统提供语义层/OLAP引擎等底层技术支撑、BI及ERP系统的性能提升、以及数据挖掘、非结构化数据处理等系列数据整合与处理的解决方案。
具体模块包括：
语义层：为统一的查询建模平台和数据访问接口。除提供标准的查询建模能力外，还有语义驱动、语义规则、语义函数、描述器等等扩展方式，满足不同层面的扩展要求。
OLAP引擎：OLAP引擎提供全面的多维建模与分析能力。多维模型包括维度、层次、级别、属性、指标、计算成员等；同时预置系列分析函数，包括同比/环比/期比/基比等时间序列分析、占比/排名/方差等统计分析、指数回归和线性回归分析等；提供标准的MDX解析与执行，与数据仓库等模块结合，提供针对海量数据的实时分析和处理能力。
数据集成：能够胜任在大数据量、高并发、多维分析等环境背景下的实时分析。通过实时数据集成（RDI）提供的数据实时复制与DW的列式存储引擎，解决了以往在传统架构模式下，普通行式存储引擎无法实现的业务场景。
数据挖掘：支持运行于分布式文件系统和分布式计算平台之上的分布式数据挖掘算法，具体包括：逻辑斯特回归、朴素贝叶斯分类算法及其分布式实现；K均值、谱聚类算法及其分布式实现；潜在狄利克雷分配语义挖掘算法及其分布式实现；频繁模式挖掘分析算法及其分布式实现；协同过滤、概率矩阵分解推荐算法及其分布式实现；提供分布式挖掘算法的统一操作原语和执行引擎。
数据仓库：数据仓库提供针对海量数据进行高效的查询和分析。包括同时支持关系数据库、NoSQL数据库、以及分布式文件系统进行数据存储和加载的多存储引擎，基于MapReduce框架针对海量数据的高性能查询和分析，以及MapReduce 框架本身具有的高扩展性和容错性。
非结构化数据管理：非结构化数据不包含内嵌的语义结构描述信息，而信息系统需要结合其“内容”而不仅仅是数据本身进行查询、检索、分析与挖掘，因此非结构化数据管理系统需要实现非结构化数据的数据提取，提取的非结构化数据是进行后续处理的基础，具体包括结构化信息和底层/高层特征的提取两个。非结构化数据提取组件依赖于分布式文件系统和非结构化数据存储提供的原始数据作为数据源数据，依赖于非结构化数据存储来存储提取的元数据或者特征数据，依赖于并行计算框架来分布化执行过程，加快执行速度。
消息总线：包括主数据管理、集中身份管理、应用集成开发环境、集成监控管理等。满足集成平台的应用需求，支持界面集成、信息集成、服务集成、流程集成等集成方式。
分布式计算系统：包括分布式文件系统和分布式计算框架。分布式文件系统以高可靠的容错机制为核心，系统架构包括多元数据服务器、多数据存储服务器、多监管者、多客户端，支持大文件和大数据块的分布式存储与管理；分布式计算框架基于MapReduce与MPI计算模型，提供了一套并行计算框架；并利用物理机以及虚拟机的监控信息，实现对计算资源的合理分配，支持对大量工作任务的灵活切分和分布式调度。
流计算引擎：流计算引擎是为解决系统的实时性和一致性的高要求的实时数据处理框架，具备高可拓展性，能处理高频数据和大规模数据，实时流计算解决方案被应用于实时搜索、高频交易的大数据系统上。
转自:http://www.36dsj.com/archives/27047