spark2.1 新特性

Apache Spark 2.0是基于spark branch-2.x 开发的，相比于branch-1.0，它在功能和性能等方面均有巨大改进。在性能方面，Spark 2.x 有2~10倍的提升；在功能方面，Spark SQL中的Dataset变得成熟，Spark 2.x通过Dataset重构了Spark Streaming和MLlib的API，进而使得这两个系统在易用性和性能方面有重大提升，在不久的将来，Dataframe/Dataset API（high-level API）将取代RDD API（low-level API），成为主流的Spark编程接口。

Apache Spark 2.x在性能和功能方面的改进主要包括：

1. 性能方面

相比于Spark 1.0，Spark 2.0在引擎性能方面有重大优化，其优化主要体现在Spark Core和Spark SQL两个系统上，其优化主要得益于Tungsten计划（“钨丝计划”），其主要动机是优化Spark内存和CPU的使用，使其能够逼近物理机器的性能极限。

利用“整阶段代码生成”（“whole stage code generation”），使得SQL和DataFrame中算子性能优化2-10倍

通过“向量化计算”提升Parquet格式文件的扫描吞吐率

提升ORC格式文件的读写性能

提升Catalyst查询优化器性能

2. 功能方面

（1）Spark Core/SQL:Tungsten Phase 2，优化CPU与Memory方面

“钨丝计划”完成第二阶段任务，在内存和CPU使用方面进一步优化Spark引擎性能，重构了大量数据结构和算法的实现，使得Dataframe/Dataset性能得到显著提升，这使得Dataframe/Dataset有能力成为其他几个系统（比如Spark Streaming和MLlib）的基础API。

注：“钨丝计划”包括三个方面的优化：

Memory Management and Binary Processing： Java GC严重，且java对象内存开销大，可采用类似C语言机制，直接操纵binary data（sun.misc.Unsafe）

Cache-aware Computation：合理使用CPU的L1/L2/L3 cache，设计对cache友好的算法

扫描二维码关注公众号，回复： 1573693 查看本文章

Code Generation：可去除条件检查，减少虚函数调度等

（2）Spark SQL: 统一DataFrame与Dataset API

众所周知，在Spark 1.x中，DataFrame API存在很多问题，包括不是类型安全的(not type-safe)，缺乏函数式编程能力（not object-oriented）等，为了克服这些问题，社区引入了Dataset，相比于DataFrame，它具有以下几个特点：类型安全，面向对象编程方式；支持非结构化数据（json）；java与scala统一接口和性能极好的序列化框架等，她将成为Spark未来主流的编程接口（RDD API是low-level API，而Dataset则是high-level API）。

（3）Spark SQL：支持SQL 2003

Spark SQL在通用性方面有重大突破，它跑通了所有（99个）TPC-DS查询，并有以下几个改进：

解析器可同时支持ANSI-SQL 和Hive QL

实现了DDL

支持大部分子查询

支持View

（4）Spark Streaming：引入Structured Streaming

Spark Streaming基于Spark SQL（DataFrame / Dataset ）构建了high-level API，使得Spark Streaming充分受益Spark SQL的易用性和性能提升。Spark Streaming重构的API主要是面向结构化数据的，被称为“Structured Streaming”，其主要特性包括：

DataFrame / Dataset API的支持

提供了Event time, windowing, sessions, sources & sink等API

连接流式数据与静态数据集

交互式查询结果：通过JDBC server将RDD结果暴露出去，以便于交互式查询

（5）Spark MLlib: MLlib 2.0诞生

Spark MLlib朝着2.0进化，主要体现在机器学习模型的多样化，持久化和定制化上，具体包括：

广义线性模型的全面实现

Python & R API的支持

增强模型持久化能力

Pipieline定制化

Apache Spark 2.0在功能和性能的重大改进，使得它在分布式计算领域进一步巩固了自己的地位，随着Spark应用越来越广泛，它将变成数据工程师的一项基本技能。