Spark SQL：基本介绍(特点)

Spark SQL官方介绍

官网:http://spark.apache.org/sql/

Spark SQL是Spark用来处理结构化数据的一个模块。
Spark SQL还提供了多种使用方式，包括DataFrames API和Datasets API但无论是哪种API或者是编程语言，它们都是基于同样的执行引擎，因此你可以在不同的API之间随意切换，它们各有各的特点。

Spark SQL 的特点

1. 易整合
   可以使用java、scala、python、R等语言的API操作。

2. 统一的数据访问
   连接到任何数据源的方式相同。

3. 兼容Hive
   支持hiveHQL的语法。
   兼容hive(元数据库、SQL语法、UDF、序列化、反序列化机制)

4. 标准的数据连接
   可以使用行业标准的JDBC或ODBC连接。

SQL优缺点

• SQL的优点
  表达非常清晰, 比如说这段 SQL 明显就是为了查询三个字段，条件是查询年龄大于 10 岁的
  难度低、易学习。
• SQL的缺点
  复杂分析,SQL嵌套较多：试想一下3层嵌套的 SQL维护起来应该挺力不从心的吧
  机器学习较难：试想一下如果使用SQL来实现机器学习算法也挺为难的吧
  Hive和SparkSQL：
  Hive是将SQL转为MapReduce
  SparkSQL可以理解成是将SQL解析成’RDD’ + 优化再执行