目录
一:Spark Sql 的执行流程
1、SqlParse(SQL语句)
MySQL,Oracle,Hive等,都首先生成一条SQL语句的执行计划
2、Analyser(分析仪)
解析后的逻辑计划:
例如: from table students = > filter => select name
类似于Tree结构
3、Optimizer(优化器)
传统的Oracle等数据库,通常会生成多个执行计划,优化器会从中进行选择出最好的
例子:
select name from(select from ...) where ... = ...
发现将where放在子查询里面效果一样,并且减少了查询量,增加了效率 =》 这就是优化
4、SparkPlan(spark计划任务)
物理计划:从什么文件读什么数据,从哪几个文件中进行关联等等
图片:
二:Spark SQL之优化
1、设置Shuffle过程中的并行度:spark.sql.shuffle.partitions(SQLContext.setConf())
2、在Hive数据仓库建设过程中,合理设置数据类型,比如能设置为INT的,就不要设置为BIGINT。减少数据类型导致的不必要的内存开销。
3、编写SQL时,尽量给出明确的列名,比如select name from students。不要写select *的方式。
4、并行处理查询结果:对于Spark SQL查询的结果,如果数据量比较大,比如超过1000条,那么就不要一次性collect()到Driver再处理。使用foreach()算子,并行处理查询结果。
5、缓存表:对于一条SQL语句中可能多次使用到的表,可以对其进行缓存,使用SQLContext.cacheTable(tableName),或者DataFrame.cache()即可。Spark SQL会用内存列存储的格式进行表的缓存。然后Spark SQL就可以仅仅扫描需要使用的列,并且自动优化压缩,来最小化内存使用和GC开销。SQLContext.uncacheTable(tableName)可以将表从缓存中移除。用SQLContext.setConf(),设置spark.sql.inMemoryColumnarStorage.batchSize参数(默认10000),可以配置列存储的单位。
6、广播join表:spark.sql.autoBroadcastJoinThreshold,默认10485760 (10 MB)。在内存够用的情况下,可以增加其大小,概参数设置了一个表在join的时候,最大在多大以内,可以被广播出去优化性能。
7、钨丝计划:spark.sql.tungsten.enabled,默认是true,自动管理内存。
三:待解决问题
1.提高并行度,能够提升效率的原因, IO,数据传输等再次巩固
2.弄清楚内存,缓存
物理内存的关系,为什么能优化??
3.广播的作用?
4.什么是未解析的逻辑计划,逻辑计划主要包括什么??
5.Spark SQL 优化,与普通的 Spark程序的区别是什么?