第8章 SparkSQL愿景

8-1 -A SparkSQL愿景之一写更少的代码(代码量和可读性) 

 

 

8-2 -B SparkSQL愿景之一写更少的代码(统一访问操作接口)

8-3 -C SparkSQL愿景之一写更少的代码(强有力的API支持)

8-4 -D SparkSQL愿景之一些更少的代码(Schema推导)

源码地址：

https://gitee.com/sag888/big_data/blob/master/%E4%BB%A5%E6%85%95%E8%AF%BE%E7%BD%91%E6%97%A5%E5%BF%97%E5%88%86%E6%9E%90%E4%B8%BA%E4%BE%8B%20%E8%BF%9B%E5%85%A5%E5%A4%A7%E6%95%B0%E6%8D%AE%20Spark%20SQL%20%E7%9A%84%E4%B8%96%E7%95%8C/project/p1867y/ImoocSparkSQLProject/src/main/scala/com/imooc/spark/SchemaInferApp.scala

package com.imooc.spark

import org.apache.spark.sql.SparkSession

/**

* Schema Infer

*/

object SchemaInferApp {

def main(args: Array[String]) {

val spark = SparkSession.builder().appName("SchemaInferApp").master("local[2]").getOrCreate()

val df = spark.read.format("json").load("file:///Users/rocky/data/json_schema_infer.json")

df.printSchema()

df.show()

spark.stop()

}

}

8-5 -E SparkSQL愿景之一写更少的代码(Schema Merge)

8-6 -F SparkSQL愿景之一写更少的代码(Partition Discovery)

8-7 -G SparkSQL愿景之一写更少的代码(执行速度更快)

8-8 -SparkSQL愿景之二读取更少的数据

8-9 -SparkSQL愿景之三让查询优化器帮助我们优化执行效率

8-10 -SparkSQL愿景总结