1.什么是SparkSQL?
用于处理构造化数据的spark模块
可以通过DataFrame和DataSet处理数据
2.SparpSQL特点
- 易整合 可以使用java、scala、python、R 等语言的API操作
- 统一数据访问 连接到任何数据源的方式相同
- 兼容hive 标准的数据连接 （JDBC/ODBC）
SQL优缺点
优点：表达非常清晰，难度低，易学习
缺点： 负责的业务需要复杂的SQL，复杂的分析，SQL嵌套较多。机器学习较难实习
3.Hive 和SparkSQL的对比
Hive 是将sql转化成MapReduce进行计算
SparkSQL是将SQL转换RDD集进行计算
4.SparkSQL中的两个抽象
什么是RDD?
弹性分布式数据集
什么是DataFrame？
DataFrame是以RDD为基础的带有Schema元信息的分布式数据集（DataFrame=Schema+RDD*N）
什么是DataSet？
含有类型信息的DataFrame就是DataSet (DataSet =DataFrame+类型=schema+RDD*N+类型)
DataSet包含了DataFrame的功能
2 集群模式初体验
2.1 DataFrame
2.1.1读取txt文件并输出
1.在本地创建一个文件，有id、name、age三列，用空格分隔，然后上传到hdfs上
vim /opt/person.txt
1 zhangsan 20
2 lisi 29
3 wangwu 25
4 zhaoliu 30
5 tianqi 35
6 kobe 40
//Spark session available as 'spark'.
// 1.读取数据安装空格进行切分
var lineRDD=sc.textFile("file:///opt/person.txt").map(_.split(" "))
// 2.定义class样例类对象 用来接收文件数据
case class Person(id:Int, name:String, age:Int)
// 3.将读取出的RDD 关联到Person中
val personRDD = lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt))
// 4.将带有对象的RDDh转换成DataFrame
val personDF = personRDD.toDF
// 5.读取数据和schema元数据信息
personDF.show
// 6.展示出元数据信息（查看表结构）
personDF.printSchema
// 7.将personDF 转换为转换为临时表
personDF.createOrReplaceTempView("t_person")
// 8.编写SQL语句查询数据（可以根据自己的需求来写）
spark.sql("select name from t_person").show
