- SparkSQL都支持哪些数据源;
数据库
Hive
Lucene:全文检索;解决索引模糊匹配like 前面加%不起作用;
纯代码编程(java),硬编码
Lucene Query Language:
ElasticSearch:6.6系统支持SQL语句; - 为什么要学习SparkSQL?
JavaSE,这一套程序的运行是在内存中;重启以后结果全部丢失;
JavaIO:把结果存储到硬盘中;把一套程序运行的结果存储到磁盘上;(txt,log,xls或者二进制文件)
把单机变成多机;(网络编程)
为什么要学习数据库;(数据量大比着xls,csv),查询方便,CRUD);(多人通过网络共同编辑数据);登记个人信息;
SQL语句是目前为止最好学的编程语言;
为什么要学习大数据(是多台服务器一块工作);(数据量无上限),计算的时候不卡死,只不过时间有点长;(hadoop生态圈,拿空间换取时间);presto+spark:拿内存来换取时间)
Mr:输入文件变成输出文件的过程吗?
完成可以使用sql来实现;输入文件就是(一张一张的表),输出文件(使用sql语句查询出来的结果)
Spark:RDD:RDD里面放的是输入文件,经过了一系列的RDD最终变成了想要的结果;(一系列的RDD可以理解为SQL语句的各个语法),最终的结果可以理解为输出文件;
问题:RDD学完了,为什么要学习RDD:RDD运行的速度超级快;
RDD也有输入文件,RDD也是把输入文件变成输出文件的过程;
是否可以像hive操作mr一样,也提供一套sql语句来操作RDD呢(当然可以的)
- SparkSQL
让开发人员使用SQL语句来操作RDD;Spark操作SQL语句的架子(框架代码)
SparkSql,DataFrame(RDD),DataSet(RDD);RDD是父类,DataSet是子类;
来源例如：结构化数据文件、Hive中的表、外部数据库或现有的RDD
保存模式
列存储和行存储
