Spark SQL输入输出

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/sinat_36710456/article/details/85159572

1、对于Spark SQL的输入需要使用  sparkSession.read方法

     1)、通用模式   sparkSession.read.format("json").load("path")   支持类型：parquet、json、text、csv、orc、jdbc
     2)、专业模式   sparkSession.read.json、 csv  直接指定类型。

2、对于Spark SQL的输出需要使用  dataFrame/dataSet.write方法

     1)、通用模式   dataFrame.write.format("json").save("path")  支持类型：parquet、json、text、csv、orc、  
     2)、专业模式   dataFrame.write.csv("path")  直接指定类型

3、如果你使用通用模式，spark默认parquet是默认格式，sparkSession.read.load 他加载的默认是parquet格式。dataFrame.write.save也是默认保存成parquet格式。

4、如果需要保存成一个text文件，那么需要dataFrame里面只有一列。