DataFrame输出操作

查看DataFrame API发现DataFrame中提供了很多种输出操作方法。

其中save方法可以将DataFrame保存为文件,save操作有一个可选参数SaveMode,

用这个参数可以指定如何处理数据已经存在的情况。

另外,在使用HiveContext的时候,DataFrame可以用saveAsTable方法将数据保存成持久化的表。

与registerTempTable不同,saveAsTable会将DataFrame的实际内容保存下来,并且在HiveMetastore中

创建一个游标指针。持久化的表会一直保存,即使spark程序重启也没有影响,只要连接到同一个metastore

就可以读取其数据。读取持久化表示,只需要用表明作为参数,调用SQLContext.table方法即可得到对应的DataFrame

猜你喜欢

转载自blog.csdn.net/qq_38704184/article/details/94430141
今日推荐