spark on hive

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/haidao2009/article/details/49507651

很多时候用spark处理数据，处理完后需要写回hive 数据仓库。 这时候用spark on hive 效率会高很多。

rdd 处理完后，
先创建一个schema

schema = StructType([
StructField(“item_id”,StringType(), True),
StructField(“feed_id”,StringType(), True),
………
StructField(“ds”,StringType(), True)]
)

然后rdd转换为hive df。注意是hive df 。不是sql df
df=hiveContext.createDataFrame(rdd,schema)
hiveContext.sql(‘use database’)
hiveContext.sql(‘SET hive.exec.dynamic.partition=true ‘)
hiveContext.sql(‘SET hive.exec.dynamic.partition.mode=nonstrict ‘)
hiveContext.sql(‘SET hive.exec.max.dynamic.partitions.pernode = 1000 ‘)
hiveContext.sql(‘SET hive.exec.max.dynamic.partitions=1000 ‘)
hiveContext.sql(‘set hive.exec.reducers.bytes.per.reducer=500000000 ‘)

dfw=DataFrameWriter(df)
dfw.partitionBy().insertInto(‘table’)
partitionBy 是分区表，如果没有，则直接insert。如果没有表，那就dfw.saveAsTable()直接写入