spark加载文件路径问题

路径/i-data/it/user_newly/20190218.parquet

需要注意的事项有:

1因为首次加载文件时,目录下还没有任何文件,此路径只能写到i-data/it/user_newly/,不能后面加上*,会报错路径找不到

2因为首次加载时还没有文件,如果又需要加载则需要先定义schema,指定文件的数据格式字段等,否则spark无法自动推断

3可能需要先创建好目录,如果读取时没有一个文件;而如果是写数据时会自动创建上级目录

val appuserHisPath="/i-data/it/user_newly/"
lazy val schema= StructType(scala.collection.mutable.ArraySeq( StructField("appid", LongType, true), StructField("appname",StringType,true)))
val app_users_his=spark.read.schema(schema).load(appuserHisPath)

猜你喜欢

转载自blog.csdn.net/lsx6766/article/details/88247171
今日推荐