Spark读取与保存hdfs文件

第一种方式SparkCore

val conf = new SparkConf().setAppName(“File”).setMaster(“spark://IP地址:7077”)//这里你可以写local，我这样写是可以看做是在用spark-on-yarn
val sc = new SparkContext(conf);
val data = sc.textFile(“hdfs://IP地址:9000/文件路径”)//读取，读取时单一文件或路径都可以
data.saveAsTextFile(“hdfs://IP地址/文件路径”)//写，写入时一般结果是生成一个路径

第二种方式SparkSql

val spark = SparkSession.builder().master("local").appName("a").getOrCreate()
val rdd = spark.read.format("csv").option("header","true").load("hdfs://ip:9000/文件路径")//其他格式的文件同理，只需要load的时候用hdfs的地址就可以了
//写，也可以用hdfs的地址
rdd.write.text("sqltext_result")