spark sql json数据源

package com.ws.jdbc
import org.apache.spark.sql.{DataFrame, SparkSession}

object JsonSource {

  def main(args: Array[String]): Unit = {
    val sparkSession = SparkSession.builder().appName("JsonSource").master("local[*]").getOrCreate()

    //读取json数据,指定一个目录 ,注意: 如果是hadoop或者spark生成的数据,后面又手动新增数据,需要删掉描述信息才能正确读取
    val jsonData: DataFrame = sparkSession.read.json("E:\\bigData\\testdata\\move.json")

    val result = jsonData.limit(10)

    result.printSchema()

    result.show()

    sparkSession.stop()
  }
}

猜你喜欢

转载自blog.csdn.net/bb23417274/article/details/82955578
今日推荐