spark读写hive的注意点

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/jin6872115/article/details/82498980

可以直接使用

 val conf = new SparkConf().setMaster("local").setAppName("sdf")
    val sc = new SparkContext(conf)
    val hiveContext = new HiveContext(sc)
    val df = hiveContext.sql("drop table myhive.tablec ")

或者使用

val conf = new SparkConf().setMaster("local").setAppName("sdf")
    val sc = new SparkContext(conf)
    val hiveContext = new HiveContext(sc)
//    val df = hiveContext.sql("drop table myhive.tablec ")
    val spark = SparkSession.builder().config(conf).getOrCreate()
    val df = spark.sqlContext.sql("select * from myhive.tablea").show()

使用spark时，必须按照上面的顺序，否则会报错

Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: `myhive`.`tablea`; line 1 pos 14;
'Project [*]
+- 'UnresolvedRelation `myhive`.`tablea`

此外还需要将hive-site.xml，core-site.xml和hdfs-site.xml放到resources中