Windows 上IDEA Spark 支持Hive的方法

在Windows IDEA进行Spark开发的时候,只要enableHiveSupport()就会报错,网上找了很多文章均不能解决问题,折腾了半天终于解决了,做一个记录

一、需要集群中Hive的配置hive-site.xml放到工程的resource目录下

如果是cdh则hive的配置在/etc/hive/conf路径下,如下图:

IDEA resources目录如下:

二、必须解决Could not locate executable null\bin\winutils.exe in the Hadoop binaries错误,我之前没有管这个错误,因此运行时一直不行

解决方法见博客:https://blog.csdn.net/lingbo229/article/details/81382987

三、运行如下代码不报错,则表明成功

 def main(args: Array[String]): Unit = {
    val spark = SparkSession
      .builder()
      .enableHiveSupport()
      .appName("Spark Hive")
      .master("local[2]")
      .getOrCreate()

    spark.sql("show tables").show()

  }

猜你喜欢

转载自blog.csdn.net/lingbo229/article/details/81383666