配置支持Spark操作Hive表数据,使用Intellij

spark2版本使用SparkSession作为统一入口,所以第一步就是给SparkSession增加Hive支持: enableHiveSupport()

val spark = SparkSession
      .builder()
      .appName("Spark Hive Example").master("local[*]")
      .enableHiveSupport()
      .getOrCreate()

此外需要做的就是把在hive-site.xml文件中添加
<property> <name>hive.metastore.uris</name> <value>thrift://localhost:9083</value> </property>
然后把hive-site.xml放在工程目录src/main/resources下,没有resoucres文件夹的可以新建一个。
使用前要记得启动metastore service:hive --service metastore &

猜你喜欢

转载自blog.csdn.net/weixin_38670967/article/details/86492164
今日推荐