spark连接非内置hive数仓,spark连接外部hive数仓的方法

1) 前面连接的是spark自带的hive数仓,并且在spark目录下自动生成了metastror_data,spark-warehouse。这里我们把它删除,都删除不要了。4

2) 打开hive目录下的conf文件,把hive-site.xml原封不动的复制一份放在 spark/conf 目录下 。

这样启动spark读取conf文件的时候,就会读取hive-site这个文件下的hive数仓了。

3)这里还需要你在 jars mysql-connector-java-5.1.27-bin.jar 包放到spark/jiars下面,用来连接访问hive元数据库的jdbc客户端。

4) 退出spark,重新来到spark目录,启动 bin spark-shell

猜你喜欢

转载自www.cnblogs.com/markecc121/p/11650402.html