spark配置连接hive

1.拷贝hive的hive-site.xml文件到spark的conf目录下

2.修改spark中hive-site.xml文件

添加以下:
<configuration>
<property>
  <name>hive.metastore.uris</name>
 <value>thrift://主机名或IP地址:9083</value>
</property>
</configuration>
3.另建窗口启动:

[root@head42 conf]# hive --service metastore
4.启动spark:

[root@head42 conf]# spark-shell
5.测试:

spark.sql("select * from database_name.table_name").show//访问其他数据库的表格
scala> spark.sql("show tables").show

//如果找不到mysql-jar
//在spark安装目录下/conf/spark-env.sh下添加
    export HIVE_CONF_DIR=/home/softwares/apache-hive-2.3.4-bin/conf
    export SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/softwares/apache-hive-2.3.4-bin/lib/mysql-connector-java-5.1.38.jar
 

发布了26 篇原创文章 · 获赞 35 · 访问量 742

猜你喜欢

转载自blog.csdn.net/csdnliu123/article/details/105489146