Spark SQL与hive hbase mysql集成

虚拟机环境：centos7

一、Spark SQL 与Hive集成（spark-shell）

1.需要配置的项目

1）将hive的配置文件hive-site.xml拷贝到spark conf目录，同时添加metastore的url配置。

执行操作： vi hive-site.xml，添加如下内容：

<property>
   <name>hive.metastore.uris</name>
   <value>thrift://netcloud04:9083</value> #netcloud04是hive服务端地址不是mysql服务的地址  9083是默认端口
</property>
    2）拷贝hive中的mysql jar包到 spark 的 lib 目录下
cp hive-0.13.1-bin/lib/mysql-connector-java-5.1.27-bin.jar spark-1.6-bin/lib/
    3）检查spark-env.sh 文件中的配置项

执行操作： vi spark-env.sh，添加如下内容：

HADOOP_CONF_DIR=/opt/soft/hadoop-2.6.4/etc/hadoop
2.启动服务

1）检查mysql是否启动

# 查看状态：service mysqld status

#启动：service mysqld start

2）启动hive metastore服务

bin/hive --service metastore

3）启动hive

bin/hive，进入hive命令行

4）创建本地文件 kfk.txt，内容如下：

0001 spark
0002 hive
0003 hbase
0004 hadoop
5）执行 hive语句

hive> show databases;
hive> create database kfk;
hive> create table if not exists test(userid string,username string)ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' STORED AS textfile;
hive> load data local inpath "/opt/kfk.txt" into table test;
6）启动 spark-shell

bin/spark-shell，进入spark-shell中，执行操作，返回结果

spark.sql("select * from kfk.test").show
0001 spark
0002 hive
0003 hbase
0004 hadoop

二、Spark SQL 与Hive集成（spark-sql）

1）启动spark-sql，进入该命令行

bin/spark-sql

2）查看数据库

show databases;

default
kfk
3）使用数据库，并查询表

# 使用数据库
use kfk
# 查看表
show tables;
# 查看表数据
select * from test;

三、Spark SQL之ThriftServer和beeline使用

1）启动ThriftServer

sbin/start-thriftserver.sh

2）启动beeline

bin/beeline !connect jdbc:hive2://node1:10000

        # 查看数据库
        show databases;
        # 查看表数据

select * from kfk.test;

四、Spark SQL与MySQL集成

1）启动spark-shell，进入shell命令行

sbin/spark-shell

2）spark-shell命令行中输入 :paste 可以输入整段命令

val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://192.168.0.103:3306/face").option("dbtable", "s_user").option("user", "root").option("password", "root").load()

jdbcDF.show

五、Spark SQL与HBase集成

Spark SQL与HBase集成，其核心就是Spark Sql通过hive外部表来获取HBase的表数据。

1）拷贝HBase的包和hive包到 spark的 lib目录下

2）启动spark-shell，进入命令行
bin/spark-shell

val df =spark.sql("select count(1) from weblogs").show

Spark SQL与hive hbase mysql集成

猜你喜欢