SparkSQL与Hive集成

1、使用内置的Hive  【hive1.2.1】

      1、注意：如果发现master节点有 matestore_db出现，删除， 然后，启动客户端  配置：

            bin/spark-shell --master spark://master01:7077 
                                     --conf spark.sql.warehouse.dir=hdfs://master01:9000/spark_warehouse

      将spark的数据仓库路径配置到HDFS上。

      2、下次启动的时候，不用再指定路径。

2、集成外部Hive

      1、直接将hive conf目录下的hive-site.xml 文件软连接到 spark目录下conf目录下。  【这个文件不需要所有节点都有  master有即可】

       2、直接启动spark-shell 或者spark-sql即可接管外部HIVE。  

       3、接管的核心是整合了 元数据库，所以需要有元数据库的驱动存在。Hive启动不启动对于接管没有任何影响。