spark2版本使用SparkSession作为统一入口,所以第一步就是给SparkSession增加Hive支持: enableHiveSupport()
val spark = SparkSession
.builder()
.appName("Spark Hive Example").master("local[*]")
.enableHiveSupport()
.getOrCreate()
此外需要做的就是把在hive-site.xml文件中添加
<property> <name>hive.metastore.uris</name> <value>thrift://localhost:9083</value> </property>
然后把hive-site.xml放在工程目录src/main/resources下,没有resoucres文件夹的可以新建一个。
使用前要记得启动metastore service:hive --service metastore &