Spark采坑系列(三)Spark操作Hive的坑

跟着教学试着用Idea编程,实现Spark查询Hive中的表。结果上来就凉了。

捣鼓好久都不行,在网上查有说将hive-site.xml放到resource目录就行,还有什么hadoop针对windows用户的权限问题,结果都是扯淡。

其实问题还是处在代码上,直接附上代码了,原因下载注释里

Spark Hive操作

package sparkSql



import org.apache.spark.sql.SparkSession



/**

  * Created with IntelliJ IDEA.

  */

object SparkHiveSQL {

  def main(args: Array[String]): Unit = {

    //想要通过Spark操作hive SparkSession必须要调用enableHiveSupport(),否则无法查询到Hive

    val spark = SparkSession

      .builder()

      .appName("Spark Hive")

      .master("spark://192.168.194.131:7077")

      .enableHiveSupport()

      .getOrCreate()



    val df1 = spark.sql("select * from default.src")

    df1.show()

  }

}

猜你喜欢

转载自my.oschina.net/u/3687664/blog/2876018