Windows端本地开发Spark应用-new HiveContext报NullPointerException

Windows电脑开发Spark应用时,以local模式运行在本地,通过new HiveContext(sc)报java.lang.NullPointerException

at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)

一、环境相关

1. Windows 10

2. IDEA 2018

3. JDK 1.8

4. Scala 2.10.5

5. Hadoop 2.6

6. Spark 1.6.3

二、报错信息

扫描二维码关注公众号,回复: 6745653 查看本文章

三、分析原因

根据上面报错信息,设置断点,查找原因。

四、解决方案

安装Windows版Hadoop

1. 准备清单

1)hadoop压缩包

下载地址:http://hadoop.apache.org/

2)winutils

下载地址:https://github.com/Lovehp/hadoop_spark_windows

2. 安装步骤

1)将hadoop-2.6.5.tar.gz压缩包解压至指定位置(C:\Software\hadoop-2.6.5),并将改路径配置到系统环境变量

2)将winutils-master.zip解压,找到对应hadoop版本的文件夹,将bin目录下的winutils.exe拷贝到第一步路径下的bin目录下

因为是在windows环境,在运行的时候会模拟linux,需要winutils.exe,winutils.exe的路径代码中默认是从hadoop的安装路径的bin目录下。所以还需要上面的HADOOP_HOME变量。

3)重启电脑

问题解决,enjoy IT!!!

猜你喜欢

转载自blog.csdn.net/u011817217/article/details/86593706