Failed to locate the winutils binary in the hadoop binary path 报错解决

WINDOWS10环境下单机下调试pyspark代码,在没有配置HADOOP_HOME的环境变量,会产生

ERROR Shell:397 - Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

的错误,解决的方法是要代码中加入

os.environ['HADOOP_HOME'] = 'F:\winutils'

并且在项目加入,目录 结构如下

F:\2019download\Users\pingan\PycharmProjects\pyshark-project 的目录

2019/01/07  09:44    <DIR>          .
2019/01/07  09:44    <DIR>          ..
2019/01/06  11:00    <DIR>          .idea
2019/01/04  09:31    <DIR>          spark
2019/01/04  09:09    <DIR>          venv
2019/01/07  09:44    <DIR>          winutils
               0 个文件              0 字节

    

猜你喜欢

转载自blog.csdn.net/lepton126/article/details/85987197
今日推荐