Windows开发hadoop/spark配置
1、将hadoop压缩文件解压到相应目录。像配置jdk环境变量一样配置HADOOP_HOME到hadoop目录。把%HADOOP_HOME%\bin加入path。
2、Windows下开发需要将共享的bin目录覆盖hadoop原有bin目录。如果还不行，将共享bin目录下的hadoop.dll复制到c:\windows\system32目录下，可能需要重启机器。
下载地址：http://download.csdn.net/download/yixiao1874/10240139
经过这些步骤就可以运行hadoop/spark程序（本地模式）
开发Spark应用并提交集群运行
1、idea中如果是本地模式只需修改-Dspark.master=local
2、eclipse中
扫描二维码关注公众号，回复：
1493264 查看本文章
