Hadoop(MapReduce)Windows和Linux开发环境搭建(eclipse和idea)

版权声明:原创文章,转载请注明出处! https://blog.csdn.net/L_15156024189/article/details/86590086

目录

 

Windows

eclipse

软件准备

hadoop安装配置

eclipse配置

idea

Linux

eclipse

软件准备

hadoop安装配置

eclipse安装配置


Windows

eclipse

软件准备

(1)eclipse:eclipse-jee-oxygen-3a-win32-x86_64

(2)hadoop:hadoop-2.7.3.tar.gz;

(3)eclipse插件:hadoop-eclipse-plugin-2.7.3.jar;

(4)Windows工具:bin

hadoop安装配置

(1)解压

        将hadoop-2.7.3.tar.gz解压到指定目录,例如:E:\hadoop-2.7.3。

(2)拷贝

        将bin目录下所有文件拷贝到hadoop-2.7.3\bin目录下(有重复的就替换),bin目录东西只是为了让Hadoop支持Windows,否则,实际开发中的,会出现如下跟系统相关的问题:

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V
    at org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Native Method)
    at org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode(NativeIO.java:524)

拷贝完以后,还需要将hadoop.dll这个文件拷贝到C:\Windows\System32目录下。如果这样配置后,运行MapReduce程序,还出现问题,请单独百度,或者将问题粘到底部评论区。

(3)配置环境变量

HADOOP_HOME=E:\hadoop-2.7.3

HADOOP_USER_NAME=root

在path变量最后添加%HADOOP_HOME%\bin

注意每个path之间需要用分号隔开,其中HADOOP_USER_NAME解决权限问题。

eclipse配置

(1)将hadoop-eclipse-plugin-2.7.3.jar插件拷贝到eclipse安装目录下的plugins的目录中。重启eclipse后,打开Windows-->Preferences,如图:

正确配置Hadoop安装目录。

(2)点击eclipse右上角的田字格,选择Map/Reduce,如图:

此时在eclipse左边Project Explorer最上面出现DFS Locations,如图:

(3)配置Hadoop location

点击右下角小象,如图:

配置好后,可以看到HDFS的目录,如图:

 

这里有个问题记录下:

在DFS Locations下竟然可以创建同名的小象,而且删除其中一个,刷新后没变化,重启了eclipse才被删除。

hadoop天生对Linux支持,建议使用Linux环境开发。


idea

略。


Linux

eclipse

软件准备

(1)eclipse:eclipse-jee-oxygen-3a-linux-gtk-x86_64.tar.gz

(2)hadoop:hadoop-2.7.3.tar.gz;

(3)eclipse插件:hadoop-eclipse-plugin-2.7.3.jar;

hadoop安装配置

(1)解压

        在hadoop-2.7.3.tar.gz目录下执行

tar -zxvf hadoop-2.7.3.tar.gz -C /root/bigdata/

命令,将其解压到指定目录。

(2)配置环境变量

vi ~/.bash_profile打开配置文件,在文件最后添加:

export HADOOP_HOME=/root/bigdata/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$PATH

关于HADOOP_USER_NAME=root根据情况而定。

eclipse安装配置

(1)安装eclipse

执行如下命令

tar -zxvf eclipse-jee-oxygen-3a-linux-gtk-x86_64.tar.gz -C /root/bigdata/

,将eclipse安装到bigdata目录下。

(2)拷贝

        将hadoop-eclipse-plugin-2.7.3.jar插件拷贝到eclipse安装目录下的plugins的目录中。重启eclipse后,打开Windows-->Preferences,嗯?没看到小象,太坑了。点击Windows-->Show view-->Other-->General,打开Error Logs,如图:

发现加载插件时一堆错误日志。后来将插件放入同级的dropins目录下重启eclipse后,竟然意外发现小象了,真是坑。如图:

(3)配置Hadoop location

这里就和Windows中相同了。如图:

Host配置的都是localhost和主机名,因为Hadoop集群就在本机,如在其他机器,改成IP地址即可。成功连接后,可以看到HDFS文件,如图:

猜你喜欢

转载自blog.csdn.net/L_15156024189/article/details/86590086
今日推荐