Hadoop入门系列（二）idea配置hadoop开发环境

主要分两部分:一、idea配置hadoop开发环境。二、idea安装hadoop插件。

一、

1.为了便于各个版本的hadoop获得对应jar包以及其依赖jar包。搭建maven项目是个很好的选择。创建一个无原型的maven项目。

2.在porn.xml的project内添加镜像网站和一些需要依赖的核心jar包。

注意：版本号对应自己hadoop的版本号。有些通用包比如hadoop-core，在maven中版本较低，现在只有1.2.1, 现在通常都用2.X版本都hadoop，我们分别依赖对应包可解决。如下图：

<repositories>
    <repository>
        <id>nexus-aliyun</id>
        <name>nexus-aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        <releases>
            <enabled>true</enabled>
        </releases>
        <snapshots>
            <enabled>false</enabled>
        </snapshots>
    </repository>
</repositories>
<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>2.9.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.9.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-yarn-common</artifactId>
        <version>2.9.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-common</artifactId>
        <version>2.9.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-auth</artifactId>
        <version>2.9.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.lucene</groupId>
        <artifactId>lucene-analyzers-common</artifactId>
        <version>7.3.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.lucene</groupId>
        <artifactId>lucene-core</artifactId>
        <version>7.3.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.lucene</groupId>
        <artifactId>lucene-analyzers-icu</artifactId>
        <version>7.3.0</version>
    </dependency>
    <dependency>
        <groupId>jfree</groupId>
        <artifactId>jfreechart</artifactId>
        <version>1.0.13</version>
    </dependency>
</dependencies>

<build>
    <plugins>
        <plugin>
            <artifactId>maven-dependency-plugin</artifactId>
            <configuration>
                <excludeTransitive>false</excludeTransitive>
                <stripVersion>true</stripVersion>
                <outputDirectory>./lib</outputDirectory>
            </configuration>

        </plugin>
    </plugins>
</build>

3.建好wordCount类。设置一下参数即可运行。搭建wordCount下期会详细讲。

4.结果。如果想在idea内可见，需要在idea中操作hdfs需要装插件。下部分解释。

二、

1.可在github获取插件。

https://github.com/fangyuzhong2016/HadoopIntellijPlugin

2.read.md中有安装教程。这里我也写出大体步骤：

1>确保使用的是jdk8和maven3.X。

2>将下载文件解压缩。打开porn.xml设置hadoop版本和idea的位置。

3>设置好后。在解压到的目录中打开cmd，运行mvn clean和mvn assembly:assembly。生成target文件。

4>将zip添加到idea。打开setting>plugins。注意安装的是zip不是jar。

注意：需要修改gui。

3.至此插件可以使用。

注意：1>hadoop的hdfs的默认端口是9000。2>“测试”按钮有点小bug。OK后，出现目录就成功了。如下。