MapReduce快速入门系列(3) | jar包如何在集群上测试

上一篇博客《什么是MapReduce(入门篇)
》讲的是WordCount案例在本地的实际操作，这篇讲述的是在集群上的操作过程。

---

1. 添加打包插件依赖

用maven打jar包，需要添加的打包插件依赖

• 1. 代码

<build>
		<plugins>
			<plugin>
				<artifactId>maven-compiler-plugin</artifactId>
				<version>2.3.2</version>
				<configuration>
					<source>1.8</source>
					<target>1.8</target>
				</configuration>
			</plugin>
			<plugin>
				<artifactId>maven-assembly-plugin </artifactId>
				<configuration>
					<descriptorRefs>
						<descriptorRef>jar-with-dependencies</descriptorRef>
					</descriptorRefs>
					<archive>
						<manifest>
		<mainClass>com.atguigu.mr.WordcountDriver</mainClass>  // 此处要换成自己工程的名字
						</manifest>
					</archive>
				</configuration>
				<executions>
					<execution>
						<id>make-assembly</id>
						<phase>package</phase>
						<goals>
							<goal>single</goal>
						</goals>
					</execution>
				</executions>
			</plugin>
		</plugins>
	</build>

• 2. 过程
  
  注意：如果工程上显示红叉。在项目上右键->maven->update project即可。

2. 将程序打成jar包，然后拷贝到Hadoop集群中

步骤详情：右侧Maven->Lifecycle->package。等待编译完成就会在项目的target文件夹中生成jar包。如果看不到。在项目上右键-> Refresh，即可看到。

2.1 打包过程

• 1. 开始打包

• 2. 打包完成
  

2.2 修改不带依赖的jar包名称为wc.jar，并拷贝该jar包到Hadoop集群。

3. 执行WordCount程序

[bigdata@hadoop001 hadoop-2.7.2]$ hadoop fs -copyFromLocal hello.txt /user/input

[bigdata@hadoop001 hadoop-2.7.2]$ hadoop jar wc.jar com.buwenbuhuo.wordcount.WcDriver /user/bigdata/input /user/bigdata/output

运行完成后进行下载查看：


如果出现问题了不要慌，慢慢来，博主本人刚开始也是踩了无数的坑，奥里给干就完了！

---

本期的分享就到这里了,小伙伴们有什么疑惑或好的建议可以积极在评论区留言~，博主会持续更新新鲜好玩的技术,喜欢的小伙伴们不要忘了点赞，记得要关注博主呐ヾ(◍°∇°◍)ﾉﾞ。