小白学习Spark系列二：打包spark应用详细教程

一、eclipse打jar包

　　 使用eclipse打包运行

　　（1）安装 eclipse，在工具栏 Help -> Install New Software，输入scala ，通过链接下载运行scala代码的插件。

　　（2）新建一个scala工程，测试Spark程序，统计单词个数。

　　（3）在工程下新建目录 lib，将两个jar包（hadoop-0.20.2-CDH3B4-core.jar，spark-assembly-1.6.3-SNAPSHOT-hadoop2.5.0-cdh5.3.2.jar）拷贝到 lib 下，选中这两个jar包右击 Build Path，加到Referenced Libraries中。

　　jar包下载链接：https://pan.baidu.com/s/1dQjJR8vtl01wp6JLEgRp3w 密码：20hh

　　（4）选中工程，右击，选中Export，选择JAR 文件->Next，只选择src文件，填写保存位置和名字。

（5）把jar包传到安装有spark的服务器目录下，写好submit脚本（如下图所示），这里我新建了Jar目录，把jar包放到该目录下，后面紧接着是传递给函数的一个参数（文件路径），执行该脚本。

（6）如果出现 找不到类等错误，一般就是版本出现了问题。我在eclipse中加载了hadoop和assmbly的jar包后也提示了该错误，当时没选择对scala的版本，可通过如下方式改变其版本，选中 scala library container后右击 properties，选择2.10.6版本。