idea基于maven 和scala创建spark项目

一、需要安装的环境

① JDK。本人安装的是1.8版本,安装过程略,网上可搜索anzhuang教程。

② MAVEN。本人安装的是3.3.3。

③ IDEA。版本是2016.3以后的版本。


二、创建基于scala语言的spark项目


①创建新项目(FILE -> NEW -> PROJECT)


②左边栏选择Maven,点击红圈内容,Next


③输入项目名称等信息


④选择本地安装的maven目录和maven配置文件的路径,NEXT


⑤设置项目路径,finish


⑥配置项目Sources 和Resource ,next


⑦设置scala SDK。博主使用的是scala2.11.8版本,同时把内置的scala版本删掉。




⑧点击右下角的import chances,然后就可以在项目中新建scala class 和object了。


⑨配置spark环境。打开项目下的pom.xml文件,找到位置<dependencies></dependencies>之间,插入如下依赖,import changes。注意博主此处使用的是2.0.2版本的spark,各位帅锅美女需要根据自己需要的版本,进行添加。需要查找对应的maven依赖,可到http://mvnrepository.com/artifact/org.apache.spark 此处进行搜索 。


⑩脚本测试spark环境。测试成功


基本项目建设完成。





猜你喜欢

转载自blog.csdn.net/Neleuska/article/details/77726709