scala——0. idea配置scala、spark

1. 下载idea (community社区版免费)

http://www.jetbrains.com/idea/download/#section=linux

2. 安装

安装idea:直接右键提取

安装scala:选择Configure中的Plugins

搜索scala,安装scala

3. 配置scala(SDK)

4. helloScala程序示范

src右键新建scala文件,类型(kind)选择object

ctrl+j 快速创建main函数

运行:右键helloScala,run ‘helloScala’

5. 配置spark

导入spark jar

file -> Project Structure -> Libraries -> + -> java

选择spark的jar包路径

左侧工程栏的External Libraries中会出现我们配置的三个库:

jdk 1.8,jars,scala-sdk

报错:

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;

是scala版本问题,更换即可

spark默认用的scala是2.11.8(可输入spark-shell查看),我下的是2.12

6. 消除过多的spark默认显示信息,如info信息

将spark/conf/log4j.properties复制到项目src目录下

前面在配置spark时已经将INFO修改为WARN了

如果代码不能运行,run是灰的:

file -> Project Structure

找到src文件夹,右键source

猜你喜欢

转载自blog.csdn.net/weixin_42490528/article/details/87478668