spark连接并读取本地文件报错总结

1.scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;

错误原因：scala版本与spark版本兼容问题导致，可在maven仓库看spark所使用jar包支持的scala版本。

注意点：在idea中全局设置调整scala版本时，注意该项目是否对改变生效。

2.java.lang.ClassNotFoundException: org.apache.hadoop.mapred.JobConf

类似相关jar包里的类找不到问题，检查pom是否包含以下四个：

<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>2.7.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.7.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-common</artifactId>
        <version>2.7.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
        <version>2.7.2</version>
    </dependency>