spark摘星之路(1)--为什么使用Scala进行spark开发?

为什么使用Scala进行spark开发?

  众所周知,spark本身使用Scala进行编写,虽然spark支持java和python开发,但是笔者还是建议学习Scala,并使用Scala进行spark开发。

  我看过很多帖子,大家都说Scala学习成本大,spark支持那么多语言,为什么非要使用Scala进行开发呢?笔者认为:

       1.spark的底层使用的是Scala,所以对Scala的支持是最好的。

       2.spark具有“轻”的特点,总共才3万多行Scala语言,该语言相对于java而言更加的简练。

       3.对于并发性而言,尤其是处理海量数据的情况,Scala处理高并发多线程问题时,拥有巨大的优势。

       4.对于学习成本而言,Scala上手难度确实比其他一些语言难度大。但是,笔者认为如果只是使用Scala对spark进行开发,只需要掌握Scala的一些基础知识,并且可以通过学习spark源码,更好的掌握Scala。

       5.Scala基于java虚拟机,在开发的过程中,可以依赖任何的java库。此外,Scala除了支持函数编程,也支持面相对象编程。

总结:

  笔者认为,长痛不如短痛,与其害怕今后使用其他语言对spark开发而产生一些困难,不如狠下心来学习下Scala。

  笔者建议使用《Scala函数式编程》进行Scala辅助学习。

猜你喜欢

转载自blog.csdn.net/wi0pdr88/article/details/82491909