spark1.5.1源码学习初探

如果hadoop源码中的Hadoop RPC通信把你搞得晕头转向,来搞spark吧。spark是scala语言实现的,早期的通讯使用的是akka通讯,后面默认是netty,spark2.X将彻底被弃用(说的重点不是netty代替了akka,而是akka让十分方便我们了解spark通讯细节)。

第一  scala语言比java更简洁;

第二  akka通讯框架,更方便查找sender和receiver,是通讯逻辑清晰和有条理,不那么容易让人“迷路”。

第三  看懂源码让你更有信心,深入研究细节

好吧,思路就是这样子,action !

猜你喜欢

转载自blog.csdn.net/long13631/article/details/79782988