【Spark三十九】Spark比Hadoop速度快的原因总结

Spark的速度比Hadoop快将近100倍，原因都有哪些，本文进行归纳总结

• Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，见http://www.cnblogs.com/hseagle/p/3673138.html
• Broadcast机制
• Cache
• Checkpoint
• Spark的计算模型

Hadoop每次计算先写磁盘，下次计算先从磁盘读，计算结果再写磁盘，如此往复。这对于迭代计算，是个噩梦

• -----Spark为每个应用程序在worker上开启一个进程，而一个Job中的Task会在同一个线程池中运行，而Hadoop Map Reduce的计算模型是每个Task(Mapper或者Reducer）都是一个单独的进程，启动停止进程非常expensive，同时，进程间的数据共享也不能基于内存，只能是HDFS。
• Spark任务调度模型
• -----一级调度DAGScheduler
• -----二级调度TaskScheduler

• 容错性
• Shuffle方面的性能提升？