实时计算、离线计算、流式计算、批量计算 之间的关系

批量和流式的区别:

1.数据处理单位:

批量计算按数据块来处理数据,每一个task接收一定大小的数据块,比如MR,map任务在处理完一个完整的数据块后(比如128M),然后将中间数据发送给reduce任务。

流式计算的上游算子处理完一条数据后,会立马发送给下游算子,所以一条数据从进入流式系统到输出结果的时间间隔较短(当然有的流式系统为了保证吞吐,也会对数据做buffer)。

这样的结果就是:批量计算往往得等任务全部跑完之后才能得到结果,而流式计算则可以实时获取最新的计算结果。

离线=批量?实时=流式?

习惯上我们认为离线和批量等价;实时和流式等价,但其实这种观点并不完全正确。

假设一种情况:

当我们拥有一个非常强大的硬件系统,可以毫秒级的处理Gb级别的数据,那么批量计算也可以毫秒级得到统计结果(当然这种情况非常极端,目前不可能),那我们还能说它是离线计算吗?

所以说

  • 离线和实时应该指的是:数据处理的延迟;
  • 批量和流式指的是:数据处理的方式。
    两者并没有必然的关系。事实上Spark streaming就是采用小批量(batch)的方式来实现实时计算。

Ref: 实时计算——聊一聊我所经历的计算框架

猜你喜欢

转载自blog.csdn.net/byamao1/article/details/80152950