Apache Beam 2.9.0 发布，大数据批处理和流处理标准

  

Apache Beam 2.9.0 发布了。Apache Beam 是 Google 在2016年2月份贡献给 Apache 基金会的项目，主要目标是统一批处理和流处理的编程范式，为无限、乱序、web-scale 的数据集处理提供简单灵活，功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义，并不涉及具体执行引擎的实现，Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。

下载地址：https://beam.apache.org/get-started/downloads/

此版本包括以下主要新特性和改进：

依赖升级

• Update google-api-client libraries to 1.27.0.

• Update byte-buddy to 1.9.3

• Update Flink Runner to 1.5.5

• Upgrade google-apitools to 0.5.24

I/Os

• I/O connector for RabbitMQ.

• Update SpannerIO to support unbounded writes.

• Add PFADD method to RedisIO.

其他修复

• Dataflow runner was updated to not use Conscrypt as the default security provider.

• Support set/delete of timers by ID in Flink runner.

• Improvements to stabilize integration tests.

• Updates Spark runner to show Beam metrics in web UI

• Vendor gRPC and Protobuf separately from beam-model-* Java packages

• Avoid reshuffle for zero and one element creates

详情请查看 发布主页 和 发布说明。