1.Flink一览

Flink一览

什么是Flink

Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Apache Flink是一个分布式流处理器,具有直观和富有表现力的API,可实现有状态的流处理应用程序。它以容错的方式有效地大规模运行这些应用程序。

  • 状态是对数据的保存,比如上网时的chche就是状态
  • 实时性要求高的一般是流处理批,处理能做的,流处理都可以做
  • Flink可以处理的流有无界流和有界流

有界数据和无界数据

Flink的优势

精确一次(exactly-once)的状态一致性保证。事件时间(event-time)和处理时间(processing-tme)语义。即使对于无序事件流,事件时间(event-time)语义仍然能提供一致且准确的结果。而处理时间(processing-time)语义可用于具有极低延迟要求的应用程序。

每秒处理数百万个事件,毫秒级延迟。 Flink应用程序可以扩展为在数千个核(cores)上运行。

连接到最常用的存储系统,如Apache Kafka,Apache Cassandra,Elasticsearch,JDBC,Kinesis和(分布式)文件系统,如HDFS和S3。

由于其高可用的设置(无单点故障),以及与Kubernetes,YARN和Apache Mesos的紧密集成,再加上从故障中快速恢复和动态扩展任务的能力,Flink能够以极少的停机时间7*24全天候运行流应用程序。

能够更新应用程序代码并将作业(jobs)迁移到不同的Flink集群,而不会丢失应用程序的状态。

详细且可自定义的系统和应用程序指标集合,以提前识别问题并对其做出反应。

最后但同样重要的是,Flink也是一个成熟的批处理器。

发布了118 篇原创文章 · 获赞 5 · 访问量 7149

猜你喜欢

转载自blog.csdn.net/resilienter/article/details/104395725