flink学习(1) 简介

此系列是个人学习是记录笔记

flink 是什么

Apache Flink is a framework and distributed processing engine for statuful co mputations over unbounded and bounded data streams.

Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算

flink优点

流数据更真实反应生活方式。传统数据架构是基于有限数据集的 低延迟 高吞吐 结果的准确性和良好的容错性

传统数据处理架构

1.事务处理:oltp

2.分析处理:olap

前者快 但是 对数据库压力大 数据量级大的情况下 处理不了。后者 离线计算 再打的量级 也能处理 两者优点结合

有状态的流失处理 以内存代替传统关系型数据库 

这里的peridic checkpoint 指的是存在远程的快照防止 数据存在内存 各种因素丢失

以上 就是storm的框架 第一代流失处理引擎 毫秒级别延迟 storm 的问题是 并发性不够 多节点的情况下 可能出现 数据乱序 (不同节点) 所以 storm 是以牺牲了准确性 和 并发性为代价 降低了吞吐

后来就有了 lambda结构 即把流处理和批处理 两套系统合并  最后用户获得的数据效果 是先快速获得一些数据 等一会 后通过merge  会做数据的更新

但lambda的问题 是 太过繁琐 最后就有了 flink 实现了 高吞吐 低延迟 时间正确 操作简单 在压力下保持正确

flink的主要特点 1.事件驱动(event-driven) 2.基于流的世界观 在flink的世界观中,一切都是流 ,离线数据是有界的流;实时数据是没有界的流  3.分层api 越顶层越抽象,表达含义越简明,使用越方便。越底层越具体,表达能力越丰富,使用越灵活

4.支持事件时间(event-time)和处理时间(processing-time)语义5.exactly once 6.低延迟 每秒数百万个事件 毫秒级延迟7.与众多常用存储系统的连接 8.高可用 ,动态扩展,实现7*24小时全天候运行

猜你喜欢

转载自blog.csdn.net/a724952091/article/details/106648614