Flink的部署方式概述

版权声明:本文为博主原创文章,转载请注明出处 https://blog.csdn.net/vkingnew/article/details/85245214
Flink官方网站介绍了N种部署方式。在国内基本不会使用AWS、Google computer engine 和MapR,在实际开发测试和生产中多数还是需要自己部署。
  随着运维模式的发展变化,docker和kubernetes成为新时代的事实标准,基于Mesos的部署方式会变少。
下面对自己部署的情况概述下,说明下什么情况使用什么模式。

local模式:适用于本地开发和测试环境,占用的资源较少,部署简单 ,只需要部署JDK和flink即可达到功能开发和测试的目的。只需要一台主机即可。

standalone cluster:可以在测试环境功能验证完毕到版本发布的时候使用,进行性能验证。搭建需要ssh
jdk和flink。至少需要3台主机,一个master两个worker节点。

YARN:flink使用YARN进行调度。

Hadoop Integration:和hadoop生态进行整合,可以借用HDFS、YARN的功能,是用于整个大数据环境都用Hadoop全家桶的环境。

Docker: 在开发测试使用,docker方式很容易搭建。推荐的方式。

kubernetes:由于FLink使用的无状态模式,只需要kubernetes提供计算资源即可。会是Flink以后运行的主流方式,可以起到节约硬件资源和便于管理的效果。

HA模式:
现在主流的方式有standalone cluster HA 和YARN cluster HA方式,适用于在生产上部署。
standalone cluster HA:
需要JDK、ssh、zookeeper HA、flink构建,至少需要三个物理机。

YARN cluster HA:
需要JDK、ssh、zookeeper HA、Hadoop HA、flink,需要更多的资源。

若flink运行于k8s则可以借助于kubernetes的集群提供高可用,充分的利用资源。

当前大部分公司还是将Flink运行在物理机上。

猜你喜欢

转载自blog.csdn.net/vkingnew/article/details/85245214
今日推荐