flink架构原理

kafka topic

TopicSchema:{"type":"object","properties":{"id":{"type":"number"},"username":{"type":"string"}}}

1、新建yarn目录

2、将MySQL驱动器传到yarn

3、将配置文件传到yarn

4、设置开发模式

5、启动flink并提交作业命令

flink-1.7.1/bin/flink run -m yarn-cluster -yD hostname=wn18ddzxjap1002 -yD job.inst.id=103989 -yD security.kerberos.login.principal=5D7... -yD security.kerberos.login.keytab=/etc/security/keytabs/5D7....keytab -yD metrics.reporters=sla -yD metrics.reporter.sla.class=com.ksyun.dc.metrics.flink.CollectMetrics -yD metrics.reporter.sla.url=http://ops-platform.internal-bigdata.com:9080/api/metrics/streaming/batch -yD metrics.reporter.sla.interval='60 SECONDS' -ynm store_goods_amount_join_done -c com.ksyun.dc.streaming.framework.ApplicationOnScheduler -yn 1 -ys 1 -p 1 -yjm 1024 -ytm 3072 -yqu ksccd365...-yt /tmp/flink/yarnship/1180 -n -d /flink-1.7.1/framework/streaming-dist-1.0-SANPSHOT-fat.jar

命令行参数：

-c：指定程序入口类

-p：指定多少个并发度

-yD：动态自定义参数

-m yarn-cluster -yn 1：使用yarn集群启动1个tm

-yjm：指定jm的内存大小

-ytm：指定tm的内存大小

-ys：每个tm的slot数量

-yqu：指定yarn资源队列

-d：以detached模式运行

flink list：查看进群上运行的job

flink cancel：取消job

flink list --all：查看所有job，包括cancel的

flink架构

flink运行时组件：作业管理器JobManager、任务管理器TaskManager、资源管理器Resource Manager、分发器Dispacher