【Flink】Flink 写入 Clickhouse 大对象直接进入老年代 导致OOM

本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载。

文章目录


在这里插入图片描述

1.概述

事情是这样的。使用开源的修改 https://github.com/ivi-ru/flink-clickhouse-sink flink http方式写入Clickhouse.

开始数据量小了没问题,最后数据量大了就会频繁OOM. 然后经过很长时间的排查

开始的现象是:【Flink】kafka Response from server for which there are no in-flight requests NETWORK_EXCEPTION

不是ck写入失败导致的因此和最新的代码没有什么关系

  1. 网络问题 您收到了 NETWORK_EXCEPTION,所以这应该告诉您与您生产的 Kafka Broker 的网络连接有问题。由于某种原

猜你喜欢

转载自blog.csdn.net/qq_21383435/article/details/120447414