FlinkFlink 写入 Clickhouse 大对象直接进入老年代 导致OOM

Posted 2021-12-06 九师兄

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

文章目录

• 1.概述
• 2. 验证

1.概述

事情是这样的。使用开源的修改 https://github.com/ivi-ru/flink-clickhouse-sink flink http方式写入Clickhouse.

开始数据量小了没问题，最后数据量大了就会频繁OOM. 然后经过很长时间的排查

开始的现象是：【Flink】kafka Response from server for which there are no in-flight requests NETWORK_EXCEPTION

不是ck写入失败导致的因此和最新的代码没有什么关系

1. 网络问题 您收到了 NETWORK_EXCEPTION，所以这应该告诉您与您生产的 Kafka Broker 的网络连接有问题。由于某种原