Flink未解决 FLink 写 hive MemoryManager New Memory allocation smaller than the minimum allocation size(代

Posted 九师兄

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Flink未解决 FLink 写 hive MemoryManager New Memory allocation smaller than the minimum allocation size(代相关的知识，希望对你有一定的参考价值。

1.概述

flink 写 hive 分区表，parquet 格式，然后报错如下 Caused by: org.apache.parquet.hadoop.MemoryManager$1: New Memory allocation 1047165 bytes is smaller than the minimum allocation size of 1048576 bytes.

官方文档翻了下，好像没找哪里可以进行parquet 的配置

以上是关于Flink未解决 FLink 写 hive MemoryManager New Memory allocation smaller than the minimum allocation size(代的主要内容，如果未能解决你的问题，请参考以下文章

Hive Read & Write Flink

Flink StreamingFileSink 处理流程

Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi（parquet + snappy）并且自动同步数据到 Hive

Flink实战之Kafka To Hive

1.30.Flink SQL案例将Kafka数据写入hive

FlinkSQL 整合 Hive-- flink-1.13.6