如何限制kafka-streams中的rocksdb内存使用量

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何限制kafka-streams中的rocksdb内存使用量相关的知识,希望对你有一定的参考价值。

我正在使用kafka-streams,并且off heap内存使用量增长到了机器的物理极限。但是,当在docker中运行kafka-streams时,内存使用量会超过容器的限制,因此容器会被OOM杀死。

我的假设是rocksdb正在分配关闭堆空间。 -Xmx可用于限制堆使用,但我找不到类似于rockdb off heap使用的任何东西。

rocksdb如何检测物理内存限制,是否有办法在容器中模拟此限制?

答案

这是内存碎片问题。

您可以通过设置环境变量MALLOC_ARENA_MAX=2或将内存分配器从glibc更改为jemalloc来调整glibc内存分配器。

以上是关于如何限制kafka-streams中的rocksdb内存使用量的主要内容,如果未能解决你的问题,请参考以下文章

RocksDB内存不足

如何限制 MonoTouch 中的 UITextView 字符限制? [复制]

如何限制要输入的文本框中的任何特定字符。我只想限制 ^ 和 %

如何限制 EditText 中的输入?

如何限制 FBFriendPicker 中的好友选择?

如何通过 WooCommerce 中的时间限制限制每个客户的订单数量