增长提交日志的问题

Posted 2021-04-03

我有一台机器，提交日志不断增加到7.8 GB并且仍在增长，我检查了一个属性commitlog_total_space_in_mb: 8192，在cassandra.yaml中有评论。我怀疑它必须是默认值。

1）增长提交日志大小有什么问题？ 2）是否表示未达到我的记忆阈值？

编辑：

memtable_cleanup_threshold = 1 /（memtable_flush_writers + 1）*（memtable_offheap_space_in_mb + memtable_heap_space_in_mb）

推荐值是，

memtable_flush_writers -  Smaller of number of disks or number of cores with a minimum of 2 and a maximum of 8, so in our case it is '8'

memtable_offheap_space_in_mb - 1/4 of the heap size, so in our case it is 2GB
memtable_heap_space_in_mb - 1/4 of the heap size, so in our case it is 2GB

所以算一算，

 memtable_cleanup_threshold = 1/(8 + 1) * 4096
 memtable_cleanup_threshold = 455MB

为什么它没有刷新达到455 MB并删除提交日志？

谢谢， 掠夺

答案

是的，默认情况下，8192MB（或1/4的日志文件磁盘空间，以较小者为准 - 如果您的服务器较小，则适用）。资料来源：Cassandra documentation on commitlog_total_space_in_mb。

回答你的问题：

（1）如果commitlog文件继续增长，则可能会耗尽磁盘空间。

（2）尚未满足配置的阈值。

在您添加其他问题后编辑：

刷新memtables时不会删除提交日志。

请注意，文件大小是根据您的配置大小预先分配的 - 我认为您已经想到了这一点，但请注意，如果有其他人试图通过ls或类似方法来观察文件大小。

如果你nodetool drain或重新启动，他们将被清除。否则，它们将继续增长到最大尺寸并旋转。

这是一个测试，看看如果强制刷新会发生什么：

nodetool tablestats keyspace.table | grep "Memtable data size"
Memtable data size: 1292049

cat /var/lib/cassandra/commitlog/CommitLog-A.log | wc -l
10418

cat /var/lib/cassandra/commitlog/CommitLog-B.log | wc -l
0

nodetool flush

nodetool tablestats keyspace.table | grep "Memtable data size"
Memtable data size: 0

cat /var/lib/cassandra/commitlog/CommitLog-A.log | wc -l
10419

cat /var/lib/cassandra/commitlog/CommitLog-B.log | wc -l
0

nodetool drain

nodetool tablestats keyspace.table | grep "Memtable data size"
Memtable data size: 0

cat /var/lib/cassandra/commitlog/CommitLog-A.log | wc -l
no such file

cat /var/lib/cassandra/commitlog/CommitLog-B.log | wc -l
0

如果基于可记忆配置自动刷新，您会看到类似的结果。在以下观察到的刷新过程中，commitlog也没有被清除：