ActiveMQ消息持久化-KahaDB
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了ActiveMQ消息持久化-KahaDB相关的知识，希望对你有一定的参考价值。
KahaDB
KahaDB是从ActiveMQ 5.4开始默认的持久化插件。
KahaDb恢复时间远远小于其前身AMQ并且使用更少的数据文件，所以可以完全代替AMQ。（AMQ适用于ActiveMQ5.3之前的版本。）
KahaDB的持久化机制同样是基于日志文件，索引和缓存。
一、配置方式：
activemq.xml
<persistenceAdapter>
<kahaDB directory="${activemq.data}/kahadb"/>
</persistenceAdapter>二、KahaDB主要特性
1、日志形式存储消息；
2、消息索引以B-Tree结构存储，可以快速更新；
3、完全支持JMS事务；
4、支持多种恢复机制；
三、KahaDB的结构
消息存储在基于文件的数据日志中。如果消息发送成功，变标记为可删除的。系统会周期性的清除或者归档日志文件。
消息文件的位置索引存储在内存中，这样能快速定位到。定期将内存中的消息索引保存到metadata store中，避免大量消息未发送时，消息索引占用过多内存空间。
Data logs：
Data logs用于存储消息日志，消息的全部内容都在Data logs中。
同AMQ一样，一个Data logs文件大小超过规定的最大值，会新建一个文件。同样是文件尾部追加，写入性能很快。
每个消息在Data logs中有计数引用，所以当一个文件里所有的消息都不需要了，系统会自动删除文件或放入归档文件夹。
Metadata cache ：
缓存用于存放在线消费者的消息。如果消费者已经快速的消费完成，那么这些消息就不需要再写入磁盘了。
Btree索引会根据MessageID创建索引，用于快速的查找消息。这个索引同样维护持久化订阅者与Destination的关系，以及每个消费者消费消息的指针。
Metadata store
在db.data文件中保存消息日志中消息的元数据，也是以B-Tree结构存储的，定时从Metadata cache更新数据。Metadata store中也会备份一些在消息日志中存在的信息，这样可以让Broker实例快速启动。
即便metadata store文件被破坏或者误删除了。broker可以读取Data logs恢复过来，只是速度会相对较慢些。
一个实际的ActiveMQ的KahaDB存储方式下的数据目录如下：
可以看出，上面directory一共有四个文件：
①db.data
它是消息的索引文件。本质上是B-Tree的实现，使用B-Tree作为索引指向db-*.log里面存储的消息。
②db.redo
主要用来进行消息恢复。
③db-*.log 存储消息的内容。对于一个消息而言，不仅仅有消息本身的数据(message data)，而且还有(Destinations、订阅关系、事务...)
data log以日志形式存储消息，而且新的数据总是以APPEND的方式追加到日志文件末尾。因此，消息的存储是很快的。比如，对于持久化消息，Producer把消息发送给Broker，Broker先把消息存储到磁盘中(enableJournalDiskSyncs配置选项)，然后再向Producer返回Acknowledge。Append方式在一定程度上减少了Broker向Producer返回Acknowledge的时间。
④lock文件
四、KahaDB的配置选项
| 属性 | 默认值 | 描述 |
| directory | activemq-data | 消息文件和日志的存储目录 |
| journalMaxFileLength | 32mb | 一个消息文件的大小。当存储的消息达到32MB时，新建一个新文件来保存消息。这个配置对生产者或消息者的速率有影响。比如，生产者速率很快而消费者速率很慢时，将它配置得大一点比较好。 |
| indexWriteBatchSize | 1000 | 当Metadata Cache中更新的索引到达了1000时，才同步到磁盘上的Metadata Store中。不是每次更新都写磁盘，而是批量更新写磁盘，比较写磁盘的代价是很大的。 |
| indexCacheSize | 10000 | 在内存中最多分配多个页面来缓存index。缓存的index越多，命中的概率就越大，检索的效率就越高。 |
| enableJournalDiskSyncs | true | 默认采用同步写磁盘，即消息先存储到磁盘中再向Producer返回ACK。 |
| cleanupInterval | 30000 | 清除操作周期，单位ms。当消息被消息者成功消费之后，Broker就可以将消息删除了。 |
| checkpointInterval | 5000 | 索引写入到消息文件的周期，单位ms。每隔5s将内存中的Index(Metadata Cache)更新到磁盘的Index文件中(Metadata Store) |
参考文档：
以上是关于ActiveMQ消息持久化-KahaDB的主要内容，如果未能解决你的问题，请参考以下文章