ActiveMQ消息存储持久化详解

在上一篇文章中，我们详细介绍了ActiceMQ的功能作用以及代码实现。本文，我们继续来对ActiveMQ的消息存储方式进行进一步的研究。作为一个消息中中间件，当消费者或者发布者将消息生成或者发布后，这个消息需要暂存到一个地方，用于过渡，然后交给消费者或者订阅者。那么这些消息在中途存到哪里去了呢？我们本章就来探讨一下。
阅读本文前，请保证已经阅读过了《消息队列的实现原理和ActiveMQ详解》这篇文章，或者你已经对ActiveMQ有了充分的学习和认识。

ActiveMQ消息存储持久化

在这里插入图片描述
如图所示，ActiveMQ提供了插件式的消息存储，主要有如下几种:

AMQ Message Store：AMQ消息存储-基于文件的存储方式，是以前的默认消息存储
kahaDB Message Store：KahaDB消息存储-提供了容量的提升和恢复能力，是现在的默认存储方式
JDBC Store：JDBC消息存储-消息基于JDBC存储的
Memory Message Store：Memory消息存储-基于内存的消息存储

关于ActiceMQ的所有配置信息，都配置在置activemq.xml文件中，这个文件在安装成功后的根路径下的conf目录下，打开即可修改。为什么要提到这个文件，那肯定是一会所有的配置都要围绕它展开，如果不知道它在哪，将没有办法对它进行修改，只能使用默认配置~
下面就来分别介绍一下这几种方式。

(1) KahaDB Message Store 概述

KahaDB是目前默认的存储方式，可用于任何场景，提高了性能和恢复能力。消息存储使用一个事务日志和仅仅用一个索引文件来存储它所有的地址。

KahaDB是一个专门针对消息持久化的解决方案，它对典型的消息使用模式进行了优化。在kaha中，数据被追加到 data logs（数据日志）中。当不再需要log文件中的数据的时候,log（日志）文件会被丢弃。

KahaDB基本配置如下:

<persistenceAdapter> 
	<kahaDB directory="${activemq.data}/kahadb"/>
</persistenceAdapter>

这个配置是默认的，如果不做任何修改，你在打开配置文件后看到的就是这个样子。

当然，这种配置方式下，还有需要可用的属性。这里默认只有一个directory属性，下面来介绍一下这里的可用属性：

director: KahaDB存放的路径，默认值activemq-data
indexWriteBatchSize: 批量写入磁盘的索引page数量,默认值为1000
indexCacheSize: 内存中缓存索引page的数量,默认值10000
enableIndexWriteAsync: 是否异步写出索引,默认false
journalMaxFileLength: 设置每个消息data log的大小，默认是32MB
enableJournalDiskSyncs: 设置是否保证每个没有事务的内容，被同步写入磁盘，JMS持久化的时候需要，默认为true
cleanupInterval: 在检查到不再使用的消息后,在具体删除消息前的时间,默认30000
checkpointInterval: checkpoint的间隔时间，默认是5000
ignoreMissingJournalfiles: 是否忽略丢失的消息日志文件，默认false
checkForCorruptJournalFiles: 在启动的时候，将会验证消息文件是否损坏，默认false
checksumJournalFiles: 是否为每个消息日志文件提供checksum,默认false
archiveDataLogs: 是否移动文件到特定的路径，而不是删除它们，默认false
directoryArchive: 定义消息已经被消费过后，移动data log到的路径，默认null
databaseLockedWaitDelay: 获得数据库锁的等待时间(used by shared master/slave),默认10000
maxAsyncJobs: 设置最大的可以存储的异步消息队列，默认值10000，可以和concurrent MessageProducers设置成一样的值。
concurrentStoreAndDispatchTransactions:是否分发消息到客户端，同时事务存储消息，默认true
concurrentStoreAndDispatchTopics:是否分发Topic消息到客户端，同时进行存储，默认true
concurrentStoreAndDispatchQueues: 是否分发queue消息到客户端，同时进行存储，默认true

(2) AMQ Message Store 概述

AMQ Message Store是ActiveMQ5.0的持久化存储，它是一个基于文件、事务存储设计为快速消息存储的一个结构，该结构是以流的形式来进行消息交互的。
这种方式中，Messages被保存到data logs中，同时被reference store进行索引以提高存取速度。Data logs由一些简单的data log文件组成，缺省的文件大小是32M，如果某个消息的大小超过了data log文件的大小，那么可以修改配置以增加data log文件的大小。如果某个data log文件中所有的消息都被成功消费了，那么这个data log文件将会被标记，以便在下一轮的清理中被删除或者归档。

AMQ Message Store基本配置如下:

<broker brokerName="broker" persistent="true" useShutdownHook="false">
	<persistenceAdapter>
		<amqPersistenceAdapter directory="${activemq.base}/data" maxFileLength="32mb" />
	</persistenceAdapter>
</broker>

(3) 使用JDBC来持久化消息

JDBC Store方式

ActiveMQ支持使用JDBC来持久化消息，预定义的表如下：

消息表,表名为ACTIVEMQ_MSGS, queue和topic都存储在里面，结构如下:
ACTIVEMQ_ACKS表，存储持久订阅的信息和最后一个持久订阅接收的消息ID,结构如下:
锁定表，表名为ACTIVEMQ_LOCK，用来确保在某一时刻，只能有一个ActiveMQ broker实例来访问数据库，结构如下：

使用JDBC来持久化消息的配置示例:

在activemq.xml中的配置如下:

	<persistenceAdapter>
	 　　<jdbcPersistenceAdapter dataSource="#mysql-ds" />
	</persistenceAdapter>

这里基本的配置就是将默认的KahaDB配置注解删除，换成上面的注解。当然，这里可以对数据库进行配置，例如可以添加 transactionIsolation=“4” 事务隔离级别，useDatabaseLock=“false” 是否开启数据库锁等。
另外，这里的将持久化方式配置成数据库后，我们就需要创建一个数据库的配置，用来供给ActiveMQ对接存储数据，我们可以直接在当前的activemq.xml配置文件中创建一个< bean >标签来定义数据库的配置信息。此处配置的是一个数据源对象，运用的数据源实现产品是dbcp，因为这是ActiceMQ自带的一种数据源实现方式。

代码：

<bean id="mysql-ds" class="org.apache.commons.dbcp2.BasicDataSource"  destroy-method="close">  
	<property name="driverClassName" value="com.mysql.jdbc.Driver" />  
	<property name="url"  value="jdbc:mysql://localhost:3306/test" /> 
	<property name="username" value="root" />  
	<property name="password" value="root" />  
	<property name="initialSize" value="5" />  
	<property name="maxTotal" value="100" />  
	<property name="maxIdle" value="30" />  
	<property name="maxWaitMillis" value="10000" />  
	<property name="minIdle" value="1" /> 
</bean>

重点强调：

bean 对象的 id 要与一开始修改ActiveMQ的持久化方式时，使用的
< jdbcPersistenceAdapter dataSource="#mysql-ds" /> 中指定的dataSource的id保持一致。dataSource给了#mysql-ds，那么#就是id，所以我们的数据源bean就得有id属性，同时，id的值就是#后面的值，必须对应一致，但是不一定非要按照我写的来，名字可以随便。
可以看出来，我在这里使用的mysql数据库，使用数据库持久化的方式肯定离不开JDBC的实现，所以，我们必须将mysql的jdbc jar包（mysql-connector-java-5.1.38.jar），拷贝到ActiveMQ的根路径下的lib目录中，以备启动ActiveMQ时，它与数据库进行链接，如果没有，将无法链接。

完成上面的配置和jar包的引入，就可以在开发过程中直接使用了，使用的方法就是在使用MessageProducer消息生产者/发布者时，将持久化方式进行修改。代码如下：

//设置消息持久化
producer.setDeliveryMode(DeliveryMode.PERSISTENT);

JDBC Message Store with ActiveMQ Journal 方式

这种方式克服了JDBC Store的不足，使用快速的缓存写入技术，大大提高了性能。

配置如下：

<beans>
　　<broker brokerName="test-broker" xmlns="http://activemq.apache.org/schema/core">
 　　　　<persistenceFactory>
 　　　　	<journalPersistenceAdapterFactory journalLogFiles="4" journalLogFileSize="32768"
 　　　　　　		useJournal="true" useQuickJournal="true" dataSource="#mysql_ds" dataDirectory="activemq-data">
　　　　</persistenceFactory>
　　</broker>
</beans>

JDBC Store和JDBC Message Store with ActiveMQ Journal的区别：

JDBC with journal的性能优于jdbc
JDBC用于master/slave模式的数据库分享
JDBC with journal不能用于master/slave模式
一般情况下，推荐使用jdbc with journal

(4) 使用 Memory Message Store 方式持久化

内存消息存储主要是存储所有的持久化的消息在内存中。这里没有动态的缓存存在，所以你必须注意设置你的broker所在的JVM和内存限制。

配置：

<beans>
 　　<broker brokerName="test_broker" persistent="false" xmlns="http://activemq.apache.org/schema/core">
　　　　<transportConnectors>
 　　　　	<transportConnector uri="tcp://localhost:61635">
 　　　　</transportConnectors>
 　　</broker>
</beans>

吕鑫洋

发布了10 篇原创文章 · 获赞 1 · 访问量 346

私信关注