ActiveMQ学习第五篇:ActiveMq伪集群学习

Posted yangk1996

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ActiveMQ学习第五篇:ActiveMq伪集群学习相关的知识,希望对你有一定的参考价值。

启动多实例

# 1、将conf文件夹复制一份  
cp -r conf/ conf-1/

#主要是修改conf-1目录activemq.xml
# 2、修改Broker名称
<broker xmlns="http://activemq.apache.org/schema/core" brokerName="localhost-1" dataDirectory="${activemq.data}">

#3、数据存储如果使用的是kahaDB,需要更改存储位置,不能出现重复:
      <persistenceAdapter>
            <kahaDB directory="${activemq.data}/kahadb_1"/>
        </persistenceAdapter> 
#4、所有涉及的transportConnectors的端口,都要跟conf里面的的不一样
        <transportConnectors>
            <transportConnector name="openwire" uri="tcp://0.0.0.0:61626?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
            <transportConnector name="amqp" uri="amqp://0.0.0.0:5622?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
            <transportConnector name="stomp" uri="stomp://0.0.0.0:61623?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
            <transportConnector name="mqtt" uri="mqtt://0.0.0.0:1823?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
            <transportConnector name="ws" uri="ws://0.0.0.0:61624?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
        </transportConnectors>
        
#5、修改jetty.xml,端口:
    <bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
             <!-- the default port number for the web console -->
        <property name="host" value="0.0.0.0"/>
        <property name="port" value="8162"/>
    </bean>
#6、到bin下面,复制一个activemq, 叫activemq-1:
cp -r activemq activemq-1

#7、#activemq-1.xml,ACTIVEMQ_PIDFILE、ACTIVEMQ_CONF需要修改
  ACTIVEMQ_PIDFILE="$ACTIVEMQ_DATA/activemq-1.pid"(162行)
ACTIVEMQ_CONF="$ACTIVEMQ_BASE/conf-1" (125行)

技术图片

networkConnector:

??在某些场景下,需要多个ActiveMQ的Broker做集群,那么就涉及到Broker到Broker的通信,这个被称为ActiveMQ的networkConnector。
??ActiveMQ的ne tworkConnector默认是单向的,一 个Broker在一 端发送消息, 另一个Broker在另一端接收消息。这就是所谓的“桥接”。ActiveMQ也支持双向链接,创建一个双向的通道对于两个Broker,不仅发送消息而且也能从相同的通道来接收消息,通常作为duplex connector来映射,如下:
技术图片
Static networks:
??Static networkConnector是用于创建一一个静态的配置对于网络中的多个Broker。这种协议用于复合url,一个复合url包括多个url地址。格式如下:static: (uri1, uri2, uri3,..) ?key=value

// 在broker标签里面配置
<networkConnectors>
    <networkConnector name="local network" 
    uri="static://(tcp://192.168.100.155:61616,tcp://192.168.100.155:61626)"/>
</networkConnectors>

这样配置之后可以看到,当61616发送消息时,61626也是可以接收到的。这个就是单向链接.
当brokerA(61616)和brokerB(61626)使用单向链接时.一般情况下brokerB会比A优先接受消息。
技术图片
networkConnector可用配置:
??1:name:默认是bridge
??2: dynamicOnly: 默认是false,如果为true, 持久订阅被激活时才创建对应的网路持久订阅。默认是启动时激活
??3:decreaseNetworkConsumerPriority:默认是false。设定消费者优先权,如果为true,网络的消费者优先级降低为-5。 如果为false,则默认跟本地消费者一样为0
??4:networkTTL :默认是1 ,网络中用于消息和订阅消费的broker数量
??5:messageTTL :默认是1 ,网络中用于消息的broker数量
??6:consumerTTL:默认是1 ,网络中用于消费的broker数量
??7:conduitSubscriptions :默认true,是否把同一个broker的多个consumer当做一个来处理
??8:dynamicallyIncludedDestinations :默认为空,要包括的动态消息地址,类似于excludedDestinations,如:

 <dynamicallyIncludedDestinations>
     <!-- 需要过滤的消息名称 -->
      <queue physicalName="include.test.foo"/>
      <topic physicalName="include.test.bar"/>
    </dynamicallyIncludedDestinations>

??9:staticallyIncludedDestinations :默认为空,要包括的静态消息地址。类似于excludedDestinations,如:

 <staticallyIncludedDestinations>
      <queue physicalName="always.include.queue"/>
    </staticallyIncludedDestinations>

当我们不希望brokerA的所有消息都发送到brokerB上,可以选择配置此项
??10:excludedDestinations :默认为空,指定排除的地址,示例如下:

<networkConnectors>
        <networkConnector uri="static://(tcp://localhost:61616)" name="bridge" dynamicOnly="false" conduitSubscriptions="true" decreaseNetworkConsumerPriority="false">
            <excludedDestinations>
                <!-- 排除 -->
                <queue physicalName="exclude.test.foo"/>
                <topic physicalName="exclude.test.bar"/>
            </excludedDestinations>
            <dynamicallyIncludedDestinations>
                 <!-- 包含 -->
                <queue physicalName="include.test.foo"/>
                <topic physicalName="include.test.bar"/>
            </dynamicallyIncludedDestinations>
            <staticallyIncludedDestinations>
                 <!-- 包含 -->
                <queue physicalName="always.include.queue"/>
                <topic physicalName="always.include.topic"/>
            </staticallyIncludedDestinations>
        </networkConnector>
    </networkConnectors>

??11:duplex :默认false,设置是否能双向通信
??12:prefetchSize :默认是1000,持有的未确认的最大消息数量,必须大于0,因为网络消费者不能自己轮询消息
??13:suppressDuplicateQueueSubscriptions:默认false,如果为true, 重复的订阅关系一产生即被阻止
??14:bridgeTempDestinations :默认true,是否广播advisory messages来创建临时destination
??15:alwaysSyncSend(同步) :默认false,如果为true,非持久化消息也将使用request/reply方式代替oneway方式发送到远程broker。
??16:staticBridge :默认false,如果为true,只有staticallyIncludedDestinations中配置的destination可以被处理。
??17:dynamicOnly:默认是false,如果为true, 持久订阅被激活时才创建对应的网路持久订阅。默认是启动时激活

消息的回流功能:
??有这样的场景,brokerA 和brokerB通过networkGonnector连接,一些consumers 连接到brokerB ,消费brokerA_上的消息。消息先被brokerB从brokerA_上消费掉,然后转发给这些consumers.不幸的是转发部分消息的时候brokerB重启了,这些consumers发现brokerB连接失败,通过failover连接到brokerA上去了,但是有一部分他们还没有消费的消息被brokerA已经分发到了brokerB上去了。这些消息,就好像是消失了,除非有消费者重新连接到brokerB上来消费。即使配置成双向链接,还是会有一部分数据接收不到,只有从新连接brokerB才可以。双向连接会在开始的时候分配两边接收的消息数量
??从5.6版起,在destinationPolicy上新增的选项replayWhenNoConsumers。这个选项使得brokerB上有需要转发的消息但是没有消费者时,把消息回流到它原始的brokerA. 同时把enableAudit设置为false,为了防止消息回流后被当做重复消息而不被分发。需要设置成双向连接且在两个broker的activemq.xml里面配置如下信息:

<destinationPolicy>
      <policyMap>
        <policyEntries>
           <policyEntrytopic=">" enableAudit="false">
             <networkBridgeFilterFactory>
                 <conditionalNetworkBridgeFilterFactoryreplayWhenNoConsumers="true" />
             </networkBridgeFilterFactory>
           </policyEntry>
        </policyEntries>
      </policyMap>
</destinationPolicy>

连接的容错:

Fai lover Protocol:
? 前面讲述的都是Client配置链接到指定的broker上。但是,如果Broker的链接失败怎么办呢?此时,Client有两个选项:要么立刻死掉,要么去连接到其它的broker上。
? Failover协议实现了自动重新链接的逻辑。这里有两种方式提供了稳定的brokers列表对于Client链接。第一种方式:提供一个static的可用的Brokers列表。第二种方式:提供一个dynamic发现的可用Brokers。
Failover Protocol的默认配置:
?   默认的情况下,这种协议用于随机的去选择一个链接去连接,如果连接失败了,那么会连接到其他的Broker上。默认配置定义了延迟重新连接,意味着传输将会在10s后自动去重新连接可用的broker.当然所以有的重新连接参数都可以根据应用的需要而配置的。
Failover Protocol 使用示例:

ConnectionFactory activeMQConnectionFactory = new ActiveMQConnectionFactory("failover:(tcp://192.168.100.155:61616,tcp://192.168.100.155:61626)?randomize=fase");

当发送消息的时候,第一次有可能会发送给brokerA,当把brokerA kill掉之后。再次发送消息的时候,就会发送给brokerB。这其实是一种容错机制。当randomize=true这样设置消息就会出现一种负载均衡。随机发送给不同的broker。可以保证既能容错也能有负载均衡。
Failover Protocol 可用的配置参数:

  1. initialReconnectDelay: 在第一次尝试重新连接之前等待的时间长度(毫秒),默认10
  2. maxReconnectDelay: 最长重连时间间隔(毫秒),默认30000
  3. useExponentialBackOff: 重连时间间隔是否以指数形式增长,默认true
  4. backOffMultiplier:递增倍数:默认2.0
  5. maxReconnectAttempts: 默认1|0,自5.6版本开始,-1为默认值,代表不限重试次数,0标识从不重试(只尝试连接一次,并不重连),5.6以前的版本,0为默认值,代表不重试,如果设置大于0的数,则代表最大重试次数。
  6. startupMaxReconnectAttempts: 初始化时的最大重试次数,一旦连接上,将使用maxReconnectAttempts的配置,默认0
  7. randomize: 使用随机连接,以达到负载均衡的目的,默认true
  8. backup: 提前初始化一个未使用的链接,以便进行快速的失败转移,默认false.
  9. trackMessages: 设置是否缓存(故障发生时)尚未传送完成的消息,当broker一旦重新连接成功,便将这些缓存中的消息刷新到新连接的代理中,使得消息可以在broker切换前后顺利传送。默认false
  10. maxCacheSize: 当trackMessage启动时,缓存的最大子接,默认为127*1024bytes
  11. updateURISupported:设定是否可以动态修改broker uri(自5.4版本开始),默认true.

官方集群文档:

http://activemq.apache.org/masterslave.html

以上是关于ActiveMQ学习第五篇:ActiveMq伪集群学习的主要内容,如果未能解决你的问题,请参考以下文章

ActiveMQ集群整体认识

activemq 学习系列 activemq 集群

ActiveMQ+ZooKeeper搭建高可用集群

基于Docker搭建ActiveMQ的高可用集群

烂泥:ActiveMQ的安装与配置

CK2129-实战ActiveMQ集群与应用 (CP1817,CP1818)