Docker以挂载方式安装RocketMQ

Posted 2023-04-09 爱叨叨的程序狗

Docker 挂载安装RocketMQ

• 在 Docker 中安装和使用 RocketMQ 有多种方式，其中一种方式就是通过挂载本地文件的方式安装 RocketMQ。挂载的方式可以避免重启Docker镜像后，原配置丢失的问题。
• 第一次安装RocketMQ时难免踩坑，但是请保持平和心态对待，不要担心，自己遇到的问题，别人一定遇到过，肯定有解决方案。

以下是将 RocketMQ 安装到 Docker 中并挂载本地文件的简单示例：

安装 Docker

如果你还没有安装 Docker，请先安装。可以参考官方文档 https://docs.docker.com/install/ 进行安装

NameServer

1.拉取容器

docker pull rocketmqinc/rocketmq

2.创建NameServer容器

创建一个新的容器并指定 RocketMQ 的镜像。

docker run -d \\
--name rmqnamesrv \\
-p 9876:9876 \\
-v /your/local/path/conf:/root/config \\
-v /your/local/path/logs:/root/logs \\
-e "JAVA_OPTS=-Duser.home=/opt" \\
rocketmqinc/rocketmq \\
sh mqnamesrv 

• -d 以守护线程方式启动
• –name rmqnamesrv 设置容器名称
• -p 9876:9876 端口映射
• -v 把容器内的/root/logs日志路径挂载到宿主机的自定义路径中（需根据自己的路径自行创建）
• -v 把容器内的/root/store数据存储目录挂载到宿主机的自定义目录（需根据自己的路径自行创建）
• rocketmqinc/rocketmq 使用镜像的名称
• sh mqnamesrv 执行name server脚本

挂载本地文件语法

我们使用 -v 参数将本地文件挂载到 Docker 中。

-v /your/local/path/conf:/opt/rocketmq/conf
-v /your/local/path/logs:/opt/rocketmq/logs

这样 RocketMQ 的配置文件和日志文件就会被挂载到本地路径，方便管理和查看。

3.查看容器状态

使用以下命令可以查看容器是否正常运行：

docker ps

如果能看到刚刚创建的容器，则表示安装成功。

以上是通过挂载本地文件的方式在 Docker 中安装 RocketMQ 的简单示例，也可以通过其他方式进行安装和配置，请不要无脑复制命令， 具体根据自身下载镜像和宿主机实际情况考虑。

4.补充配置

如果为避免上述挂载过程中出现conf配置失败导致无法发送消息的问题，可以在容器中配置brokerIP1，配置过程如下：

docker exec -it nameserver容器id /bin/bash

命令解析来自ChatGPT:

docker -it命令用于以交互模式启动Docker容器。下面对这个命令进行详细解释：

• docker: 是Docker客户端命令。
• -i: 表示启动容器后，进入交互模式。
• -t: 表示为容器分配一个伪终端。

通常，-it参数是在docker run命令中使用的，如：docker run -it [image]。这将启动一个新的容器，并以交互模式进入控制台。

vi ../conf/broker.conf

随后插入brokerIP1配置即可。

#设置broker节点所在服务器的ip地址--宿主机IP
brokerIP1 = xxx.xxx.x.x 

Broker.conf其他配置项

# 所属集群名称，如果节点较多可以配置多个
brokerClusterName = DefaultCluster
#broker名称，master和slave使用相同的名称，表明他们的主从关系
brokerName = broker-a
#0表示Master，大于0表示不同的slave
brokerId = 0
#表示几点做消息删除动作，默认是凌晨4点
deleteWhen = 04
#在磁盘上保留消息的时长，单位是小时
fileReservedTime = 48
#有三个值：SYNC_MASTER，ASYNC_MASTER，SLAVE；同步和异步表示Master和Slave之间同步数据的机制；
brokerRole = ASYNC_MASTER
#刷盘策略，取值为：ASYNC_FLUSH，SYNC_FLUSH表示同步刷盘和异步刷盘；SYNC_FLUSH消息写入磁盘后才返回成功状态，ASYNC_FLUSH不需要；
flushDiskType = ASYNC_FLUSH

Broker

docker run -d  \\
--name rmqbroker \\
--link rmqnamesrv:namesrv \\
-p 10911:10911 \\
-p 10909:10909 \\
-v  /docker/rocketmq/data/broker/logs:/root/logs \\
-v  /docker/rocketmq/data/broker/store:/root/store \\
-v /docker/rocketmq/conf/broker.conf:/opt/rocketmq-4.4.0/conf/broker.conf \\
-e "NAMESRV_ADDR=namesrv:9876" \\
-e "MAX_POSSIBLE_HEAP=200000000" \\
rocketmqinc/rocketmq \\
sh mqbroker -c  ../conf/broker.conf 

• –link rmqnamesrv:namesrv 和rmqnamesrv容器通信
• -p 10911:10911 把容器的非vip通道端口挂载到宿主机
• -p 10909:10909 把容器的vip通道端口挂载到宿主机
• -e “NAMESRV_ADDR=namesrv:9876” 指定namesrv的地址为本机namesrv的ip地址:9876
• -e “MAX_POSSIBLE_HEAP=200000000” rocketmqinc/rocketmq sh mqbroker 指定broker服务的最大堆内存(暂未配置)
• sh mqbroker -c …/conf/broker.conf 读取…/conf/broker.conf配置并启动broker

RocketMQ-console

以下是在 Docker 中安装 RocketMQ Console NG 的简单步骤：

1. 构建镜像

在下载完成后，使用以下命令构建镜像：

docker pull pangliang/rocketmq-console-ng

其中，version 是需要构建的 RocketMQ Console NG 版本号，可以根据需要进行修改。

1. 启动容器

使用以下命令启动容器：

docker run -d \\
--name rmqadmin \\
-e "JAVA_OPTS=-Drocketmq.namesrv.addr=your_nameserver_address:9876 \\
-Dcom.rocketmq.sendMessageWithVIPChannel=false" \\
-p 9999:8080 \\
pangliang/rocketmq-console-ng

• -e "JAVA_OPTS=-Drocketmq.namesrv.addr=your_nameserver_address:9876 设置nameserver服务的地址
• -p 9999:8080 容器端口映射到宿主机的8080端口

其中，your_nameserver_address 是您的 RocketMQ Broker 的 Nameserver 地址。如果您没有配置 Nameserver，可以使用 [your_broker_ip]:9876 作为该变量的值。

1. 访问控制台

此时，RocketMQ Console NG 就已经在 Docker 容器中启动成功了。现在，可以使用浏览器访问 http://localhost:8080 或 http://[your_server_ip]:8080 来访问控制台。

1. 其他注意事项

在使用 RocketMQ Console NG 进行监控时，应确保控制台与 Nameserver 的网络连接正常。此外，还需要注意设置 RocketMQ 的相关参数，包括 Nameserver 地址和 VIP 通道等。可以通过设置环境变量来设置这些参数。以上是在 Docker 中安装 RocketMQ Console NG 的简单步骤，具体细节可以根据实际情况进行调整和修改。

最后

祝大家都成功，耐住性子。

docker安装rocketmq 开通acl鉴权 rocketmq-dashboard

准备

hub地址：https://hub.docker.com/r/foxiswho/rocketmq

/mydata/rocketmq

[root@xxx-test-ecs001 rocketmq]# pwd
/mydata/rocketmq
[root@xxx-test-ecs001 rocketmq]# ll
drwxrwxrwx 4 root root 4096 Nov  9 11:39 broker
drwxrwxrwx 3 root root 4096 Nov  8 18:41 console
-rw-r--r-- 1 root root 2041 Nov  9 13:50 docker-compose.yml
drwxrwxrwx 4 root root 4096 Nov  8 14:45 namesrv
[root@xxx-test-ecs001 rocketmq]# 

创建对应目录和文件

mkdir -p /mydata/rocketmq/broker/logs,store
mkdir -p /mydata/rocketmq/namesrv/logs,store
mkdir -p /mydata/rocketmq/console/data
#赋予目录权限
chmod -R 777 /mydata/rocketmq

/mydata/rocketmq/broker

[root@kamp-test-ecs001 rocketmq]# cd broker/
[root@kamp-test-ecs001 broker]# ll
-rwxrwxrwx 1 root root  228 Nov  8 18:48 broker.conf
drwxrwxrwx 3 root root 4096 Nov  9 10:27 logs
-rw-r--r-- 1 root root  721 Nov  9 11:39 plain_acl.yml
drwxrwxrwx 2 root root 4096 Nov  9 10:27 store
[root@kamp-test-ecs001 broker]# 

参考官方配置文件 https://github.com/apache/rocketmq/tree/develop/distribution/conf

/mydata/rocketmq/broker/broker.conf

brokerClusterName = DefaultCluster
brokerName = broker-a
brokerId = 0
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
#开启鉴权
aclEnable=true
# 主机IP
brokerIP1 = 47.107.xx.xx

/mydata/rocketmq/broker/plain_acl.yml
开通acl权限控制，canal等配置全局白名单之后不需要配置密码
中文文档：https://github.com/apache/rocketmq/blob/master/docs/cn/acl/user_guide.md

globalWhiteRemoteAddresses:
  - 192.168.1.*
  - 47.107.xx.xx

accounts:
  - accessKey: RocketMQ123
    secretKey: KDFJ*sldf_sdf
    whiteRemoteAddress:
    admin: false
    defaultTopicPerm: DENY
    defaultGroupPerm: SUB
    topicPerms:
      - topicA=DENY
      - topicB=PUB|SUB
      - topicC=SUB
    groupPerms:
      # the group should convert to retry topic
      - groupA=DENY
      - groupB=PUB|SUB
      - groupC=SUB

    #不能少于6位
  - accessKey: hello_rocketmq
    secretKey: kf_ls_HELlos
    whiteRemoteAddress: 192.168.1.*
    # if it is admin, it could access all resources
    admin: true

/mydata/rocketmq/console/data/users.properties
控制台basic登录使用

# This file supports hot change, any change will be auto-reloaded without Console restarting.
# Format: a user per line, username=password[,N] #N is optional, 0 (Normal User); 1 (Admin)
# Define Admin
# =============用户名和密码规则「用户名=密码,权限」，这里的权限为1表示管理员，为0表示普通用户=============
# 例如：admin=admin123,1
admin=123Uskfss,1
# Define Users
# =============屏蔽下边两个账户=============
#user1=user1
#user2=user2

执行脚本

docker-compose.yml

version: '2.3'

services:
  rmqnamesrv:
    image: foxiswho/rocketmq:4.8.0
    #    image: registry.cn-hangzhou.aliyuncs.com/foxiswho/rocketmq:4.7.0
    container_name: rmqnamesrv
    ports:
      - 9876:9876
    volumes:
      - /mydata/rocketmq/namesrv/logs:/home/rocketmq/logs
      - /mydata/rocketmq/namesrv/store:/home/rocketmq/store
    environment:
      JAVA_OPT_EXT: "-Duser.home=/home/rocketmq -Xms512M -Xmx512M -Xmn128m"
    command: [ "sh","mqnamesrv" ]
    networks:
      rmq:
        aliases:
          - rmqnamesrv
  rmqbroker:
    image: foxiswho/rocketmq:4.8.0
    #    image: registry.cn-hangzhou.aliyuncs.com/foxiswho/rocketmq:4.7.0
    container_name: rmqbroker
    ports:
      - 10909:10909
      - 10911:10911
    volumes:
      - /mydata/rocketmq/broker/logs:/home/rocketmq/rocketmq-4.8.0/logs
      - /mydata/rocketmq/broker/store:/home/rocketmq/rocketmq-4.8.0/store
      - /mydata/rocketmq/broker/broker.conf:/home/rocketmq/rocketmq-4.8.0/conf/broker.conf
      - /mydata/rocketmq/broker/plain_acl.yml:/home/rocketmq/rocketmq-4.8.0/conf/plain_acl.yml
    environment:
      JAVA_OPT_EXT: "-Xms512M -Xmx512M -Xmn128m"
    command: [ "sh","mqbroker","-c","/home/rocketmq/rocketmq-4.8.0/conf/broker.conf","-n","rmqnamesrv:9876","autoCreateTopicEnable=true" ]
    depends_on:
      - rmqnamesrv
    networks:
      rmq:
        aliases:
          - rmqbroker

  rmqconsole:
    image: apacherocketmq/rocketmq-dashboard:1.0.0
    container_name: rmqconsole
    ports:
      - 8180:8080
    volumes:
      - /mydata/rocketmq/console/data:/tmp/rocketmq-console/data
    environment:
      JAVA_OPTS: "-Drocketmq.namesrv.addr=rmqnamesrv:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false -Drocketmq.config.loginRequired=true -Drocketmq.config.accessKey=hello_rocketmq -Drocketmq.config.secretKey=kf_ls_HELlos"
    depends_on:
      - rmqnamesrv
    networks:
      rmq:
        aliases:
          - rmqconsole

networks:
  rmq:
    name: rmq
    driver: bridge

springboot程序连接是需要增加access-key和secret-key