两种MinIO分布式集群部署方式

Posted 2021-12-28 西风未眠

关于分布式集群MinIo

单机Minio服务存在单点故障，如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线，数据就是安全的、可读的。不过需要至少有N/2+1个硬盘在线，才能创建新的对象。

例如，一个16节点的Minio集群，每个节点16块硬盘，就算8台服务器器宕机，这个集群仍然是可读的，不过你需要9台服务器才能写数据。

注意：只要遵守分布式Minio的限制，你可以组合不同的节点和每个节点几块硬盘。比如，你可以使用2个节点，每个节点4块硬盘；也可以使用4个节点，每个节点2块硬盘，诸如此类。

部署分布式MinIO集群，需要注意：

1、分布式MinIO所有节点是通过MINIO_ROOT_USER和MINIO_ROOT_PASSWORD两个参数相互连接和信任，为此，建议在执行MinIO server命令前，为所有节点设置环境变量MINIO_ROOT_USER和MINIO_ROOT_PASSWORD。如果不设置，则默认是minioadmin/minioadmin。
2、MinIO创建擦除编码集，每个集包含4到16个驱动器。分布式集群提供的驱动器总数必须是这些数字之一的倍数。
3、MinIO选择最大的EC集合大小，该集合将划分为给定的驱动器总数或节点总数——确保保持均匀分布，即每个节点参与每个集合的驱动器数量相等。
4、每个对象都写入一个EC集，因此分布在不超过16个驱动器上。
5、建议所有运行分布式MinIO设置的节点都是同构的，即相同的操作系统、相同的硬盘数量和相同的网络互连。
6、MinIO分布式模式需要新的目录。建议单独挂载磁盘创建数据目录。
7、运行分布式MinIO实例的服务器之间的间隔应该小于15分钟。部署前先启动服务器NTP时间同步，以确保分布式集群内的服务器时间一致。
8、应该定义并导出MINIO_DOMAIN环境变量以支持桶DNS风格。
9、MinIO目前在Windows上的运行尚不成熟，生产环境慎重使用。

分布式MinIO集群部署

1、虚拟机部署

1.1 部署规划：

一共5台服务器。MinIO集群部署在4台服务器上，每个服务器1块磁盘；剩余一台服务器用于部署nginx负载均衡。

1.2 部署步骤：

1.2.1 四台服务器开启时间同步，命令：

# yum -y install ntp
# systemctl enable ntpd
# systemctl start ntpd
# timedatectl set-ntp yes
# ntpdate -u cn.pool.ntp.org
# ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime   
# watch -n 1 date

1.2.2 创建相关目录，并下载minio

# mkdir /home/minio/app,config,data,logs -p
# cd /home/minio/app
# wget https://dl.min.io/server/minio/release/linux-amd64/minio
# chmod +x minio

1.2.3 创建部署启动脚本：
启动脚本run.sh:

#!/bin/bash
export MINIO_ACCESS_KEY=admin
export MINIO_SECRET_KEY=admin@minio
/home/minio/app/minio server --config-dir /home/minio/config  --console-address ":9001" \\    
http://10.98.66.62:9000/home/minio/data \\
http://10.98.66.63:9000/home/minio/data \\
http://10.98.66.64:9000/home/minio/data \\
http://10.98.66.65:9000/home/minio/data >/home/minio/logs/start.txt 2>&1 &

启动脚本有一个参数--config-dir /home/minio/config 是指定配置文件路径的，如果没有指定这个参数，那么默认就会在~/.minio下生成相关的文件

1.2.4 启动应用：

# sh run.sh

4个节点都重复以上4个部署步骤。待4个节点都成功启动后，集群启动成功。
注意：
如果只启动了1个节点，那么可能发现9001端口没有启动，继续等到4个节点都启动后再检查9001,会发现就启动成功了。

1.3 配置Nginx代理

[root@test-66 domains]# cat minio-cluster.conf 
upstream minio_console 
    server 10.98.66.62:9001 max_fails=3 fail_timeout=5s;
    server 10.98.66.63:9001 max_fails=3 fail_timeout=5s;
    server 10.98.66.64:9001 max_fails=3 fail_timeout=5s;
    server 10.98.66.65:9001 max_fails=3 fail_timeout=5s;

upstream minio_api 
    server 10.98.66.62:9000 max_fails=3 fail_timeout=5s;
    server 10.98.66.63:9000 max_fails=3 fail_timeout=5s;
    server 10.98.66.64:9000 max_fails=3 fail_timeout=5s;
    server 10.98.66.65:9000 max_fails=3 fail_timeout=5s;


server 
    listen          9001;   #或者用80端口也可以
    server_name     10.98.66.66;    #可以用域名
    access_log      /home/minio/logs/minio.com_access.log main;
    error_log       /home/minio/logs/minio.com_error.log warn;
    location / 
        proxy_next_upstream     http_500 http_502 http_503 http_504 error timeout invalid_header;
        proxy_set_header        Host  $host;
        proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass              http://minio_console;
        expires                 0;
    


server 
    listen          9000;
    server_name     10.98.66.66;   #可以用域名
    access_log      /home/minio/logs/minio.com_access.log main;
    error_log       /home/minio/logs/minio.com_error.log warn;
    #root            /home/minio/app/;

    location / 
        proxy_next_upstream     http_500 http_502 http_503 http_504 error timeout invalid_header;
        proxy_set_header        Host  $host;
        proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass              http://minio_api;
        expires                 0;
    

[root@test-66 domains]#

因为没有用域名，所以访问的时候就用的NginxIP访问：http://10.98.66.66:9001，登录后，就能看到集群4个节点都是OK状态：

在页面创建一个Bucket:

因为是集群状态，所以图上圈出来的4个配置现在是可用状态了。
bucket创建好之后，到4台MinIo节点的/home/minio/data目录看，都存在test目录了，四个节点是同步的：

2、在rancher上部署MinIo集群

部署步骤：

• 创建4个工作负载
• 创建service
• 创建负载均衡

  2.1 创建工作负载截图minio-1：

  
  上图中入口启动命令：

  minio server http://minio-1:9000/data/ http://minio-2:9000/data/ http://minio-3:9000/data/ http://minio-4:9000/data/ --console-address :9001

  minio-1成功启动后，按照minio-1克隆minio-2、minio-3、minio-4，注意修改工作负载名、hostname、数据卷挂载：
  

  2.2 创建service

  

  2.3 创建负载均衡

  
  

  2.4 登录验证

  
  登录后，能看到刚刚部署的节点：
  
  创建一个名为rancher的bucket：
  
  然后查看rancher上4个MinIO节点的/data目录，都存在rancher目录，数据同步也OK：