分布式技术专题「OSS中间件系列」Minio的Server端服务的架构和实战搭建

Posted 洛神灬殇

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了分布式技术专题「OSS中间件系列」Minio的Server端服务的架构和实战搭建相关的知识,希望对你有一定的参考价值。

Minio的介绍说明

  • Minio是目前githug上star最多的Object Storage框架,这里Object Storage我目前的理解就是数据存储,minio可以用来搭建分布式存储服务

  • Minio是Apache License v2.0下发布的对象存储服务器。它与Amazon S3云存储服务兼容。它最适合存储非结构化数据,如照片,视频,日志文件,备份和容器/ VM映像。对象的大小可以从几KB到最大5TB。

  • Minio服务器足够轻,可以与应用程序堆栈捆绑在一起,类似于NodeJS,Redis和mysql

注意点:

分布式Minio单租户存在最少4个盘最多16个盘的限制(受限于纠删码)。这种限制确保了Minio的简洁,同时仍拥有伸缩性。如果你需要搭建一个多租户环境,你可以轻松的使用编排工具(Kubernetes)来管理多个Minio实例。

Minio的安装指南

Linux操作系统进行minio server端安装

下载Minio的安装包(二进制版本)

先建立个存放minion的文件夹。并进入用wget下载wget https://dl.minio.io/server/minio/release/linux-amd64/minio

wget https://dl.min.io/server/minio/release/linux-ppc64le/minio

若是以上的下载链接速度较慢,可使用国内的下载链接:http://dl.minio.org.cn/server/minio/release/linux-amd64/minio

进行授权Minio安装包

接着为下载的minion添加执行权限: chmod +x minio

启动minion
./minio server /data/bucket & 

(此路径/data/bucket 为存储路径请自行修改)

用户名和密码(默认)

注意启动显示的 appkey secretkey是默认登录账户,密码

AccessKey: minioadmin
SecretKey: minioadmin

Docker版本:

拉取官方镜像
docker pull minio/minio
运行官方镜像
docker run -p 9000:9000 -e MINIO_ACCESS_KEY=admin -e MINIO_SECRET_KEY=123123123 -v /data:/data minio/minio server /data
较为完整命令
docker run -p 9000:9000 -p 9001:9001 --name minio -d --restart=always -e "MINIO_ACCESS_KEY=用户名" -e "MINIO_SECRET_KEY=密码" -v /data/minio/data:/data -v /data/minio/config:/root/.minio minio/minio server /data --console-address ":9001"

MinIO 分布式集群搭建

  • 分布式 Minio 可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务。由于硬盘分布在不同的节点上,分布式 Minio 避免了单点故障。

  • Minio 分布式模式可以搭建一个高可用的对象存储服务,你可以使用这些存储设备,而不用考虑其真实物理位置。

数据保护

  • 分布式Minio 采用纠删码(erasure code)来防范多个节点宕机和位衰减(bit rot)。

  • 分布式Minio 至少需要 4 个节点,使用分布式 Minio 就自动引入了纠删码功能。

纠删码是一种恢复丢失和损坏数据的数学算法, Minio 采用 Reed-Solomon code 将对象拆分成 N/2 数据和 N/2 奇偶校验块。 这就意味着如果是 12 块盘,一个对象会被分成 6 个数据块、6 个奇偶校验块,你可以丢失任意 6 块盘(不管其是存放的数据块还是奇偶校验块),你仍可以从剩下的盘中的数据进行恢复。

纠删码的工作原理和 RAID 或者复制不同,像 RAID6 可以在损失两块盘的情况下不丢数据,而 Minio 纠删码可以在丢失一半的盘的情况下,仍可以保证数据安全。 而且 Minio 纠删码是作用在对象级别,可以一次恢复一个对象,而RAID 是作用在卷级别,数据恢复时间很长。 Minio 对每个对象单独编码,存储服务一经部署,通常情况下是不需要更换硬盘或者修复。Minio 纠删码的设计目标是为了性能和尽可能的使用硬件加速。

位衰减又被称为数据腐化 Data Rot、无声数据损坏 Silent Data Corruption ,是目前硬盘数据的一种严重数据丢失问题。硬盘上的数据可能会神不知鬼不觉就损坏了,也没有什么错误日志。正所谓明枪易躲,暗箭难防,这种背地里犯的错比硬盘直接故障还危险。 所以 Minio 纠删码采用了高速 HighwayHash 基于哈希的校验和来防范位衰减。

高可用

单机 Minio 服务存在单点故障,相反,如果是一个 N 节点的分布式 Minio ,只要有 N/2 节点在线,你的数据就是安全的。不过你需要至少有 N/2+1 个节点来创建新的对象。

例如,一个 8 节点的 Minio 集群,每个节点一块盘,就算 4 个节点宕机,这个集群仍然是可读的,不过你需要 5 个节点才能写数据。

限制

分布式 Minio 单租户存在最少 4 个盘最多 16 个盘的限制(受限于纠删码)。这种限制确保了 Minio 的简洁,同时仍拥有伸缩性。如果你需要搭建一个多租户环境,你可以轻松的使用编排工具(Kubernetes)来管理多个Minio实例。

注意,只要遵守分布式 Minio 的限制,你可以组合不同的节点和每个节点几块盘。比如,你可以使用 2 个节点,每个节点 4 块盘,也可以使用 4 个节点,每个节点两块盘,诸如此类。

一致性

Minio 在分布式和单机模式下,所有读写操作都严格遵守 read-after-write 一致性模型。

Minio console控制台登录浏览器

浏览器输入: http://ip:9001
例如: http://127.0.0.1:9001

忘记密码

二进制安装配置文件位置

/data/.minio.sys/config

docker安装配置文件位置

看运行容器时是否指定映射文件 –v列:

-v data:data
/data/.minio.sys/config

没有则默认

/var/lib/docker/vfs/dir/5d244e01a8e8144cd10cb1db0df559dfce6c3dd70a8ca376b1d5bc7138a62865/.minio.sys/config/ config.json

直接修改配置文件中 accessKey secretKey

credential": 
"accessKey": "wzs",
"secretKey": "123123123",
"expiration": "1970-01-01T00:00:00Z",
"status": "enabled"

再重新启动便可

方案2

export MINIO_ACCESS_KEY=accesskey(自行设置)
export MINIO_SECRET_KEY=secretkey(自行设置)
./minio server /data/bucket &

启动成功之后账号密码就变成您设置的了

下载minio客户端

wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod +x mc
./mc config host add minio http://192.168.8.50:9000 accesskey

此命令可以直接复制minio服务启动之后给出的命令。

参考资料

  • https://docs.min.io/docs/minio-docker-quickstart-guide.html
  • https://hub.docker.com/r/bitnami/minio
  • https://zhuanlan.zhihu.com/p/378191644

以上是关于分布式技术专题「OSS中间件系列」Minio的Server端服务的架构和实战搭建的主要内容,如果未能解决你的问题,请参考以下文章

分布式技术专题「OSS中间件系列」Minio的Server端服务的架构和实战搭建

分布式技术专题「OSS中间件系列」Minio的Server端服务的架构和实战搭建

#私藏项目实操分享#分布式技术专题「OSS中间件系列」Minio的Server端服务的架构和实战搭建

分布式技术专题「OSS中间件系列」Minio的文件服务的存储模型及整合Java客户端访问的实战指南

分布式技术专题「OSS中间件系列」Minio的文件服务的存储模型及整合Java客户端访问的实战指南

#私藏项目实操分享#分布式技术专题「OSS中间件系列」Minio的文件服务的存储模型及整合Java客户端访问的实战指南