MogileFS安装

Posted 2021-01-04 xiaoliangup

MogileFS是一款开源的、高性能的、分布式的文件系统，用于组建分布式文件集群。用来存取海量文件，而不用关心具体的文件存放位置、存储容量大小，以及文件损坏和丢失等问题

MogileFS有三大部分：存储节点、跟踪器、跟踪用的数据库

一、Trackers（跟踪器 ,调度器）——mogilefsd进程

　　MogileFS的核心部分，mogilefsd进程就是trackers程序，做了很多工作，包括复制、删除、查询、监控等等。

　　其默认的配置文件在/etc/mogilefs/mogilefsd.conf，可以自己指定

二、数据库（MySQL）部分

数据库用来存放MogileFS的元数据 (命名空间, 和文件在哪里)，由Trackers来操作和管理它，可以用mogdbsetup程序来初始化数据库。

因为数据库保存了MogileFS的所有元数据，如果这儿出问题了，那么整个MogileFS将处于不可用状态，因此最好是HA结构

三、存储节点(Storage Nodes )——mogstored进程

　　就是实际文件存放的地方，可通过配置来指定、加入和从集群中去掉。其默认配置文件: /etc/mogilefs/mogstored.conf

 

MogileFS安装步骤

 1、需要先安装mysql

 2、安装MySql的开发包devel 、安装MySql的share包，http://mirror.neu.edu.cn/mysql/Downloads/MySQL-5.6/

 3、需要有Perl的环境，服务器已经自带了5.8.8版本的

·4、安装CPANMinus

　　方法一：wget http://xrl.us/cpanm --no-check-certificate -O /sbin/cpanm  chmod +x /sbin/cpanm　　

　　方法二：wget -O- http://cpanmin.us --no-check-certificate | perl - --sudo --self-upgrade  这个会自动安装到/usr/bin/cpanm

5、利用cpanm来安装MogileFS的Perl模块，依次按照如下步骤安装

• cpanm DBD::mysql
• cpanm MogileFS::Server
• cpanm MogileFS::Utils
• cpanm MogileFS::Client

6、数据库配置

　　6.1 在MySql数据库中创建MogileFS要使用的数据库和用户名

CREATE DATABASE MogileFS DEFAULT CHARACTER SET utf8 COLLATE utf8_bin;
GRANT ALL ON MogileFS.* TO ‘mogile‘@‘%‘ IDENTIFIED BY ‘mogile‘;
//UPDATE mysql.user SET Password=PASSWORD(‘cc‘) where USER=‘mogile‘;
FLUSH PRIVILEGES

　　6.2 配置和初始化数据库

mogdbsetup --dbhost=localhost --dbname=MogileFS --dbuser=mogile --dbpass=mogile

 

7、Tracker配置　　　　

　　7.1 创建配置文件的目录和Tracker配置文件

　　比如在/usr/common下面 mkdir mogilefs文件夹，在下面nano mogilefsd.conf文件

# Database connection information
db_dsn = DBI:mysql:MogileFS:host=localhost
db_user = mogile
db_pass = cc
# IP:PORT to listen on for MogileFS client requests
listen = 0.0.0.0:7001
# Optional, if you don‘t define the port above.
conf_port = 7001
# Number of query workers to start by default.
query_jobs = 10
# Number of delete workers to start by default.
delete_jobs = 1
# Number of replicate workers to start by default.
replicate_jobs = 5
# Number of reaper workers to start by default.
# (you don‘t usually need to increase this)
reaper_jobs = 1

由于mogilefsd不能用root用户启动，所以添加mogile用户,并使用它来启动调度器

　　adduser mogile
　　su mogile
　　mogilefsd -c /usr/common/mogilefs/mogilefsd.conf --daemon

　　ps -ef |grep mogilefsd
　　终止服务：pkill mogilefsd

 

8、存储节点配置

　　8.1  storage.conf

maxconns = 10000
httplisten = 0.0.0.0:7500
mgmtlisten = 0.0.0.0:7501
docroot=/usr/common/mogilefs/mogilefsdata/  数据存在什么根路径是由docroot来设置的

　　8.2 启动存储节点，这个可以用root用户

mogstored -c /usr/common/mogilefs/storage.conf --daemon
停止：pkill mogstored

 

9、添加Storeage节点到Tracker

mogadm --trackers=<tracker_ip>:7001 host add <storage_node_name> --ip=192.168.174.104 --port=7500 --status=alive
　　
mogadm host list

如果要修改MogileFS中主机的信息,一定要加上状态--status=alive,不然不能修改
mogadm host modify storage_node_name --ip=192.168.1.106 --status=alive

 

10、添加存储设备到Storeage节点

mogadm device add <storage_node_name> ID

mogadm device list

mogadm device mark <storage_node_name> ID dead

 

11、创建域、类

创建域：mogadm domain add <domain_name>
检查“域”,显示存在的域：mogadm domain list

在"域"中建"类"，并加入最小保存份数
mogadm class add <domain_name> <class_name> --mindevcount=2
检查“类”：mogadm class list
检查整个系统：mogadm --trackers=192.168.174.104:7001 check

 

安装中遇到的问题：https://blog.csdn.net/lian_xl/article/details/79666854