部署社交网站- MYSQL主从与 MFS 文件系统

Posted 2020-12-26

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了部署社交网站- MYSQL主从与 MFS 文件系统相关的知识，希望对你有一定的参考价值。

案例概述

公司的社交网站采用php语言开发,为了管理PHP程序员开发的代码,上级领导要求搭建SVN服务器进行版本控制。社交网站的第一个版本部署在LNMP平台之上,前端为 nginx服务器,通过 fastcgi协议访问后端的PHP服务器。为了保证数据安全,
要求搭建 mysql数据库主从集群。

社交网站项目包含用户的相册功能,允许用户上传照片,上传照片需要使用共享
存储来存放。针对共享存储可用的开源方案有很多,如MFS、 FastDFS等。公
使用MFS分布式文件系统来实现,并将MFS挂载在PHP服务器的相关目录司决定

案例实施

根据公司的需求,实施过程大致分为以下步骤

部署SVN服务器,为PHP程序员创建repo目录的访问账户,通知程序员可
以导入代码

部署 MYSQL主从服务器,根据PHP程序员的要求创建数据库与表

部署 Nginx服务器

使用keepalived对Nginx服务器做热备

部署PHP服务器

部署MFS,将MFS文件系统挂载在前端PHP服务器的相关目录下

通知上线部署人员可以发布上线。

保证数据库服务、PHP服务、 Nginx服务依次启动,并通知测试人员开始测试,
网站维护人员检查 Nginx、PHP与数据库服务器是否正常工作。

本篇将部署 MYSQL主从服务与 MFS文件系统

MYSQL 主从服务部署

主服务器 (IP 192.168.100.105)
从服务器 (IP 192.168.100.106)

mysql 5.7 安装

yum install ncurses ncurses-devel bison cmake -y   ##安装依赖包

useradd -s /sbin/nologin  mysql

tar zxvf mysql-5.7.17.tar.gz -C 
tar zxvf boost_1_59_0.tar.gz -C /usr/local/
cd /usr/local/
mv boost_1_59_0 boost
cd mysql-5.7.17/

cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql ## 指定安装目录  
-DMYSQL_UNIX_ADDR=/usr/local/mysql/mysql.sock 
-DSYSCONFDIR=/etc    ##指定初始化参数文件目录
-DSYSTEMD_PID_DIR=/usr/local/mysql 
-DDEFAULT_CHARSET=utf8    ##指定默认字符集
-DDEFAULT_COLLATION=utf8_general_ci    #默认使用的字符集校对规则
-DWITH_INNOBASE_STORAGE_ENGINE=1 
-DWITH_ARCHIVE_STORAGE_ENGINE=1 
-DWITH_BLACKHOLE_STORAGE_ENGINE=1 
-DWITH_PERFSCHEMA_STORAGE_ENGINE=1 
-DMYSQL_DATADIR=/usr/local/mysql/data 
-DWITH_BOOST=/usr/local/boost   ##指定Boost库的位置，5.7版本必须添加
-DWITH_SYSTEMD=1

！！注意：如果在CMAKE的过程中有报错，当报错解决后，需要把源码目录中的CMakeCache.txt文件删除，然后再重新CMAKE，否则错误依旧

make && make install       ##安装过程时间较长

chown -R mysql.mysql /usr/local/mysql/   ##权限设置

vi /etc/my.cnf

[client]
port = 3306
default-character-set=utf8
socket = /usr/local/mysql/mysql.sock

[mysql]
port = 3306
default-character-set=utf8
socket = /usr/local/mysql/mysql.sock

[mysqld]
user = mysql     ##用户
basedir = /usr/local/mysql    ##基础目录
datadir = /usr/local/mysql/data    ##数据目录
port = 3306    ##端口
character_set_server=utf8    ##服务语言设置
pid-file = /usr/local/mysql/mysqld.pid    ##pid文件位置
socket = /usr/local/mysql/mysql.sock     ##socket文件位置
server-id = 1    ##服务ID

sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_AUTO_VALUE_ON_ZERO,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,PIPES_AS_CONCAT,ANSI_QUOTES

chown mysql:mysql /etc/my.cnf

echo ‘PATH=/usr/local/mysql/bin:/usr/local/mysql/lib:$PATH‘ >> /etc/profile
echo ‘export PATH‘ >> /etc/profile
source /etc/profile
## 方便使用mysql命令，设置环境变量

/usr/local/mysql/bin/mysqld 
--initialize-insecure 
--user=mysql 
--basedir=/usr/local/mysql 
--datadir=/usr/local/mysql/data
## 初始化数据库

cp usr/lib/systemd/system/mysqld.service /usr/lib/systemd/system/

systemctl daemon-reload

systemctl start mysqld

netstat -anpt | grep 3306
## 3306端口开启 服务开启成功

systemctl enable mysqld

mysqladmin -u root -p password "abc123"   给root账户设置密码为abc123

mysql主从复制

在主 和 从mysql服务器上
vim /etc/my.cnf

[mysqld]
binlog-ignore-db=mysql,information_schema
character_set_server=utf8
log_bin=mysql_bin
server_id=1     ## 主从服务器的 server_id 不相同
log_slave_updates=true
sync_binlog=1
auto_increment_increment=2
auto_increment_offset=1

systemctl restart mysqld

在 主MYSQL上 为 从服务器授予权限

mysql -u root -p

grant replication slave on *.* to ‘replication‘@‘192.168.100.%‘ identified by ‘123456‘;

show master status; 
+-------------------+----------+--------------+------------------+
| File              | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+-------------------+----------+--------------+------------------+
| master-bin.000002 |      335 |              |                  |
+-------------------+----------+--------------+------------------+

在从服务器上

mysql -u root -p

change master to master_host=‘192.168.100.105‘,master_user=‘replication‘,master_password=‘123456‘,master_log_file=‘mysql_bin.000002‘,master_log_pos=335;

start slave;

show slave status G;

  Slave_IO_Running: Yes
  Slave_SQL_Running: Yes
## 出现这两条YES 则说明 MYSQL主从复制完成

MFS 文件系统部署

MFS Master (IP 192.168.100.107)
MFS MetaLogger (IP 192.168.100.108)
MFS Chunk1 (IP 192.168.100.109)
MFS Chunk2 (IP 192.168.100.110)

MFS Master

yum install zlib-devel gcc gcc-c++ male -y

useradd -s /sbin/nologin mfs

tar xzvf mfs-1.6.27-5.tar.gz

cd mfs-1.6.27-5

./configure 
--prefix=/usr/local/mfs  ##安装目录
--with-default-user=mfs    ##默认用户
--with-default-group=mfs    ##默认用户基本组
--disable-mfschunkserver    ##不启动节点服务器
--disable-mfsmount     ##不启动mount服务器

make && make install

cd /usr/local/mfs/etc/mfs/

cp mfsmaster.cfg.dist mfsmaster.cfg

cp mfsexports.cfg.dist mfsexports.cfg    ##挂载权限

cp mfstopology.cfg.dist mfstopology.cfg     ##架构感知

cd/usr/local/mfs/var/mfs

cp metadata.mfs.empty metadata.mfs  ##防断电

/usr/local/mfs/sbin/mfsmaster start  ##启动服务

/usr/local/mfs/sbin/mfsmaster -s ##停止服务用这条命令

MFS MetaLogger

yum install zlib-devel gcc gcc-c++ male -y

useradd -s /sbin/nologin mfs

tar xzvf mfs-1.6.27-5.tar.gz

cd mfs-1.6.27-5

./configure 
--prefix=/usr/local/mfs  ##安装目录
--with-default-user=mfs    ##默认用户
--with-default-group=mfs    ##默认用户基本组
--disable-mfschunkserver    ##不启动节点服务器
--disable-mfsmount     ##不启动mount服务器

make && make install

cd /usr/local/mfs/etc/mfs/

cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

vi mfsmetalogger.cfg
MASTER_HOST = 192.168.100.107

/usr/local/mfs/sbin/mfsmetalogger start  ##启动服务

/usr/local/mfs/sbin/mfsmetalogger -s  ##停止服务用这条命令

MFS Chunk

两台Chunk服务器的配置相同

yum install zlib-devel gcc gcc-c++ male -y

useradd -s /sbin/nologin mfs

tar xzvf mfs-1.6.27-5.tar.gz

cd mfs-1.6.27-5

./configure 
--prefix=/usr/local/mfs  ##安装目录
--with-default-user=mfs    ##默认用户
--with-default-group=mfs    ##默认用户基本组
--disable-mfsmaster    ##不启动主服务器
--disable-mfsmount     ##不启动mount服务器

make && make install

cd /usr/local/mfs/etc/mfs/

cp mfschunkserver.cfg.dist mfschunkserver.cfg

cp mfshdd.cfg.dist mfshdd.cfg

vim mfschunkserver.cfg

MASTER_HOST = 192.168.100.107

vim mfshdd.cfg

添加一行
/data

mkdir /data
chown -R mfs:mfs /data

/usr/local/mfs/sbin/mfschunkserver start   ##启动服务

/usr/local/mfs/sbin/mfschunkserver -s     ##停止服务用这条命令

MFS 客户端

由于要将MFS 文件系统挂载到前端PHP 服务器上，作为用户上传图片的存储， MFS客户端需要在PHP服务器上安装


安装FUSE,MFS客户端依赖于FUSE

tar xzvf fuse-2.9.2.tar.gz
cd fuse-2.9.2

./configure

make && make install

vi /etc/profile

export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH
## 设置环境变量

source /etc/profile

安装mfs客户端

yum install zlib-devel gcc gcc-c++ male -y

useradd -s /sbin/nologin mfs

tar xzvf mfs-1.6.27-5.tar.gz

cd mfs-1.6.27-5

./configure 
--prefix=/usr/local/mfs  ##安装目录
--with-default-user=mfs    ##默认用户
--with-default-group=mfs    ##默认用户基本组
--disable-mfschunkserver ##不启动节点服务器
--enable-mfsmount     ##启动mount服务器

make && make install

modprobe fuse          ##加载fuse模块到内核
/usr/local/mfs/bin/mfsmount /var/www/html/webphp/uploads/photos -H 192.168.100.107   ##将MFS 文件系统 挂载到 PHP服务器上

df -hT
## 查看挂载情况

以上是关于部署社交网站- MYSQL主从与 MFS 文件系统的主要内容，如果未能解决你的问题，请参考以下文章

社交网站部署——MFS分布式文件系统

部署社交网站（SVN+PHP+NGINX+MYSQL+MFS）

部署社交网站（步骤超详细）

一篇博客让你学会部署社交网站（ SVN+nginx+PHP+MySQL+MFS 内含所有源码包）

部署社交网站

搭建社交网站