百万PV网站架构案例

Posted 2020-12-26

案例概述

本案例设计采用四层模式实现，主要分为前端反向代理层、Web层、数据库缓存层和数据库层。前端反向代理层采用主备模式，Web层采用集群模式，数据库缓存层采用主备模式，数据库层采用主从模式。

拓扑架构如图所示，实线是正常情况下的数据流向连接，虚线是异常情况下的数据流向连接。

案例环境

主机名	IP地址	用途
master	192.168.10.157	前端反向代理主机、redis缓存主机、mysql数据主库
backup	192.168.10.161	前端反向代理备机、redis缓存备机、MySQL数据从库
tomcat1	192.168.10.163	web服务
tomcat2	192.168.10.164	Web服务
测试机	192.168.10.134	测试

这里前端使用Kepalived作为高可用软件，虚拟IP设置为192.168.10.100

由于是搭建学习测试环境，所以关闭了上述所有服务器的防火墙和Selinux。如果是生产环境建议开启防火墙。所有服务都是默认配置的，没有进行任何优化，需要撑起更大的访问量必须要进行优化。

另外，生产环境建议将MySQL的分区设置为xfs类型，因为在大多数场景下，整体IOPS表现还是要比ext4来的更高、更稳定，延迟也更小。

安装步骤

部署前端两台反向代理服务器

1、前端两台反向代理服务器安装keepalived，nginx

#安装epel和nginx源
rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm

yum install -y keepalived nginx

2、修改keepalived配置文件

vi /etc/keepalived/keepalived.conf  

! Configuration File for keepalived

global_defs {
    route_id NGINX_HA     //修改，两台代理服务器区分
}

vrrp_script nginx {
    script "/opt/shell/nginx.sh"       //触发脚本
    interval 2        //两秒检查一次
}

vrrp_instance VI_1 {
    state MASTER        //服务器类型为主（备：BACKUP）
    interface ens33
    virtual_router_id 51     //修改，两台代理服务器区分
    priority 100      //备代理服务器低于主
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
}

track_script {
    nginx          //引用上方定义好的nginx脚本
}

virtual_ipaddress {
    192.168.10.100        //VIP
    }
}

3、编写触发脚本，启动keepalived服务时带着开启nginx

mkdir /opt/shell
vi /opt/shell/nginx.sh

#!/bin/bash
k=`ps -ef | grep keepalived | grep -v grep | wc -l`
if [ $k -gt 0 ];then
    /bin/systemctl start nginx.service
else
/bin/systemctl stop nginx.service
fi

chmod +x /opt/shell/nginx.sh

4、配置nginx前端调度功能并开启服务

vi /etc/nginx/nginx.conf //在include 上面一行新增

 upstream tomcat_pool {
                server 192.168.10.163:8080;      //指明后端tomcat服务器IP地址和端口
                server 192.168.10.164:8080;
                ip_hash;           //会话稳固功能，否则无法通过vip地址登陆
        }
        server {
                listen 80;
                server_name 192.168.10.100;   //VIP  
                location / {
                        proxy_pass http://tomcat_pool;
                        proxy_set_header X-Real-IP $remote_addr;
                }
    }

nginx -t -c /etc/nginx/nginx.conf   //测试配置文件语法
systemctl start keepalived.service    //启动keepalived，nginx启动会等待一会
netstat -ntap | grep nginx    

部署两台Tomcat服务器

1、安装jdk

tar xf jdk-8u144-linux-x64.tar.gz -C /opt
cd /opt
cp -rv jdk1.8.0_144/ /usr/local/java

vi /etc/profile          //加入环境变量

export JAVA_HOME=/usr/local/java
export JRE_HOME=/usr/local/java/jre
export PATH=$PATH:/usr/local/java/bin
export CLASSPATH=./:/usr/local/java/lib:/usr/local/java/jre/lib

source /etc/profile       //立即生效

java -version         //可查看版本
java version "1.8.0_144" 
……
……

2、安装Tomcat

tar xf apache-tomcat-8.5.23.tar.gz -C /opt
cd /opt
cp -r apache-tomcat-8.5.23 /usr/local/tomcat8

ln -s /usr/local/tomcat8/bin/startup.sh /usr/bin/tomcatup
ln -s /usr/local/tomcat8/bin/shutdown.sh /usr/bin/tomcatdown       //方便管理，创建软链接

3、启动Tomcat

tomcatup      
netstat -anpt | grep 8080

#可使用浏览器测试默认测试页是否正常显示
http://192.168.10.163:8080/  
http://192.168.10.164:8080/

测试http://192.168.10.163:8080/

4、测试两台Tomcat节点调度情况

vi /usr/local/tomcat8/webapps/ROOT/index.jsp //修改默认网页内容

<h1>tomcat server 1 !!</h1>
#第二台Tomcat服务器首页修改为：<h1>tomcat server 2 !!</h1>

#重启Tomcat后测试
http://192.168.10.100/   //浏览器输入调度器地址，也就是虚拟地址，测试两台节点的调度情况。

修改首页文件后测试

使用VIP测试

5、修改server.xml文件

cd /usr/local/tomcat8/conf/
vi server.xml   //跳到行尾，在148行Host name下新增 

<Context path="" docBase="SLSaleSystem" reloadable="true" debug="0"></Context>
//日志调试信息debug为0表示信息越少，docBase指定访问目录，SLSaleSystem为后面要部署的会员商城网站

安装部署MySQL

在两台前端代理服务器上操作

1、安装mariadb并启动

yum install -y mariadb-server mariadb

systemctl start mariadb.service
systemctl enable mariadb.service

netstat -anpt | grep 3306

mysql_secure_installation    //常规安全设置

mysql -u root -p      //使用设置好的密码进入数据库

2、导入数据库

mysql -u root -p  < slsaledb-2014-4-10.sql     //导入数据库
mysql -u root -p
show databases;        //可查看到slsaledb数据库

授权

GRANT all ON slsaledb.* TO ‘root‘@‘%‘ IDENTIFIED BY ‘abc123‘;
flush privileges;    //刷新状态 

3、在Tomcat服务器上部署网站

#将网站压缩包解压至nginx首页目录
tar xf SLSaleSystem.tar.gz -C /usr/local/tomcat8/webapps/
cd /usr/local/tomcat8/webapps/SLSaleSystem/WEB-INF/classes

vi jdbc.properties  //修改数据库IP地址为VIP，以及授权的用户名root和密码abc123。

4、网站测试

http://192.168.10.163:8080/   //默认的用户名admin 密码：123456
http://192.168.10.164:8080/
#节点没有问题后使用虚拟IP测试
http://192.168.10.100 //输入虚拟地址测试登录，并且关闭主再测试登录

使用VIP访问登录后的页面

两台代理服务器上安装并配置Redis主从

1、安装Redis并启动

#使用centos7.4 默认源安装
yum install -y epel-release
yum install redis -y

vi /etc/redis.conf

bind 0.0.0.0      //改为监听所有

systemctl start redis.service
netstat -anpt | grep 6379

2、主连接测试

redis-cli -h 192.168.10.157 -p 6379 //测试连接

192.168.10.157:6379> set name test  //设置name 值是test

192.168.10.157:6379> get name //获取name值

3、从服务器配置文件上多如下一行配置

slaveof 192.168.10.157  6379       //266行，IP为主服务器的IP不是虚拟IP

测试

redis-cli -h 192.168.10.161 -p 6379         //登录从，获取值，成功说明主从同步成功
192.168.10.161:6379> get name
"test"

4、配置商城项目中连接redis的参数

vi /usr/local/tomcat8/webapps/SLSaleSystem/WEB-INF/classes/applicationContext-mybatis.xml

38         <!--redis 配置 开始-->

  47                 <constructor-arg value="192.168.10.100"/>            //VIP
  48                 <constructor-arg value="6379"/>

5、测试缓存效果

redis-cli -h 192.168.10.100 -p 6379
192.168.10.100:6379> info

keyspace_hits:1  或者 keyspace_misses:2         //关注这个值，命中数和未命中数

登录商城，然后反复点击需要数据库参与的操作页面，再回来检查keyspace_hits或者keyspace_misses 值变化。

6、配置redis集群主从切换,只在主服务器上操作

redis-cli -h  192.168.10.157 info Replication //获取当前服务器的角色

vi /etc/redis-sentinel.conf

17 protected-mode no        //去掉#开启
68 sentinel monitor mymaster 192.168.10.157 6379 1     //1表示1台从 注意：修改
98 sentinel down-after-milliseconds mymaster 3000     //故障切换时间单位是毫秒

systemctl start redis-sentinel.service     //启动集群
netstat -anpt | grep 26379

redis-cli -h 192.168.10.157 -p 26379 info Sentinel //查看集群信息

验证主从切换

systemctl stop redis.service     //主上关闭redis

redis-cli -h 192.168.10.157 -p 26379 info Sentinel   //发现主变成了从：192.168.10.161

验证数据同步情况

#从上创建数据
redis-cli -h 192.168.10.161 -p 6379 

192.168.10.161:6379> set name2 test2
OK
192.168.10.161:6379> get name2
"test2"

service redis start   //把主启动

redis-cli -h 192.168.10.157 -p 6379
192.168.10.157:6379> get name2
"test2"

配置mysql主从同步

1、mysql主服务器配置

vi /etc/my.cnf // 在[mysqld]下添加如下内容

binlog-ignore-db=mysql,information_schema
character_set_server=utf8
log_bin=mysql_bin
server_id=1       //从需要修改，与此区分
log_slave_updates=true
sync_binlog=1

systemctl restart mariadb       //重启数据库
netstat -anpt | grep 3306

mysql -u root -p
show master status;     //记录日志文件名称和 位置值

grant replication slave on *.* to ‘rep‘@‘192.168.10.%‘ identified by ‘123456‘;      //授权同步
flush privileges;

2、mysql从服务器配置

vi /etc/my.cnf //在[mysqld]下修改如下内容，其余与主一样

server_id=2

systemctl restart mariadb   //重启数据库
netstat -anpt | grep 3306

mysql -u root -p

change master to master_host=‘192.168.10.157‘,master_user=‘rep‘,master_password=‘123456‘,master_log_file=‘mysql_bin.000001‘,master_log_pos=245;

start slave;      //开始同步

show slave statusG;

    Slave_IO_Running: Yes
    Slave_SQL_Running: Yes

可在MySQL主上建表测试验证从的同步