硬核！4.5万字手把手教你搭建MySQL海量数据存储架构！！（全程实战，建议收藏）

Posted 冰 河

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了硬核！4.5万字手把手教你搭建MySQL海量数据存储架构！！（全程实战，建议收藏）相关的知识，希望对你有一定的参考价值。

大家好，我是冰河~~

mysql数据库到底能存储多少数据呢？很多小伙伴可能会觉得MySQL数据库存储的数据量不大，不能支撑起大数据量的存储与读写性能。实则不然，只要架构设计得当，MySQL其实完全可以存储海量数据，并且在海量数据的存储下提供良好的读写性能。

好啦，今天我们就一起实现使用MySQL存储海量数据。

小伙伴们如果觉得文章不错，点赞、收藏、评论，分享走一起呀，记得给冰河来个一键三连~~

背景知识

业界对系统的高可用有着基本的要求，简单的说，这些要求可以总结为如下所示。

  • 系统架构中不存在单点问题。

  • 可以最大限度的保障服务的可用性。

一般情况下系统的高可用可以用几个9来评估。所谓的几个9就是系统可以保证对外提供的服务的时间达到总时间的百分比。例如如果需要达到99.99的高可用，则系统全年发生故障的总时间不能超过52分钟。

系统高可用架构

我们既然需要实现系统的高可用架构，那么，我们到底需要搭建一个什么样的系统架构呢？我们可以将需要搭建的系统架构简化成下图所示。

服务器规划

由于我电脑资源有限，我这里在4台服务器上搭建高可用环境，大家可以按照本文将环境扩展到更多的服务器，搭建步骤都是一样的。

主机名IP地址安装的服务
binghe151192.168.175.151Mycat、Zookeeper、MySQL、HAProxy、Keepalived、Xinetd
binghe152192.168.175.152Zookeeper、MySQL
binghe153192.168.175.153Zookeeper、MySQL
binghe154192.168.175.154Mycat、MySQL、HAProxy、Keepalived、Xinetd
binghe155192.168.175.155MySQL

注意：HAProxy和Keepalived最好和Mycat部署在同一台服务器上。

安装MySQL

小伙伴们可以关注【冰河技术】微信公众号，参考《MySQL之——源码编译MySQL8.x+升级gcc+升级cmake（亲测完整版）》

安装JDK

由于Mycat和Zookeeper的运行需要JDK环境的支持，所有我们需要在每台服务器上安装JDK环境。

这里，我以在binghe151服务器上安装JDK为例，其他服务器的安装方式与在binghe151服务器上的安装方式相同。安装步骤如下所示。

（1）到JDK官网下载JDK 1.8版本，JDK1.8的下载地址为：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html。

注：我下载的JDK安装包版本为：jdk-8u212-linux-x64.tar.gz，如果JDK版本已更新，大家下载对应的版本即可。

（2）将下载的jdk-8u212-linux-x64.tar.gz安装包上传到binghe151服务器的/usr/local/src目录下。

（3）解压jdk-8u212-linux-x64.tar.gz文件，如下所示。

tar -zxvf jdk-8u212-linux-x64.tar.gz

（4）将解压的jdk1.8.0_212目录移动到binghe151服务器下的/usr/local目录下，如下所示。

mv jdk1.8.0_212/ /usr/local/src/

（5）配置JDK系统环境变量，如下所示。

vim /etc/profile
JAVA_HOME=/usr/local/jdk1.8.0_212
CLASS_PATH=.:$JAVA_HOME/lib
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASS_PATH PATH

使系统环境变量生效，如下所示。

source /etc/profile

（6）查看JDK版本，如下所示。

[root@binghe151 ~]# java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)

结果显示，正确输出了JDK的版本信息，说明JDK安装成功。

安装Mycat

下载Mycat 1.6.7.4 Release版本，解压到服务器的/usr/local/mycat目录下，并配置Mycat的系统环境变量，随后，配置Mycat的配置文件，Mycat的最终结果配置如下所示。

  • schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

	<schema name="shop" checkSQLschema="false" sqlMaxLimit="1000">
		<!--<table name="order_master" primaryKey="order_id" dataNode = "ordb"/>-->
		<table name="order_master" primaryKey="order_id" dataNode = "orderdb01,orderdb02,orderdb03,orderdb04" rule="order_master" autoIncrement="true">
			<childTable name="order_detail" primaryKey="order_detail_id" joinKey="order_id" parentKey="order_id" autoIncrement="true"/>
		</table>
		<table name="order_cart" primaryKey="cart_id" dataNode = "ordb"/>
		<table name="order_customer_addr" primaryKey="customer_addr_id" dataNode = "ordb"/>
		<table name="region_info" primaryKey="region_id" dataNode = "ordb,prodb,custdb" type="global"/>
		<table name="serial" primaryKey="id" dataNode = "ordb"/>
		<table name="shipping_info" primaryKey="ship_id" dataNode = "ordb"/>
		<table name="warehouse_info" primaryKey="w_id" dataNode = "ordb"/>
		<table name="warehouse_proudct" primaryKey="wp_id" dataNode = "ordb"/>
		
		<table name="product_brand_info" primaryKey="brand_id" dataNode = "prodb"/>
		<table name="product_category" primaryKey="category_id" dataNode = "prodb"/>
		<table name="product_comment" primaryKey="comment_id" dataNode = "prodb"/>
		<table name="product_info" primaryKey="product_id" dataNode = "prodb"/>
		<table name="product_pic_info" primaryKey="product_pic_id" dataNode = "prodb"/>
		<table name="product_supplier_info" primaryKey="supplier_id" dataNode = "prodb"/>
		
		<table name="customer_balance_log" primaryKey="balance_id" dataNode = "custdb"/>
		<table name="customer_inf" primaryKey="customer_inf_id" dataNode = "custdb"/>
		<table name="customer_level_inf" primaryKey="customer_level" dataNode = "custdb"/>
		<table name="customer_login" primaryKey="customer_id" dataNode = "custdb"/>
		<table name="customer_login_log" primaryKey="login_id" dataNode = "custdb"/>
		<table name="customer_point_log" primaryKey="point_id" dataNode = "custdb"/>
		
	</schema>
	
	<dataNode name="mycat" dataHost="binghe151" database="mycat" />
	 
	<dataNode name="ordb" dataHost="binghe152" database="order_db" />
	<dataNode name="prodb" dataHost="binghe153" database="product_db" />
	<dataNode name="custdb" dataHost="binghe154" database="customer_db" />
	
	<dataNode name="orderdb01" dataHost="binghe152" database="orderdb01" />
	<dataNode name="orderdb02" dataHost="binghe152" database="orderdb02" />
	<dataNode name="orderdb03" dataHost="binghe153" database="orderdb03" />
	<dataNode name="orderdb04" dataHost="binghe153" database="orderdb04" />
	
	<dataHost name="binghe151" maxCon="1000" minCon="10" balance="1"
			  writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<writeHost host="binghe51" url="192.168.175.151:3306" user="mycat" password="mycat"/>
	</dataHost>
	
	<dataHost name="binghe152" maxCon="1000" minCon="10" balance="1"
			  writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<writeHost host="binghe52" url="192.168.175.152:3306" user="mycat" password="mycat"/>
	</dataHost>
	
	<dataHost name="binghe153" maxCon="1000" minCon="10" balance="1"
			  writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<writeHost host="binghe53" url="192.168.175.153:3306" user="mycat" password="mycat"/>
	</dataHost>
	
	<dataHost name="binghe154" maxCon="1000" minCon="10" balance="1"
			  writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<writeHost host="binghe54" url="192.168.175.154:3306" user="mycat" password="mycat"/>
	</dataHost>
	
</mycat:schema>
  • server.xml
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
	<system>
		<property name="useHandshakeV10">1</property>
        <property name="defaultSqlParser">druidparser</property>
		<property name="serverPort">3307</property>
		<property name="managerPort">3308</property>
		<property name="nonePasswordLogin">0</property>
		<property name="bindIp">0.0.0.0</property>
		<property name="charset">utf8mb4</property>
		<property name="frontWriteQueueSize">2048</property>
		<property name="txIsolation">2</property>
		<property name="processors">2</property>
		<property name="idleTimeout">1800000</property>
		<property name="sqlExecuteTimeout">300</property>
		<property name="useSqlStat">0</property>
		<property name="useGlobleTableCheck">0</property>
		<property name="sequenceHandlerType">1</property>
		<property name="defaultMaxLimit">1000</property>
		<property name="maxPacketSize">104857600</property>
		
		<property name="sqlInterceptor">
			io.mycat.server.interceptor.impl.StatisticsSqlInterceptor
		</property>
		<property name="sqlInterceptorType">
			UPDATE,DELETE,INSERT
		</property>
		<property name="sqlInterceptorFile">/tmp/sql.txt</property>
	</system>
	
	<firewall>
		<whitehost>
			<host user="mycat" host="192.168.175.151"></host>
		</whitehost>
		<blacklist check还不会搭建个人博客?手把手教你用Wordpress搭建只属于你的世界~（肝帝写近万字多图详解，全网最详细，建议收藏！ ❤️）


 2 万字全面测评深度学习框架 PaddlePaddleTensorFlow 和 Keras | 程序员硬核评测


 作为测试这些MySQL知识必备。书写万字手把手教你MySQL，从建库开始步步教学，也可直接复制粘贴使用


 手把手教你搭建一个Elasticsearch集群


 手把手教你搭建一个 Elasticsearch 集群


 手把手教你搭建Mysql8.0.22 MGR高可用集群