尚硅谷MySQL学习笔记

Posted 2023-04-03 准图灵奖得主

mysql笔记目录

• 一、MySQL数据库基础篇大纲
  • 1.数据库概述与MySQL安装篇
    • 第01章：数据库概述
    • 第02章：MySQL环境搭建
  • 2.SQL之SELECT使用篇
    • 第03章：基本的SELECT语句
    • 第04章：运算符
    • 第05章：排序与分页
    • 第06章：多表查询
    • 第07章：单行函数
    • 第08章：聚合函数
    • 第09章：子查询
  • 3.SQL之DDL、DML、DCL使用篇
    • 第10章：创建和管理表
    • 第11章：数据处理之增删改
    • 第12章：MySQL数据类型精讲
    • 第13章：约束
  • 4.其它数据库对象篇
    • 第14章：视图
    • 第15章：存储过程与函数
    • 第16章：变量、流程控制与游标
    • 第17章：触发器
  • 5.MySQL8 新特性篇
    • 第18章：MySQL8其它新特性
• 二、MySQL高级特性篇大纲
  • 1.MySQL架构篇
    • 第01章：Linux下MySQL的安装与使用
    • 第02章：MySQL的数据目录
    • 第03章：用户与权限管理
    • 第04章：逻辑架构
    • 第05章：存储引擎
    • 第06章：InnoDB数据页结构
  • 2.索引及调优篇
    • 第07章：索引
    • 第08章：性能分析工具的使用
    • 第09章：索引优化与SQL优化
    • 第10章：数据库的设计规范
    • 第11章：数据库其他调优策略
  • 3.事务篇
    • 第12章：事务基础知识
    • 第13章：MySQL事务日志
    • 第14章：锁
    • 第15章：多版本并发控制(MVCC)
  • 4.日志与备份篇
    • 第16章：其它数据库日志
    • 第17章：主从复制
    • 第18章：数据库备份与恢复

mysql相关网站1：https://dev.mysql.com/doc/refman/8.0/en/
mysql相关网站2:https://www.cs.usfca.edu/~galles/visualization/about.html
Mysql相关书籍：《Mysql是怎样运行的》（作者：小孩子4949）

---

说明：本内容整理自尚硅谷B站MySQL视频>>尚硅谷B站MySQL视频

---

ClickHouse-尚硅谷（14. 高级-MaterializeMySQL 引擎）学习笔记

上一篇：（13. 高级-物化视图）学习笔记

下一篇：（15. 高级-常见问题排查）学习笔记

文章目录

• 1 概述
• • 1.1 特点
  • 1.2 使用细则
• 2 案例实操
• • 2.1 MySQL 开启 binlog 和 GTID 模式
  • 2.2 准备 MySQL 表和数据
  • 2.3 开启 ClickHouse 物化引擎
  • 2.4 创建复制管道
  • 2.5 修改数据
  • 2.6 删除数据
  • 2.7 删除表

1 概述

  MySQL 的用户群体很大，为了能够增强数据的实时性，很多解决方案会利用 binlog 将数据写入到 ClickHouse。为了能够监听 binlog 事件，我们需要用到类似 canal 这样的第三方中间件，这无疑增加了系统的复杂度。
  ClickHouse 20.8.2.3 版本新增加了 MaterializeMySQL 的 database 引擎，该 database 能映 射 到 MySQL 中 的 某 个 database ， 并 自 动 在 ClickHouse 中 创 建 对 应 的ReplacingMergeTree。ClickHouse 服务做为 MySQL 副本，读取 Binlog 并执行 DDL 和 DML 请求，实现了基于 MySQL Binlog 机制的业务数据库实时同步功能。

1.1 特点

1. MaterializeMySQL 同时支持全量和增量同步，在 database 创建之初会全量同步MySQL 中的表和数据，之后则会通过 binlog 进行增量同步。
2. MaterializeMySQL database 为其所创建的每张 ReplacingMergeTree 自动增加了_sign 和 _version 字段。
     其中，_version 用作 ReplacingMergeTree 的 ver 版本参数，每当监听到 insert、update 和 delete 事件时，在 databse 内全局自增。而 _sign 则用于标记是否被删除，取值 1 或者 -1。
     目前 MaterializeMySQL 支持如下几种 binlog 事件:

   • MYSQL_WRITE_ROWS_EVENT: _sign = 1，_version ++
   • MYSQL_DELETE_ROWS_EVENT: _sign = -1，_version ++
   • MYSQL_UPDATE_ROWS_EVENT: 新数据 _sign = 1
   • MYSQL_QUERY_EVENT: 支持 CREATE TABLE 、DROP TABLE 、RENAME TABLE 等。

1.2 使用细则

1. DDL 查询
   MySQL DDL 查询被转换成相应的 ClickHouse DDL 查询（ALTER, CREATE, DROP, RENAME）。如果 ClickHouse 不能解析某些 DDL 查询，该查询将被忽略。
2. 数据复制
   MaterializeMySQL 不支持直接插入、删除和更新查询，而是将 DDL 语句进行相应转换：
   MySQL INSERT 查询被转换为 INSERT with _sign=1。
   MySQL DELETE 查询被转换为 INSERT with _sign=-1。
   MySQL UPDATE 查询被转换成 INSERT with _sign=1 和 INSERT with _sign=-1。
3. SELECT 查询
   如果在 SELECT 查询中没有指定_version，则使用 FINAL 修饰符，返回_version 的最大值对应的数据，即最新版本的数据。
   如果在 SELECT 查询中没有指定_sign，则默认使用 WHERE _sign=1，即返回未删除状态（_sign=1)的数据。
4. 索引转换
   ClickHouse 数据库表会自动将 MySQL 主键和索引子句转换为ORDER BY 元组。
   ClickHouse 只有一个物理顺序，由 ORDER BY 子句决定。如果需要创建新的物理顺序，请使用物化视图。

2 案例实操

2.1 MySQL 开启 binlog 和 GTID 模式

1. 确保 MySQL 开启了 binlog 功能，且格式为 ROW
   打开/etc/my.cnf,在[mysqld]下添加：

   server-id=1
   log-bin=mysql-bin
   binlog_format=ROW
   

2. 开启 GTID 模式
   如果如果 clickhouse 使用的是 20.8 prestable 之后发布的版本，那么 MySQL 还需要配置开启 GTID 模式, 这种方式在 mysql 主从模式下可以确保数据同步的一致性(主从切换时)。

   gtid-mode=on
   enforce-gtid-consistency=1 # 设置为主从强一致性
   log-slave-updates=1 # 记录日志
   

   GTID 是 MySQL 复制增强版，从 MySQL 5.6 版本开始支持，目前已经是 MySQL 主流复制模式。它为每个 event 分配一个全局唯一 ID 和序号，我们可以不用关心 MySQL 集群主从拓扑结构，直接告知 MySQL 这个 GTID 即可。
   3. 重启 MySQL

   sudo systemctl restart mysqld
   

2.2 准备 MySQL 表和数据

1. 在 MySQL 中创建数据表并写入数据

   CREATE DATABASE testck;
   CREATE TABLE `testck`.`t_organization` (
   	`id` int(11) NOT NULL AUTO_INCREMENT,
   	`code` int NOT NULL,
   	`name` text DEFAULT NULL,
   	`updatetime` datetime DEFAULT NULL,
   	PRIMARY KEY (`id`),
   	UNIQUE KEY (`code`)
   ) ENGINE=InnoDB;
   
   INSERT INTO testck.t_organization (code,name,updatetime) VALUES(1000,'Realinsight',NOW());
   INSERT INTO testck.t_organization (code,name,updatetime) VALUES(1001, 'Realindex',NOW());
   INSERT INTO testck.t_organization (code,name,updatetime) VALUES(1002,'EDT',NOW());
   

2. 创建第二张表

   CREATE TABLE `testck`.`t_user` (
   	`id` int(11) NOT NULL AUTO_INCREMENT,
   	`code` int,
   	PRIMARY KEY (`id`)
   ) ENGINE=InnoDB;
   
   INSERT INTO testck.t_user (code) VALUES(1);
   

2.3 开启 ClickHouse 物化引擎

set allow_experimental_database_materialize_mysql=1;

2.4 创建复制管道

1. ClickHouse 中创建MaterializeMySQL 数据库

   CREATE DATABASE test_binlog ENGINE = MaterializeMySQL('hadoop1:3306','testck','root','000000');
   

   其中 4 个参数分别是 MySQL 地址、databse、username 和 password。

2. 查看 ClickHouse 的数据

   use test_binlog;
   show tables;
   select * from t_organization;
   select * from t_user;
   

2.5 修改数据

1. 在 MySQL 中修改数据:

   update t_organization set name = CONCAT(name,'-v1') where id = 1
   

2. 查看 clickhouse 日志可以看到 binlog 监听事件，查询clickhouse

   select * from t_organization;
   

2.6 删除数据

1. MySQL 删除数据:

   DELETE FROM t_organization where id = 2;
   

2. ClicKHouse，日志有 DeleteRows 的 binlog 监听事件，查看数据：

   select * from t_organization;
   

3. 在刚才的查询中增加 _sign 和 _version 虚拟字段

   select *,_sign,_version from t_organization order by _sign desc,_version desc;
   

   
   在查询时，对于已经被删除的数据，_sign=-1，ClickHouse 会自动重写 SQL，将 _sign =1 的数据过滤掉;
   对于修改的数据，则自动重写 SQL，为其增加 FINAL 修饰符。

   select * from t_organization
   等同于
   select * from t_organization final where _sign = 1
   

2.7 删除表

1. 在 mysql 执行删除表

   drop table t_user;
   

2. 此时在 clickhouse 处会同步删除对应表，如果查询会报错

   show tables;
   select * from t_user;
   DB::Exception: Table scene_mms.scene doesn't exist.. 
   

3. mysql 新建表，clickhouse 可以查询到

   CREATE TABLE `testck`.`t_user` (
   `id` int(11) NOT NULL AUTO_INCREMENT,
   `code` int,
   PRIMARY KEY (`id`)
   ) ENGINE=InnoDB;
   
   INSERT INTO testck.t_user (code) VALUES(1);
   
   #ClickHouse 查询
   show tables;
   select * from t_user;