有关binlog的那点事(mysql5.7.13)

Posted 我没货,只剩下水了

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了有关binlog的那点事(mysql5.7.13)相关的知识,希望对你有一定的参考价值。

这次我们要探索更精细的binlog内容,上次讨论的Query_event和Rows_event肯定有让你疑惑不解的问题。Query_event中的status-vars环境变量有哪些,Rows_event的数据类型是什么,元数据又是个什么鬼东西,今天我们就来一一解答。

一、Query_event中的令人费解的status-vars

status-vars据说是为了兼容低版本的mysql服务器而加入的环境变量设置,告诉低版本的mysql服务器sql语句是在什么环境下执行的

具体的格式是状态枚举值+状态参数 

下面以状态枚举值分别讲下比较重要的几个状态:

(1)0x00 Q_FLAGS2_CODE 4个字节

这个主要是对于SQL_AUTO_IS_NULL、FOREIGN_KEY_CHECKS、UNIQUE_CHECKS、AUTOCOMMIT的设置,SQL_AUTO_IS_NULL是自动填充NULL,FOREIGN_KEY_CHECKS是外键检查,UNIQUE_CHECKS是唯一键索引检查,AUTOCOMMIT就是自动提交,在此处SQL_AUTO_IS_NULL = 1,其他均为0。

(2)0x01 Q_SQL_MODE_CODE 8个字节

这里的配置要参考SET sql_mode: http://dev.mysql.com/doc/refman/5.7/en/set-variable.html,这里有大量的sql环境变量

对应的状态列表可以参考http://dev.mysql.com/doc/internals/en/query-event.html#q-sql-mode-code

可以参考下面的中文翻译:

1)单项模式:

  1. ALLOW_INVALID_DATES:该项如果设置,mysql对于日期的月month和日day进行检查。任何日期只要满足0<month<13 , 0<day<32的整数就能成为插入值。
  2. ANSI_QUOTES: 如果设置该项,mysql会将引号“"’”作为引号来看待,而不是字符串符号。
  3. ERROR_FOR_DIVISION_BY_ZERO:该项如果设置,mysql会将任何数除以0以后的数以NULL的形式插入。
  4. HIGH_NOT_PRECEDENCE:该项如果设置,not运算符的优先值会被下降,如mysql会将NOT a BETWEEN b AND c 解析成NOT (a BETWEEN b AND c)
  5. IGNORE_SPACE:该项如果设置,mysql会允许函数名和“(”能有空格。
  6. NO_AUTO_CREATE_USER:该项如果设置,mysql会防止在grant语句执行时自动生成新用户。
  7. NO_AUTO_VALUE_ON_ZERO:该项如果设置,mysql在处理AUTO_INCREMENT列时,仅仅只对null生成下一个序列号。
  8. NO_BACKSLASH_ESCAPES:该项如果设置,mysql不能使用”\\”作为转义字符。
  9. NO_DIR_IN_CREATE:该项如果设置,在建表时mysql会忽略所有的INDEX DIRECTORY 和DATA DIRECTORY。
  10. NO_ENGINE_SUBSTITUTION:该项如果设置,在CREATE TABLE 或ALTER TABLE时mysql会对无法使用的引擎报错,但不做实际的操作。
  11. NO_FIELD_OPTIONS仅对SHOW CREATE TABLE命令有效。
  12. NO_KEY_OPTIONS同上。
  13. NO_TABLE_OPTIONS同上。
  14. NO_UNSIGNED_SUBTRACTION:如果该项设置,mysql会在对负数更新到unsingned int数上不进行限制。
  15. NO_ZERO_DATE:如果该项设置,并且严格的SQL模式设置,mysql对于日期是0000-00-00不能插入更新。
  16. NO_ZERO_IN_DAT:如果该项设置,并且严格的SQL模式设置,mysql对于日期有0值的(除了0000-00-00)不能插入更新。
  17. ONLY_FULL_GROUP_BY在5.75新增,对本次开发没有影响。
  18. PAD_CHAR_TO_FULL_LENGTH:如果该项设置,mysql不会在检索回收多余的char空间。
  19. PIPES_AS_CONCAT:如果该项设置,mysql将把||看成CONCAT()。
  20. REAL_AS_FLOAT:如果该项设置,mysql将把REAL看成FLOAT。
  21. STRICT_ALL_TABLES:该项如果设置,mysql会进入严格的sql模式。
  22. STRICT_TRANS_TABLES: 该项如果设置,mysql会进入严格的sql模式,仅对事务有效。

2)混合模式:

1. ANSI:该项如果设置,和REAL_AS_FLOAT, PIPES_AS_CONCAT, ANSI_QUOTES, IGNORE_SPACE等价,在

2. DB2:该项如果设置,与PIPES_AS_CONCAT, ANSI_QUOTES, IGNORE_SPACE, NO_KEY_OPTIONS, NO_TABLE_OPTIONS, NO_FIELD_OPTIONS一起设置等价。

3. MAXDB:该项如果设置,与PIPES_AS_CONCAT, ANSI_QUOTES, IGNORE_SPACE, NO_KEY_OPTIONS, NO_TABLE_OPTIONS, NO_FIELD_OPTIONS, NO_AUTO_CREATE_USER一起设置等价。

4. MSSQL:该项如果设置, PIPES_AS_CONCAT, ANSI_QUOTES, IGNORE_SPACE, NO_KEY_OPTIONS, NO_TABLE_OPTIONS, NO_FIELD_OPTIONS. 一起设置等价。

5. TRADITIONA:该项如果设置,与STRICT_TRANS_TABLES, STRICT_ALL_TABLES, NO_ZERO_IN_DATE, NO_ZERO_DATE, ERROR_FOR_DIVISION_BY_ZERO, NO_AUTO_CREATE_USER, NO_ENGINE_SUBSTITUTION

6. POSTGRESQL:该项如果设置,与PIPES_AS_CONCAT, ANSI_QUOTES, IGNORE_SPACE, NO_KEY_OPTIONS, NO_TABLE_OPTIONS, NO_FIELD_OPTIONS一起设置等价。

7. ORACLE:该项如果设置,与PIPES_AS_CONCAT, ANSI_QUOTES, IGNORE_SPACE, NO_KEY_OPTIONS, NO_TABLE_OPTIONS, NO_FIELD_OPTIONS一起设置等价。

8. MYSQL323:仅对SHOW CREATE TABLE有影响。

9. MYSQL40:同上。

(3)0x02 Q_CATALOG 

默认记录为"\\x3std\\x0",即mysql服务器所使用的目录。一字节长度+NULL字符串

(4)0x03 Q_AUTO_INCREMENT 

与AUTO_INCREMENT有关,4字节,前2个字节表示AUTO_INCREMENT,后2个字节表示AUTO_INCREMENT_OFFSET

(5)0x04 Q_CHARSET_CODE

字符集 在连接时客户端设定的字符集(2字节)+连接校对时的字符集(2字节)+服务器校对时的字符集(2字节)

(6)0x05 Q_TIME_ZONE_CODE

时区  一字节长度+字符串,如"\\x6+08:00" 就是北京时间,这个待确认。

(7)0x07 Q_LC_TIME_NAMES_CODE

星期和月的名称,例如:在英文文中星期一是MON,一月是Jan,在其他文字中就不是这样。

二、Rows_event的数据类型和元数据

这里仅仅介绍常用的数据类型

(1)日期时间类型

1)元数据代表的可以精确到微秒的值 n通常为0-3

对与这种类型的在my_time.h中有相应的定义。

MYSQL_TYPE_DATETIME2,是用longlong数据存储的, 固定是4位+n,元数据代表的是额外数据的长度n

 1 //来自mysql5.7.13源码 my_time.c
 2 //将longlong时间转化成字符串
 3 //longlong时间格式:
 4 //按位计算
 5 //1 bit  sign(used when on disk)
 6 //17 bits year * 13 + month(year 0 - 9999, month 0 - 12)
 7 //5 bits day(0 - 31)
 8 //5 bits hour(0 - 23)
 9 //6 bits minute(0 - 59)
10 //6 bits second(0 - 59)
11 //24 bits microseconds(0 - 999999)
12 //
13 //Total: 64 bits = 8 bytes
14 //
15 //SYYYYYYY.YYYYYYYY.YYdddddh.hhhhmmmm.mmssssss.ffffffff.ffffffff.ffffffff
View Code

MYSQL_TYPE_TIME2,也是是用longlong数据存储的, 固定是3位+n,元数据代表的是额外数据的长度n

MYSQL_TYPE_TIMESTAMP2,是时间戳,固定是4位,元数据代表的是额外数据的长度n

MYSQL_TYPE_NEWDATE也是以这种方式存的,但是没有元数据

2)不存在元数据,以十进制yyyymmddhhmmss存储的

MYSQL_TYPE_TIMESTAMP,MYSQL_TYPE_DATETIME都是以这种方式存的。

MYSQL_TYPE_TIME是时间戳。

3)MYSQL_TYPE_YEAR,不存在元数据。

这个是1900开始的年份存的

(2)整形,不存在元数据

MYSQL_TYPE_TINY, MYSQL_TYPE_SHORT, MYSQL_TYPE_INT24,MYSQL_TYPE_LONG,MYSQL_TYPE_LONGLONG和原先我们理解的方式一样,只不过是小端数据

(3)实数型

MYSQL_TYPE_FLOAT和MYSQL_TYPE_DOUBLE也是通过小端数据存储的,不同的是他们有一字节元数据,他们的元数据代表他们有效数据的长度。

MYSQL_TYPE_NEWDECIMAL这个小数存储方式不是很明确,仅仅在decimal.h中有定义,但是他的元数据第一个字节代表他有效数据的长度,第二个代表他的精度即小数点后长度

(4)字符串类型

MYSQL_TYPE_VARCHAR 他两字节的元数据是他的最长长度。

MYSQL_TYPE_STRING,MYSQL_TYPE_VAR_STRING 他们的元数据第一个字节代表真正的类型,而第二个字节代表存储字符串长度的字节数大小

(5)bit类型

MYSQL_TYPE_BLOB 他的元数据存储的是bit类型长度的字节数大小

MYSQL_TYPE_BIT 他的元数据存储第一个字节代表有多少bit,而第二个字节代表存储bit类型的字节数大小

为此我们可以得到结论,元数据更多存储的是该类型的长度信息。

具体更详细的请查看mysql5.7.13的源码 log_event.cc:1953::log_event_print_value()获取更多的信息

以上是关于有关binlog的那点事(mysql5.7.13)的主要内容,如果未能解决你的问题,请参考以下文章

与oracle 有关的那点事

与oracle 有关的那点事

python与中文的那点事

this的那点事

重载delete时的那点事

TODO:字节的那点事Go篇