MySQL 关于日志的一些配置参数总结

Posted 2022-12-04 落叶成冰

============================================================
日志管理
============================================================
1. 错误日志
log_error = datadir/HOSTNAME.err
错误日志, 通常在 datadir 目录下, 文件名为 HOSTNAME.err
mysql> show variables like 'hostname'; # 主机名
错误日志记录了 MySQL 运行过程中所有较为严重的警告和错误信息，以及 MySQL 每次启动和关闭的详细信息。
 
log_warnings = 1
设定是否将警告信息记录进错误日志。默认设定为1，表示启用；可以将其设置为0以禁用。
而其值为大于1的数值时表示将新发起连接时产生的“失败的连接”和“拒绝访问”类的错误信息也记录进错误日志。


---------------------------------------------
---------------------------------------------
2. 一般查询日志
general_log = ON|OFF
设定是否启用查询日志，默认值为取决于在启动 mysqld 时是否使用了 --general_log 选项。
如若启用此项，其输出位置则由 --log_output 选项进行定义，如果 log_output 的值设定为NONE，
即使用启用查询日志，其也不会记录任何日志信息。
作用范围为全局，可用于配置文件，属动态变量。


general_log_file = FILE_NAME
查询日志的文件名称，默认为 hostname.log。作用范围为全局，可用于配置文件，属动态变量。


log_output = TABLE|FILE|NONE
定义“一般查询日志和慢查询日志”的保存方式，可以是TABLE、FILE、NONE，
也可以是TABLE及FILE的组合(用逗号隔开)，默认为TABLE。如果组合中出现了NONE，
那么其它设定都将失效，同时，无论是否启用日志功能，也不会记录任何相关的日志信息。
作用范围为全局级别，可用于配置文件，属动态变量。


log = YES|NO
是否启用记录所有语句的日志信息于一般查询日志(general query log)中，
默认通常为OFF。MySQL 5.6已经弃用此选项。


sql_log_off = on|off
用于控制是否禁止将一般查询类日志信息记录到查询日志文件，默认为off，表示不禁用记录功能，
用户可以在会话级别修改此变量的值，但其必须具有 super 权限，
作用范围为全局和会话级别，属动态变量。

# 从 MySQL5.1 开始，可以将查询日志的记录放到 mysql 架构下的 general_log 表中，
# 通过修改 log_ouput=table 来指定




---------------------------------------------
---------------------------------------------
3. 慢查询日志
log_slow_queries = YES|NO
是否记录慢查询日志。慢查询是指查询执行时间超出 long_query_time 参数所设定时长的事件。
MySQL5.6 将此参数修改为了 slow_query_log。
作用范围为全局级别，可用于配置文件，属动态变量。


long_query_time = #
设定区别慢查询与一般查询的语句执行时间长度。这里的语句执行时长为实际的执行时间，
而非在 CPU 上的执行时长，因此，负载较重的服务器上更容易产生慢查询。
其最小值为0，默认值为10，单位是秒钟。它也支持毫秒级的解析度。
作用范围为全局或会话级别，可用于配置文件，属动态变量。


slow_query_log_file = #
慢查询日志文件的位置，默认文件名为 hostname-slow.log。


log_queries_not_using_indexes = ON|OFF
设定是否将没有使用索引的查询操作记录到慢查询日志。作用范围为全局级别，可用于配置文件，属动态变量。


# 从 MySQL5.1 开始，可以将慢查询日志的记录放到 mysql 架构下的 slow_log 表中，
# 通过修改 log_output=table 来指定




---------------------------------------------
---------------------------------------------
4. 二进制日志
log_bin = filename
开启二进制日志。如果不指定 fielname，默认二进制日志的文件名为主机名，后缀为二进制日志的序列号，
所在目录为 datadir 目录。同时会生成后缀名为 .index 的二进制的索引文件，用来存储过往生成的二进制日志的序号


log_bin_index = filename
二进制日志索引文件


binlog_format = ROW|STATEMENT|MIXED
二进制日志的类型，默认为 STATEMENT。如果设定了二进制日志的格式，却没有启用二进制日志，则 MySQL 启动时会
产生警告日志信息并记录于错误日志中。作用范围为全局或会话，可用于配置文件，且属于动态变量。


binlog-do-db =
需要写入哪些库的日志


binlog-ignore-db 
忽略写入哪些库的日志。默认为空，表示需要将所有库的日志同步到二进制日志。


log_slave_updates
用于设定复制场景中的从服务器是否将从主服务器收到的更新操作记录进本机的二进制日志中。
本参数设定的生效需要在从服务器上启用二进制日志功能。


expire_logs_days = 0..99
设定二进制日志的过期天数，超出此天数的二进制日志文件将被自动删除。默认为 0，表示不启用过期自动删除功能。
如果启用此功能，自动删除工作通常发生在 MySQL 启动时或 FLUSH LOGS 时。
作用范围为全局，可用于配置文件，属动态变量。


sql_log_bin = on|off
用于控制二进制日志信息是否记录进日志文件，默认为 ON，表示启用记录功能，用户可以在会话级别修改此变量的值，
但必须具有 super 权限，作用范围为全局和会话级别，属动态变量。


sync_binlog = #
设定多久同步一次二进制日志至磁盘文件中，0 表示不同步，任何正数值都表示对二进制日志每多少次写操作之后同步一次。
当 autocommit=1 时，每条语句的执行都会引起二进制日志同步，否则，每个事务的提交会引起二进制日志同步。


sync_binlog 这个参数是对于 MySQL 系统来说是至关重要的，他不仅影响到 Binlog 对 MySQL 所带来的性能损耗，
而且还影响到 MySQL 中数据的完整性。对于“sync_binlog”参数的各种设置的说明如下：
sync_binlog=0，当事务提交之后，MySQL不做fsync之类的磁盘同步指令刷新binlog_cache中的信息到磁盘，
而让Filesystem自行决定什么时候来做同步，或者cache满了之后才同步到磁盘。
sync_binlog=n，当每进行n次事务提交之后，MySQL将进行一次fsync之类的磁盘同步指令来将binlog_cache中的数据
强制写入磁盘。在MySQL中系统默认的设置是sync_binlog=0，也就是不做任何强制性的磁盘刷新指令，这时候的性能
是最好的，但是风险也是最大的。因为一旦系统Crash，在binlog_cache中的所有binlog信息都会被丢失。而当设置
为“1”的时候，是最安全但是性能损耗最大的设置。因为当设置为1的时候，即使系统Crash，也最多丢失binlog_cache中
未完成的一个事务，对实际数据没有任何实质性影响。从以往经验和相关测试来看，对于高并发事务的系统来说，
“sync_binlog”设置为0和设置为1的系统写入性能差距可能高达5倍甚至更多。


max_binlog_size
记录单个二进制日志文件的最大值，如果超过该值，则产生新的二进制日志文件，后缀名+1，并记录到.index文件中。


binlog_cache_size
当使用事务的表引擎的时，所以未提交的二进制日志会记录到一个缓存中，等该事务提交的时候直接将缓存中的
二进制日志写入到二进制日志文件，而该缓存的大小由 binlog_cache_size 决定，默认大小为 32kB。
binlog_cache_size 是基于会话的。




binlog_cache_size
binlog_stmt_cache_size
max_binlog_stmt_cache_size
max_binlog_cache_size




一些状态信息：
mysql> show global status like 'binlog_%';
binlog_cache_use
binlog_cache_disk_use
binlog_stmt_cache_disk_use
binlog_stmt_cache_use



---------------------------------------------
---------------------------------------------
5. 事务日志
默认有两个日志文件，分别为 ib_logfile0 和 ib_logfile1。


innodb_log_buffer_size = 262144 .. 4294967295
设定 InnoDB 用于辅助完成日志文件写操作的日志缓冲区大小，单位是字节，默认为 8MB。较大的事务可以借助于
更大的日志缓冲区来避免在事务完成之前将日志缓冲区的数据写入日志文件，以减少 I/O 操作进而提升系统性能。
因此，在有着较大事务的应用场景中，建议为此变量设定一个更大的值。作用范围为全局级别，可用于选项文件，属非动态变量。


innodb_log_file_size
指定重做日志文件大小，默认为 5M。


innodb_log_files_in_group
指定重做日志组中重做日志文件的数量，默认为 2。

innodb_mirrored_log_groups
指定日志镜像文件组的数量，默认为 1。


innodb_log_group_home_dir
指定日志文件组所在路径，默认在 datadir 目录下。


innodb_flush_log_at_trx_commit = 0|1|2
设定 InnoDB 同步日志缓冲区(log buffer)数据至日志文件中的方式，以及刷写日志文件至磁盘的方式。
其可接受的值中：
0: 表示将日志缓冲区每秒一次地写入日志文件，并同时将日志文件刷写至磁盘中，但事务提交时不会采取任何动作。
1: 默认值，表示在有事务提交时将日志缓冲区写入日志文件，并同时将日志文件刷写至磁盘。
2: 表示每事务提交或每秒一次将日志缓冲区写入日志文件，但不会同时执行日志文件的刷写操作。
当然，由于操作系统进程调度的原因，每秒一次的日志写入或刷写操作并不能得到 100% 的保证。


完全兼容 ACID 的场景需要将此变量值设置为 1，由于要执行每事务的日志刷写操作，其会阻止I/O调用，直到写操作完成，
故其会显著降低 InnoDB 每秒钟可以提交的事务数。设置为 2 可获得比 1 更好的性能，而且仅在操作系统崩溃时才会丢失
最后一秒钟的数据，因此数据安全性也有着不错的表现。设置为 0 则有可能会导致事务最后一秒钟的数据丢失，于是整个
事务的数据安全性将无法保证，但其通常有着最好的性能。为了在最大程序上保证复制的 InnoDB 事务持久性和一致性，
应该设置变量 innodb_flush_log_at_trx_commit=1以及设置变量 sync_binlog=1。然而需要注意的是，有些磁盘自身也有缓存，
这可能会给事务操作带来额外的潜在风险。可以使用 hdparm 工具或供应商的自有工具等禁用磁盘自身的缓存。当然，高性能
事务的最佳配置是把此变量的值设置为 1，并且将日志文件放在有备用电池的写入缓存的 RAID 上。

作用范围为全局，可用于选项文件，属动态变量。