ubuntu16.04下安装的mysql数据库问题

Posted 2020-07-29 翟海飞

1 字符集问题

问题：在django中执行./manage.py createdb命令后出现：

django.db.utils.OperationalError: (1366, "Incorrect string value: '\\xC4\\x9A\\xC2\\x81vi...' for column 'file' at row 1")

查看mysql数据库：

mysql> show variables like '%char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       |
| character_set_connection | utf8                       |
| character_set_database   | latin1                     |
| character_set_filesystem | binary                     |
| character_set_results    | utf8                       |
| character_set_server     | latin1                     |
| character_set_system     | utf8                       |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+
8 rows in set (0.01 sec)

需要把是latin1的值都改成utf8， 修改方法：编辑文件/etc/mysql/my.cnf，添加内容：

[client]
default-character-set=utf8

[mysqld]
character-set-server=utf8
collation-server=utf8_general_ci

然后重启mysqd服务：

[email protected]:/etc/mysql# service mysql restart

进入mysql验证：

mysql> show variables like '%char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       |
| character_set_connection | utf8                       |
| character_set_database   | utf8                       |
| character_set_filesystem | binary                     |
| character_set_results    | utf8                       |
| character_set_server     | utf8                       |
| character_set_system     | utf8                       |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+
8 rows in set (0.01 sec)

总结：

1 关于配置文件路径

[email protected]:/etc/mysql# mysqld --verbose --help | grep -A 1 'Default options'
Default options are read from the following files in the given order:
/etc/my.cnf /etc/mysql/my.cnf ~/.my.cnf 

从上图可以看出, 服务器首先会读取/etc/my.cnf文件，如果发现该文件不存在，再依次尝试从后面的几个路径进行读取。

2 全局变量

在非登录并有权限情况下可以这样查看: mysqladmin variables -p
这个操作也就相当于登录时使用命令 show global variables;

3 数据库存放目录

[email protected]:/etc/mysql# ls /var/lib/mysql
auto.cnf           debian-5.7.flag  ibdata1      ib_logfile1  mysite  performance_schema
ib_buffer_pool   ib_logfile0  ibtmp1       mysql   parchdb          sys

4 my.cnf

http://www.blogjava.net/hunter129/archive/2009/01/18/251744.html

参考:

1 http://wiki.ubuntu.com.cn/MySQL

其它参考：

选项说明
character_set_client
这是用户告诉MySQL查询是用的什么字符集。

character_set_connection
MySQL接受到用户查询后，按照character_set_client将其转化为character_set_connection设定的字符集。

character_set_results
MySQL将存储的数据转换成character_set_results中设定的字符集发送给用户。

Comsenz Discuz! 并没有使用set NAMES character
SET NAMES ‘x‘语句与这三个语句等价：
mysql> SET character_set_client = x;
mysql> SET character_set_results = x;
mysql> SET character_set_connection = x
而 Comsenz Discuz! 里面是
@mysql_query("SET character_set_connection=$dbcharset, character_set_results=$dbcharset, character_set_client=binary", $this->link);

SET character_set_client = binary;
使用二进制字符集查询

此三处的字符设定很大程度上会解决乱码问题，那么着三个设定具体有什么作用呢？
character_set_client
指定的是Sql语句的编码，如果设置为 binary，mysql就当二进制来处理，character_set_connection 指定了mysql 用来运行sql语句的时候使用的编码，也就是说，程序发送给 MySQL 的 SQL 语句,会首先被 MySQL 从character_set_client 指定的编码转换到 character_set_connection 指定的编码，如果 character_set_clien 指定的是 binary，则 MySQL 就会把 SQL 语句按照 character_set_connection 指定的编码解释执行。

当执行SQL语句的过程中，比如向数据库中插入字段的时候，字段也有编码设置，如果字段的编码设置和 character_set_connection 指定的不同，则 MySQL 会把插入的数据转换成字段设定的编码。SQL语句中的条件判断和SQL插入语句的执行过程类似。

当SQL执行完毕像客户端返回数据的时候，会把数据从字段指定的编码转换为 character_set_results 指定的编码，如果 character_set_results=NULL 则不做任何转换动作，（注意这里设置为NULL不等于没有设置，没有设置的时候MySQL会继承全局设置）, 工作中比较有用的就是利用MySQL进行转码、不同编码的数据库之间共用数据。

选项配置
配置文件路径：/full/path/mysql/bin/my.ini （或者 my.conf ）

[client]
default-character-set=utf8

[mysql]
default-character-set=utf8

[mysqld]
init_connect=‘SET collation_connection = utf8_unicode_ci‘
init_connect=‘SET NAMES utf8‘
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake

*注意：
在 mysqld 中使用 default-character-set 设置， mysql 启动会报错而无法启动。

参考文献
http://dev.mysql.com/doc/refman/5.5/en/charset-configuration.html
http://stackoverflow.com/questions/3513773/change-mysql-default-character-set-to-utf8-in-my-cnf
http://www.iteye.com/problems/11006
http://jianzhong5137.blog.163.com/blog/static/98290492010821115435501/
http://www.itpub.net/thread-1187897-1-1.html
http://imysql.cn/?q=node/20

 设置mysql数据库显示编码:set charset utf8;
 查看mysql数据库编码:show variables like ‘character%‘;  
 在这个过程中如果出现了数据库编码问题:
 设置MYSQL数据库编码为UTF-8:
一、检查当前数据库编码。


使用语句：
show variables like ‘%character%’;
show variables like’%collation%’;


二、如果不是以上情况，需要将mysql编码设置为utf-8。具体步骤如下：


如果安装mysql时安装了“MySql Sever Instance Configuration Wizard”，则只需要启动


该程序进行相应设置即可。如下面截图中所描述，需要将默认编码设置为utf8
如果没有该程序，需要手动修改mysql编码。
1、  编辑MySql的配置文件
MySql的配置文件Windows下一般在系统目录下或者在MySql的安装目录下名字叫my.ini，可以


搜索，Linux下一般是 /etc/my.cnf
--在 [mysqld] 标签下加上以下内容：
default-character-set = utf8
character_set_server = utf8
注意：如果此标签下已经存在“default-character-set=GBK”类似的内容，只需修改即可。
--在 [mysql]  标签下加上一行
default-character-set = utf8
--在 [mysql.server]标签下加上一行
default-character-set = utf8
--在 [mysqld_safe]标签下加上一行
default-character-set = utf8
--在 [client]标签下加上一行
default-character-set = utf8
2、  重新启动MySql服务


Windows可在服务管理器中操作，也可使用命令行：
net stop mysql 回车
net start mysql 回车
服务名可能不一定为mysql，请按自己的设置
Linux下面可是用 service mysql restart
如果出现启动失败，请检查配置文件有没有设置错误
3、  查看设置结果
登录MySql命令行客户端：打开命令行
mysql –uroot –p 回车
输入密码
进入mysql后 执行 ：show variables like "% character %";
显示结果应该类似如下：
| character_set_client | utf8 |
| character_set_connection | utf8 |
| character_set_database | utf8 |
| character_set_results | utf8 |
| character_set_server | utf8 |
| character_set_system | utf8 |
| character_sets_dir | /usr/share/mysql/charsets/ |
如果仍有编码不是utf8的，请检查配置文件，也可使用mysql命令设置：
set character_set_client = utf8;
set character_set_server = utf8;
set character_set_connection = utf8;
set character_set_database = utf8;
set character_set_results = utf8;
set collation_connection = utf8_general_ci;
set collation_database = utf8_general_ci;
set collation_server = utf8_general_ci;
另外：
建立数据库时可以使用以下命令：
create database app_relation character set utf8; 
use app_relation;
source app_relation.sql;
修改数据库编码的命令为：
alter database app_relation character set utf8; 
----------------------------------------------------
1. SET NAMES ‘utf8‘;
它相当于下面的三句指令：
SET character_set_client = utf8;
SET character_set_results = utf8;
SET character_set_connection = utf8;

最近，在项目组使用的mysql数据库中，插入数据出现乱码，关于这个问题做了下总结，我们从最基本的地方说起，到错误产生的深层次原因和解决办法。

基本概念

? 字符(Character)是指人类语言中最小的表义符号。例如’A‘、’B‘等；
? 给定一系列字符，对每个字符赋予一个数值，用数值来代表对应的字符，这一数值就是字符的编码(Encoding)。例如，我们给字符’A‘赋予数值0，给字符’B‘赋予数值1，则0就是字符’A‘的编码；
? 给定一系列字符并赋予对应的编码后，所有这些字符和编码对组成的集合就是字符集(Character Set)。例如，给定字符列表为{’A‘,’B‘}时，{’A‘=>0, ‘B’=>1}就是一个字符集；
? 字符序(Collation)是指在同一字符集内字符之间的比较规则；
? 确定字符序后，才能在一个字符集上定义什么是等价的字符，以及字符之间的大小关系；
? 每个字符序唯一对应一种字符集，但一个字符集可以对应多种字符序，其中有一个是默认字符序(Default Collation)；
? MySQL中的字符序名称遵从命名惯例：以字符序对应的字符集名称开头；以_ci(表示大小写不敏感)、_cs(表示大小写敏感)或_bin(表示按编码值比较)结尾。例如：在字符序“utf8_general_ci”下，字符“a”和“A”是等价的；

MySQL字符集设置

? 系统变量：
– character_set_server：默认的内部操作字符集
– character_set_client：客户端来源数据使用的字符集
– character_set_connection：连接层字符集
– character_set_results：查询结果字符集
– character_set_database：当前选中数据库的默认字符集
– character_set_system：系统元数据(字段名等)字符集
– 还有以collation_开头的同上面对应的变量，用来描述字符序。

? 用introducer指定文本字符串的字符集：
– 格式为：[_charset] ’string’ [COLLATE collation]
– 例如：
       SELECT _latin1 ’string’;
       SELECT _utf8 ‘你好’ COLLATE utf8_general_ci;
– 由introducer修饰的文本字符串在请求过程中不经过多余的转码，直接转换为内部字符集处理。

MySQL中的字符集转换过程

1. MySQL Server收到请求时将请求数据从character_set_client转换为character_set_connection；
2. 进行内部操作前将请求数据从character_set_connection转换为内部操作字符集，其确定方法如下：
       - 使用每个数据字段的CHARACTER SET设定值；
       - 若上述值不存在，则使用对应数据表的DEFAULT CHARACTER SET设定值(MySQL扩展，非SQL标准)；
       - 若上述值不存在，则使用对应数据库的DEFAULT CHARACTER SET设定值；
       - 若上述值不存在，则使用character_set_server设定值。

3. 将操作结果从内部操作字符集转换为character_set_results。

 
  我们现在回过头来分析下我们产生的乱码问题：
          a 我们的字段没有设置字符集，因此使用表的数据集
          b 我们的表没有指定字符集，默认使用数据库存的字符集
          c 我们的数据库在创建的时候没有指定字符集，因此使用character_set_server设定值
          d 我们没有特意去修改character_set_server的指定字符集，因此使用mysql默认
          e mysql默认的字符集是latin1，因此，我们使用了latin1字符集，而我们character_set_connection的字符集是UTF-8，插入中文乱码也再所难免了。

常见问题解析
? FAQ-1 向默认字符集为utf8的数据表插入utf8编码的数据前没有设置连接字符集，查询时设置连接字符集为utf8
     – 插入时根据MySQL服务器的默认设置，character_set_client、character_set_connection和character_set_results均为latin1；
     – 插入操作的数据将经过latin1=>latin1=>utf8的字符集转换过程，这一过程中每个插入的汉字都会从原始的3个字节变成6个字节保存；
     – 查询时的结果将经过utf8=>utf8的字符集转换过程，将保存的6个字节原封不动返回，产生乱码。参考下图：
? 向默认字符集为latin1的数据表插入utf8编码的数据前设置了连接字符集为utf8（我们遇到的错误就是属于这一种）
     – 插入时根据连接字符集设置，character_set_client、character_set_connection和character_set_results均为utf8；
     --插入数据将经过utf8=>utf8=>latin1的字符集转换，若原始数据中含有\u0000~\u00ff范围以外的Unicode字符，会因为无法在latin1字符集中表示而被转换为“?”(0×3F)符号，以后查询时不管连接字符集设置如何都无法恢复其内容了。转换过程如下图： 

 
检测字符集问题的一些手段
    ? SHOW CHARACTER SET;
    ? SHOW COLLATION;
    ? SHOW VARIABLES LIKE ‘character%’;
    ? SHOW VARIABLES LIKE ‘collation%’;
    ? SQL函数HEX、LENGTH、CHAR_LENGTH
    ? SQL函数CHARSET、COLLATION
 
使用MySQL字符集时的建议
    ? 建立数据库/表和进行数据库操作时尽量显式指出使用的字符集，而不是依赖于MySQL的默认设置，否则MySQL升级时可能带来很大困扰；
    ? 数据库和连接字符集都使用latin1时，虽然大部分情况下都可以解决乱码问题，但缺点是无法以字符为单位来进行SQL操作，一般情况下将数据库和连接字符集都置为utf8是较好的选择；
    ? 使用mysql CAPI（mysql提供C语言操作的API）时，初始化数据库句柄后马上用mysql_options设定MYSQL_SET_CHARSET_NAME属性为utf8，这样就不用显式地用SET NAMES语句指定连接字符集，且用mysql_ping重连断开的长连接时也会把连接字符集重置为utf8；
    ? 对于mysql php API，一般页面级的PHP程序总运行时间较短，在连接到数据库以后显式用SET NAMES语句设置一次连接字符集即可；但当使用长连接时，请注意保持连接通畅并在断开重连后用SET NAMES语句显式重置连接字符集。
 
其他注意事项
    ? my.cnf中的default_character_set设置只影响mysql命令连接服务器时的连接字符集，不会对使用libmysqlclient库的应用程序产生任何作用！
    ? 对字段进行的SQL函数操作通常都是以内部操作字符集进行的，不受连接字符集设置的影响。
    ? SQL语句中的裸字符串会受到连接字符集或introducer设置的影响，对于比较之类的操作可能产生完全不同的结果，需要小心！
 
总结
    根据上面的分析和建议，我们解决我们遇到问题应该使用什么方法大家心里应该比较清楚了。对，就是在创建database的时候指定字符集，不要去通过修改默认配置来达到目的，当然你也可以采用指定表的字符集的形式，但很容易出现遗漏，特别是在很多人都参与设计的时候，更容易纰漏。
 
    虽然不提倡通过修改mysql的默认字符集来解决，但对于如何去修改默认字符集，我这里还是给出一些方法，仅供大家参考。
 
MySQL默认字符集
MySQL对于字符集的指定可以细化到一个数据库，一张表，一列.传统的程序在创建数据库和数据表时并没有使用那么复杂的配置，它们用的是默认的配置.
    (1)编译MySQL 时，指定了一个默认的字符集，这个字符集是 latin1；
    (2)安装MySQL 时，可以在配置文件 (my.ini) 中指定一个默认的的字符集，如果没指定，这个值继承自编译时指定的；
    (3)启动mysqld 时，可以在命令行参数中指定一个默认的的字符集，如果没指定，这个值继承自配置文件中的配置,此时 character_set_server 被设定为这个默认的字符集；
    (4)安装 MySQL选择多语言支持，安装程序会自动在配置文件中把default_character_set 设置为 UTF-8，保证缺省情况下所有的数据库所有表的所有列的都用 UTF-8 存储。
查看默认字符集
    (默认情况下，mysql的字符集是latin1(ISO_8859_1)，如何查看在上面我们已经给出了相关命令
修改默认字符集
(1) 最简单的修改方法，就是修改mysql的my.ini文件中的字符集键值，
     如    default-character-set = utf8
      character_set_server =  utf8
     修改完后，重启mysql的服务
(2) 还有一种修改字符集的方法，就是使用mysql的命令
     mysql> SET character_set_client = utf8 ;
     mysql> SET character_set_connection = utf8 ;
     mysql> SET character_set_database = utf8 ;
     mysql> SET character_set_results = utf8 ;
     mysql> SET character_set_server = utf8 ;
     mysql> SET collation_connection = utf8 ;
     mysql> SET collation_database = utf8 ;
     mysql> SET collation_server = utf8 ;
 
    设置了表的默认字符集为utf8并且通过UTF-8编码发送查询，存入数据库的仍然是乱码。那connection连接层上可能出了问题。解决方法是在发送查询前执行一下下面这句： SET NAMES ‘utf8‘;它相当于下面的三句指令：
SET character_set_client = utf8;
SET character_set_results = utf8;
SET character_set_connection = utf8;