MySQL utf8mb4，保存表情符号时出错

Posted 2023-02-24

技术标签:

【中文标题】MySQL utf8mb4，保存表情符号时出错【英文标题】：MySQL utf8mb4, Errors when saving Emojis 【发布时间】：2016-05-09 15:11:06 【问题描述】：

我尝试从我的 mysql 数据库中的服务中保存用户的名称。这些名称可以包含表情符号，例如?????????????????? （仅作示例）

经过一番搜索，我发现这个*** 链接到这个tutorial。我按照这些步骤进行操作，看起来一切都已正确配置。

我有一个数据库（字符集和排序规则设置为 utf8mb4 (_unicode_ci)），一个名为 TestTable 的表，也以这种方式配置，还有一个“文本”列，以这种方式配置（VARCHAR(191) utf8mb4_unicode_ci）。

当我尝试保存表情符号时出现错误：

Example of error for shortcake (????):
    Warning: #1300 Invalid utf8 character string: 'F09F8D'
    Warning: #1366 Incorrect string value: '\xF0\x9F\x8D\xB0' for column 'Text' at row 1

我能够正确保存的唯一表情符号是太阳☀️

虽然说实话，我并没有尝试所有这些。

我在配置中缺少什么吗？

请注意：所有保存测试均不涉及客户端。我使用 phpmyadmin 手动更改值并保存数据。因此，客户端的正确配置是我将在服务器正确保存表情符号之后处理的事情。

另一个旁注：目前，当保存表情符号时，我要么得到上述错误，要么没有错误，Username ???? 的数据将存储为Username ????。错误或无错误取决于我保存的方式。通过 SQL 语句创建/保存时，我用问号保存，在编辑内联时我用问号保存，当使用编辑按钮进行编辑时，我得到错误。

谢谢

编辑 1： 好吧，所以我想我发现了问题，但没有找到解决方案。看起来数据库特定变量没有正确更改。

当我在服务器上以 root 身份登录并读出变量（全局）时：使用的查询：SHOW VARIABLES WHERE Variable_name LIKE 'character\_set\_%' OR Variable_name LIKE 'collation%';

+--------------------------+--------------------+
| Variable_name            | Value              |
+--------------------------+--------------------+
| character_set_client     | utf8mb4            |
| character_set_connection | utf8mb4            |
| character_set_database   | utf8mb4            |
| character_set_filesystem | binary             |
| character_set_results    | utf8mb4            |
| character_set_server     | utf8mb4            |
| character_set_system     | utf8               |
| collation_connection     | utf8mb4_unicode_ci |
| collation_database       | utf8mb4_unicode_ci |
| collation_server         | utf8mb4_unicode_ci |
+--------------------------+--------------------+
10 rows in set (0.00 sec)

对于我的数据库（在 phpmyadmin 中，相同的查询），它如下所示：

+--------------------------+--------------------+
| Variable_name            | Value              |
+--------------------------+--------------------+
| character_set_client     | utf8               |
| character_set_connection | utf8mb4            |
| character_set_database   | utf8mb4            |
| character_set_filesystem | binary             |
| character_set_results    | utf8               |
| character_set_server     | utf8               |
| character_set_system     | utf8               |
| collation_connection     | utf8mb4_unicode_ci |
| collation_database       | utf8mb4_unicode_ci |
| collation_server         | utf8mb4_unicode_ci |
+--------------------------+--------------------+

如何在特定数据库上调整这些设置？此外，即使我将第一个显示设置为默认设置，在创建新数据库时，我也会将第二个设置作为设置。

编辑 2：

这是我的my.cnf 文件：

[client]
port=3306
socket=/var/run/mysqld/mysqld.sock
default-character-set = utf8mb4

[mysql]
default-character-set = utf8mb4

[mysqld_safe]
socket=/var/run/mysqld/mysqld.sock

[mysqld]
user=mysql
pid-file=/var/run/mysqld/mysqld.pid
socket=/var/run/mysqld/mysqld.sock
port=3306
basedir=/usr
datadir=/var/lib/mysql
tmpdir=/tmp
lc-messages-dir=/usr/share/mysql
log_error=/var/log/mysql/error.log
max_connections=200
max_user_connections=30
wait_timeout=30
interactive_timeout=50
long_query_time=5
innodb_file_per_table
character-set-client-handshake = FALSE
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci

!includedir /etc/mysql/conf.d/

【问题讨论】：

phpmyadmin的问题，换个mysql客户端试试我认为这不是 phpmyadmin 的问题。正如您在 Edit1 中看到的那样，我认为 conf/default 变量/参数与数据库上的变量/参数之间存在一些错误配置。即使在创建新数据库时。您的 PMA 配置中的 $cfg["DefaultCharset"] 是什么？我没有找到$cfg["DefaultCharset"]。我在etc/phpmyadmin/config.inc.php 中查找了它。不在里面。 @jsxqf 嗨，过了一会儿，重做整个“教程”，我意识到这实际上是一个 mysql 问题。会话变量不同于全局变量。使用我的 api 时发生的新连接使用全局变量并且可以工作:)。所以实际上，如果你提供一个完整的答案，我会接受它，你会得到赏金。此外，最重要的是，如果您也能说明我如何重置 phpmyadmins 会话变量，我将不胜感激。我没有让这个工作。它们仍然设置错误。 【参考方案1】：

character_set_client、_connection 和 _results 必须都为 utf8mb4 才能使该脆饼可食用。

某事，某处，正在单独设置其中的一个子集。翻遍 my.cnf 和 phpmyadmin 的设置——有些东西没有设置所有三个。

如果SET NAMES utf8mb4被执行，则三个都设置正确。

阳光明媚，因为它只有 3 个字节 - E2 98 80; utf8 对于 Unicode 字符的 3 字节 utf8 编码就足够了。

【讨论】：

好吧，我想这让我更接近了。谢谢你。我编辑了我的问题并添加了 my.cnf。也许你能看到里面的东西？连接需要有utf8mb4。如果找不到在哪里执行此操作，请执行SET NAMES utf8mb4。这是一个很好的解释，也说明了哪里出了问题。但除此之外，我还必须检查会话和全局变量。意识到 PHPMyadmins 会话变量仍然是错误的，并且该错误仅发生在管理委员会。谢谢。 mysql_query("SET NAMES 'utf8mb4'"); 没错 ;) 哦，我错过了一个 -- 一个脆饼足够 4 个字节。【参考方案2】：

对我来说，原来问题出在mysql客户端。

mysql 客户端更新服务器上my.cnf 的字符设置，并导致意外的字符设置。

所以，我需要做的只是添加character-set-client-handshake = FALSE。它禁止客户端设置干扰我的字符设置。

my.cnf 会是这样的。

[mysqld]
character-set-client-handshake = FALSE
character-set-server = utf8mb4
...

希望对你有帮助。

【讨论】：

【参考方案3】：

您的服务/应用程序可能使用“utf8”而不是“utf8mb4”连接客户端字符集。这取决于客户端应用程序。

对于 PHP 应用程序，请参阅 http://php.net/manual/en/function.mysql-set-charset.php 或 http://php.net/manual/en/mysqli.set-charset.php

对于 Python 应用程序，请参阅 https://github.com/PyMySQL/PyMySQL#example 或 http://docs.sqlalchemy.org/en/latest/dialects/mysql.html#mysql-unicode

另外，请检查您的列是否真的是 utf8mb4。一种直接的方法是这样的：

mysql> SELECT character_set_name FROM information_schema.`COLUMNS`  WHERE table_name = "user"   AND column_name = "displayname";
+--------------------+
| character_set_name |
+--------------------+
| utf8mb4            |
+--------------------+
1 row in set (0.00 sec)

【讨论】：

【参考方案4】：

更改表 table_name 更改 column_name column_name VARCHAR(255) 字符集 utf8mb4 整理 utf8mb4_unicode_ci NULL 默认为空；

示例查询：

ALTER TABLE `reactions` CHANGE `emoji` `emoji` VARCHAR(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NULL DEFAULT NULL;

之后，成功将表情符号存储在表中：

【讨论】：

【参考方案5】：

考虑添加

init_connect = 'SET NAMES utf8mb4'

到您所有的 db-servers 的 my.cnf-s。

（不过，客户可以（因此）否决它）

【讨论】：

【参考方案6】：

Symfony 5 答案

虽然这不是所要求的，但人们可以在网上搜索 Symfony 中的相同问题后登陆这里。

1。正确配置 MySQL

☝️ 在此处查看（如果有帮助，请点赞）最佳答案。

2。改变你的 Doctrine 配置

/config/packages/doctrine.yaml

doctrine:
    dbal:
        ...
        charset: utf8mb4

【讨论】：

【参考方案7】：

我正在通过命令导入数据：

LOAD DATA LOCAL INFILE 'abc.csv' INTO TABLE abc
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"' 
LINES TERMINATED BY '\r\n'
IGNORE 1 LINES
(col1, col2, col3, col4, col5...);

这对我不起作用：

设置名称 utf8mb4;

我必须添加 CHARACTER SET 才能使其正常工作：

LOAD DATA LOCAL INFILE
'E:\\wamp\\tmp\\customer.csv' INTO TABLE `customer`
CHARACTER SET 'utf8mb4'
FIELDS TERMINATED BY ',' ENCLOSED BY '"'
LINES TERMINATED BY '\r\n'
IGNORE 1 LINES;

注意，目标列也必须是 utf8mb4 而不是 utf8，否则导入会保存（没有错误的想法）“?????”之类的问号。

【讨论】：

【参考方案8】：

我对这个答案并不感到自豪，因为它使用蛮力来清理输入。这很残酷，但很有效

function cleanWord($string, $debug = false) 
    $new_string = "";

    for ($i=0;$i<strlen($string);$i++) 
        $letter = substr($string, $i, 1);
        if ($debug) 
            echo "Letter: " . $letter . "<BR>";
            echo "Code: " . ord($letter) . "<BR><BR>";
        
        $blnSkip = false;
        if (ord($letter)=="146") 
            $letter = "&acute;";
            $blnSkip = true;
        
        if (ord($letter)=="233") 
            $letter = "&eacute;";
            $blnSkip = true;
        
        if (ord($letter)=="147" || ord($letter)=="148") 
            $letter = "&quot;";
            $blnSkip = true;
        
        if (ord($letter)=="151") 
            $letter = "&#8211;";
            $blnSkip = true;
        
        if ($blnSkip) 
            $new_string .= $letter;
            break;
        

        if (ord($letter) > 127) 
            $letter = "&#0" . ord($letter) . ";";
        

        $new_string .= $letter;
    
    if ($new_string!="") 
        $string = $new_string;
    
    //optional
    $string = str_replace("\r\n", "<BR>", $string);

    return $string;


//clean up the input
$message = cleanWord($message);

//now you can insert it as part of SQL statement
$sql = "INSERT INTO tbl_message (`message`)
VALUES ('" . addslashes($message) . "')";

【讨论】：

以上是关于MySQL utf8mb4，保存表情符号时出错的主要内容，如果未能解决你的问题，请参考以下文章

允许 MySQL 以 utf8mb4 编码存储表情符号？

让mysql支持emoji表情

表情符号未正确存储在 MySQL 5.6 中，排序规则为 utf8mb4

无法将表情符号存储在数据库中

PHP Mysql字符集utf8mb4支持Emoji表情

表情符号未使用 mysql 和 node 保存在数据库中