Lumen MySQL 查询未按预期处理 UTF8 值

Posted 2023-03-15

【中文标题】Lumen MySQL 查询未按预期处理 UTF8 值

【英文标题】：Lumen MySQL query not handling UTF8 value as expected

【发布时间】：2015-07-25 13:18:18

【问题描述】：

我正在处理一个使用 UTF8 编码并且有许多包含特殊字符的用户名的数据库，例如“Ғђ ▫ Sony”

查询用户表时，Lumen 以不正确的数据响应。我尝试使用mysqli 和PDO 查询同一个表，我收到了预期的结果。我设置了一个示例路线来测试它：

$app->get("charset", function() 
    $mysqli = new mysqli("localhost", "user", "password", "database");
    $res = $mysqli->query("select name from users where id = 1");

    $dbh = new PDO('mysql:host=localhost;dbname=database', "user", "password");
    $stmt = $dbh->query("select name from users where id = 1");

    $lumen = DB::select("select name from users where id = 1");

    return response()->json([
        "mysqli" => $res->fetch_assoc(),
        "pdo" => $stmt->fetchAll(PDO::FETCH_ASSOC),
        "framework" => $lumen
    ]);
);

访问路由时，我得到以下响应：

  "mysqli": 
    "name": "Ғђ ▫ Sony"
  ,
  "pdo": [
    
      "name": "Ғђ ▫ Sony"
    
  ],
  "framework": [
    
      "name": "Ò’Ñ’ â–« Sony"
    
  ]

如果上面的文本显示不正确，这里是响应的屏幕截图：

据我所知，Lumen 的 MySQL 配置默认为 UTF8 且不可更改 - 我在 vendor/laravel/lumen-framework/config/database 中找到以下内容：

'mysql' => [
    'driver'    => 'mysql',
    'host'      => env('DB_HOST', 'localhost'),
    'database'  => env('DB_DATABASE', 'forge'),
    'username'  => env('DB_USERNAME', 'forge'),
    'password'  => env('DB_PASSWORD', ''),
    'charset'   => 'utf8',
    'collation' => 'utf8_unicode_ci',
    'prefix'    => env('DB_PREFIX', ''),
    'timezone'  => env('DB_TIMEZONE','+00:00'),
    'strict'    => false,
],

我不知道是什么原因造成的。我还能做些什么来尝试找出这种差异？

【问题讨论】：

数据是否正确保存在数据库中？你能看到正确呈现的特殊字符吗，比如使用 MYSQL Workbench 或你使用的类似工具？

当我通过 MySQL Workbench 查询它时，它返回“Ò'Ñ' â–« Sony”作为名称。我尝试添加SET NAMES 'utf8'，但似乎没有效果。

您确定数据库中的数据正确编码为utf8吗？似乎您仅将 UTF8 用于 lumen DB 连接（如果这是默认设置），但您没有将 UTF8 用于 mysqli 或 PDO 连接。如果您使用$mysqli->set_charset("utf8"); 设置mysqli 字符集和使用new PDO('mysql:host=localhost;dbname=database;charset=utf8', "user", "password"); 设置PDO 字符集，您会得到相同的结果吗？

MySQL 连接字符集定义了用于 MySQL 客户端 (php) 和服务器之间通信的编码。在实际的 MySQL 表中使用什么编码并不重要。 MySQL 服务器会自动在表编码和连接编码之间转换数据。因此，连接编码基本上定义了您希望从 MySQL 获取数据的格式，以及您将数据插入 MySQL 的格式。似乎在这里您正确地从流明 DB 连接获取 UTF8 数据，但输出未显示为 UTF8。

这也解释了为什么 mysqli 和 PDO 输出显示正确，因为它们没有以 UTF8 格式返回数据（因为您没有将它们的连接字符集设置为 UTF8）但默认情况下它们似乎匹配任何编码是您在其中显示输出。

【参考方案1】：

这个答案是基于我之前的上面的cmets。

MySQL 连接字符集定义了用于 MySQL 客户端 (PHP) 和服务器之间通信的编码。在实际 MySQL 表中使用什么编码作为内部编码并不重要。 MySQL 服务器会自动在表编码和连接编码之间转换数据。因此，连接编码基本上定义了您希望从 MySQL 获取数据的格式，以及您将数据插入 MySQL 的格式。

您确定数据库中的数据正确编码为utf8吗？

似乎您仅将 UTF8 用于 lumen DB 连接（如果这是默认设置），但您没有在 mysqli 或 PDO 连接示例中使用 UTF8。如果您使用$mysqli->set_charset("utf8"); 设置mysqli 字符集和使用new PDO('mysql:host=localhost;dbname=database;charset=utf8', "user", "password"); 设置PDO 字符集，您会得到相同的结果吗？

根据您的代码和输出示例，您似乎正确地从流明 DB 连接获取 UTF8 格式的数据，但输出未显示为 UTF8。

这也解释了为什么 mysqli 和 PDO 输出显示正确，因为它们没有以 UTF8 格式返回数据（因为您没有将它们的连接字符集设置为 UTF8）但默认情况下它们似乎与您使用的任何编码相匹配显示输出（显然是“latin1”或兼容）。

如果您在网络浏览器中查看输出，请确保正确定义了输出页面字符集（例如，使用标题）。

编辑：

顺便说一句，只要连接编码与通过连接发送的数据的编码相匹配，在插入数据的其他系统中使用什么连接编码就无关紧要。

将连接编码设置为 latin1 意味着您在执行 SELECT 时将获得字符串数据为 latin1。因此，您的输出似乎被处理为 latin1 而不是 UTF-8。如果您将脚本输出修复为正确显示“作为 UTF-8”，而不是您的输出环境（例如 Web 浏览器）支持它，那可能会更好。因为否则如果您需要处理无法在 latin1 中显示的字符，您将遇到问题。虽然如果您输出到 CLI 终端/控制台，那么您当然应该使用与默认终端编码相同的编码（可以是 UTF-8 或其他）。我更喜欢将我的 Linux 终端也配置为 UTF-8。

【讨论】：

所有这一切令人困惑的是我的页面输出字符集是 UTF-8 - 我 1000% 确定这一点，因为我已经仔细检查了十几次。不管怎样，你的回答帮助我让它工作，所以这对我来说已经足够了。再次感谢！