Python操作MySQL 1366错误解决方案

Posted 浅然言而信

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python操作MySQL 1366错误解决方案相关的知识,希望对你有一定的参考价值。

Python操作mysql 1366错误解决方案

说在前面

笔者最近在写Python爬虫,在一次将数据存储到MySQL中的过程中突然报1366错误(error:1366, “Incorrect string value: )。通过查阅相关文档了解1366错误多数是字符编码前后不一致所造成,比如表的编码和插入的编码不一致。读者可以通过以下命令查阅相关字符集

mysql的字符集:show variables where Variable_name like '%char%';

数据库字符集:show create database databaseName;(databaseName为数据库名)

数据表字符集:show create table tableName;(tableName为表名)

场景一

表的编码与插入数据编码不一致(以utf8为例)

解决方案

1、设置表的字段编码

alter table ygspider change title title varchar(20) character set utf8;(title是字段名称)  

2、设置python代码中的mysql配置charset为utf8

mysql_conf = 
    'host': 'localhost',
    'user': 'root',
    'password': '1111',
    'port': 3306,
    'database': 'test',
    'charset': 'utf8'


场景二

正当笔者以为问题解决的时候,突然日志中又跳出一个插入失败,如下!

因为编码问题已经解决,所以排出了编码不一致问题,正当此时笔者突然发现,该插入的数据是title失败,而图中title的数据竟然有一个表情包图片,查阅相关资料后发现utf8最多处理3个字节,而这种表情图或者其他特殊字符是4字节,所以也导致了插入失败1366错误!

解决方案

使用utf8mb4!
1、设置表的字段编码

alter table ygspider change title title varchar(20) character set utf8mb4;(title是字段名称)  

2、设置python代码中的mysql配置charset为utf8mb4

mysql_conf = 
    'host': 'localhost',
    'user': 'root',
    'password': '1111',
    'port': 3306,
    'database': 'test',
    'charset': 'utf8mb4'

MySQL在5.5.3版本之后增加了这个utf8mb4的编码,低版本的MySQL支持的utf8编码,最大字符长度为3字节,如果遇到 4 字节的字符就会出现错误了。要在 MySQL 中保存 4 字节长度的 utf8 字符,就可以使用 utf8mb4 字符集了。

好了,以上就是笔者遇到的1366错误场景以及解决方案,如有错误,还望指正!

图解Python数据结构与算法-实战篇

迈向数据科学家:带你玩转Python数据分析

以上是关于Python操作MySQL 1366错误解决方案的主要内容,如果未能解决你的问题,请参考以下文章

MySQL 1366错误解决办法

python报OperationalError: (1366, "Incorrect string value..."的问题解决

在查MySQL 1366的错误原因

sqlalchemy 使用pymysql连接mysql 1366错误

Navicat for MySql 输入中文字符,提示1366错误的解决方法

Mysql - php上传数据 - 错误 - 1366 Incorrect String value