Python操作MySQL 1366错误解决方案
Posted 浅然言而信
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python操作MySQL 1366错误解决方案相关的知识,希望对你有一定的参考价值。
Python操作mysql 1366错误解决方案
说在前面
笔者最近在写Python爬虫,在一次将数据存储到MySQL中的过程中突然报1366错误(error:1366, “Incorrect string value: )。通过查阅相关文档了解1366错误多数是字符编码前后不一致所造成,比如表的编码和插入的编码不一致。读者可以通过以下命令查阅相关字符集
mysql的字符集:show variables where Variable_name like '%char%';
数据库字符集:show create database databaseName;(databaseName为数据库名)
数据表字符集:show create table tableName;(tableName为表名)
场景一
表的编码与插入数据编码不一致(以utf8为例)
解决方案
1、设置表的字段编码
alter table ygspider change title title varchar(20) character set utf8;(title是字段名称)
2、设置python代码中的mysql配置charset为utf8
mysql_conf =
'host': 'localhost',
'user': 'root',
'password': '1111',
'port': 3306,
'database': 'test',
'charset': 'utf8'
场景二
正当笔者以为问题解决的时候,突然日志中又跳出一个插入失败,如下!
因为编码问题已经解决,所以排出了编码不一致问题,正当此时笔者突然发现,该插入的数据是title失败,而图中title的数据竟然有一个表情包图片,查阅相关资料后发现utf8最多处理3个字节,而这种表情图或者其他特殊字符是4字节,所以也导致了插入失败1366错误!
解决方案
使用utf8mb4!
1、设置表的字段编码
alter table ygspider change title title varchar(20) character set utf8mb4;(title是字段名称)
2、设置python代码中的mysql配置charset为utf8mb4
mysql_conf =
'host': 'localhost',
'user': 'root',
'password': '1111',
'port': 3306,
'database': 'test',
'charset': 'utf8mb4'
MySQL在5.5.3版本之后增加了这个utf8mb4的编码,低版本的MySQL支持的utf8编码,最大字符长度为3字节,如果遇到 4 字节的字符就会出现错误了。要在 MySQL 中保存 4 字节长度的 utf8 字符,就可以使用 utf8mb4 字符集了。
好了,以上就是笔者遇到的1366错误场景以及解决方案,如有错误,还望指正!
图解Python数据结构与算法-实战篇
迈向数据科学家:带你玩转Python数据分析
以上是关于Python操作MySQL 1366错误解决方案的主要内容,如果未能解决你的问题,请参考以下文章
python报OperationalError: (1366, "Incorrect string value..."的问题解决
sqlalchemy 使用pymysql连接mysql 1366错误