爬虫写入mysql表里的数据都是这种Unicode编码,怎么转为可读文字

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫写入mysql表里的数据都是这种Unicode编码,怎么转为可读文字相关的知识,希望对你有一定的参考价值。

unicode emoji是4个字节的,存不进mysql里,找到一个转义的库code.iamcal.com/php/emoji/,但是转为Unicode之后,还是4个字节,一样存不进,应该说根本没转。转为其他格式的emoji又怕以后新增了表情不好做,你们在不改数据库编码的前提下,是怎么弄的?
方法1:base_encode64
这种方法是可以,但是旧数据没有经过encode操作,取数据的时候如果统一进行decode的话,旧数据会丢失的。
方法2:urlencode
这个似乎可以,对没有经过encode的数据进行decode也不会有影响,而且多次decode似乎也不会有影响。
参考技术A 这是unicode编码,将unicode转成utf-8就可以了,用你熟悉的语言转码就行,通常语言都会内置转码接口

用啥方法能快速向mysql表里批量添加数据?

我是这样的情况:表order 里边6个字段id name tel qq sex age,我从其他地方找了一些资料,只有姓名和电话,我需要把姓名和电话写入数据表即可,其他字段都不需要,我该用什么办法,因为数据比较多,用SQL在记事本里一条一条改会崩溃的,本人菜鸟一枚,求大神指教!

第一、看你的sql文本的结构分析才能知道最佳方案!
第二、表中的字段, 你可以给他设置一个默认值或者设置可以为空, 这样, 字段不写入值也可以
但如果,你的字段没有默认值, 又不允许为空, 那么, 就必须写入值, 否则插入数据会不成功!追问

其他字段可以为空,不需要内容,我主要想知道如何给name和tel添加内容,因为内容非常多,有500多条,用什么方法能快速导入啊?我开始是导出为*.sql,然后记事本打开一条一条添加后再导入回去,但是500多条啊,一条一条加太慢了,崩溃啊。

追答

自己写php代码进行导入, 不要借助其他工具!
在php中,读取这个sql文件, 进行相关的处理!
具体怎么做, 得看你自己, 我也不知道你的sql文件是怎么弄到 啊!
或者, 把sql文件用相关编辑器打开(比如DW),再根据你的要求, 用正则表达式去匹配替换, 从而批量修改sql文件,保存, 再拿去导入不就行了!
或者, 你想把数据全部导入进去, 然后你那个字段不需要, 那就用sql 语句的update命令将字段值清空即可, 比如: update 表名称 set 字段名称 = ''
办法是人想的嘛

如果实在不行, 把你的sql文件发来, 我看看能不能快速的帮你修改成你需要的要求!

参考技术A 将姓名和电话按照一定的格式编辑成一个文件--test.txt,然后用LOAD DATA INFILE test.txt INTO TABLE order (id,name) 。
这是大致的流程,具体你查找下LOAD DATA 的用法
参考技术B

    下个Navicat工具。

    http://blog.csdn.net/dreamback1987/article/details/8466088按这个地址操作

以上是关于爬虫写入mysql表里的数据都是这种Unicode编码,怎么转为可读文字的主要内容,如果未能解决你的问题,请参考以下文章

用啥方法能快速向mysql表里批量添加数据?

mysql数据库表值乱码问题:

如何解决MySQL字符集乱码问题

在 MySql 中读/写 unicode 数据

论Python爬虫与MySQL数据库交互的坑

python连接mysql并写入数据(简单爬虫)