python爬虫中遇到的问题以及解决方法

Posted 》彦哲《

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬虫中遇到的问题以及解决方法相关的知识,希望对你有一定的参考价值。

1)运行后报错:“TypeError: cannot use a string pattern on a bytes-like”

原因:content用decode(‘utf-8’)进行解码,由bytes变成string。py3的urlopen返回的不是string是bytes。

解决方案:把’content’类型调整一下:content.decode(‘utf-8’)

 

 

2)运行后报错:“sqlite3.InterfaceError: Error binding parameter 1 - probably unsupported type”

原因:数据取出来是列表型的,和数据库设计的字段不匹配,需要将数据处理为字符串类型。

 

解决方案:遍历列表,将列表中的所有元素拼接为一个字符串

 

 

以上是关于python爬虫中遇到的问题以及解决方法的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫采集遇到403问题怎么办?

python爬虫抓取到的数据用网页打开时是乱码,怎么解决

Python scrapy 常见问题及解决 遇到的坑

爬虫遇到的坑🕳

Python爬虫模拟登录遇到的问题——CSRF防御

python爬虫中遇到的假死问题