写个 Python 爬虫好累

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了写个 Python 爬虫好累相关的知识,希望对你有一定的参考价值。

这里将会记录我在学习写【Python爬虫】脚本过程中遇到的各种各样的“问题”,希望对后来者有所帮助。

1、SGMLParser

  SGMLParser 模块用于解析网页标签,使用期间遇到如下Error:

AttributeError: htmlPars instance has no attribute rawdata

  出现的原因是【重写 Reset 函数时未调用父类 Reset】,解决方法很简单,调用一下就完事了

class HtmlPars(SGMLParser):
    def reset(self):
        SGMLParser.reset(self)
     . . .

 

以上是关于写个 Python 爬虫好累的主要内容,如果未能解决你的问题,请参考以下文章

scrapy按顺序启动多个爬虫代码片段(python3)

scrapy主动退出爬虫的代码片段(python3)

python写个图片爬虫

如何自学Python爬虫技术

如何自学Python爬虫技术

Python爬虫初识