Python爬虫编程思想(38):项目实战:抓取糗事百科网的段子

Posted 蒙娜丽宁

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫编程思想(38):项目实战:抓取糗事百科网的段子相关的知识,希望对你有一定的参考价值。

        本节的项目会使用requests库抓取糗事百科网的段子,读者可以用下面的URL访问访问糗事百科段子页面。

https://www.qiushibaike.com/text

页面如图1所示。

 

        在页面的下方是带有数字链接的导航条,可以切换到不同的页面,每一页会显示一定数量的段子。所以要实现抓取多页段子的爬虫,不仅要分析当前页面的html代码,还要可以抓取多页的HTML代码。

        现在切换到其他页面,看一下URL的规律。第1、2、3也对应的UR

以上是关于Python爬虫编程思想(38):项目实战:抓取糗事百科网的段子的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫编程思想(92):项目实战:抓取京东图书评价

Python爬虫编程思想(126):项目实战--实时抓取“得到”App在线课程

Python爬虫编程思想(126):项目实战--实时抓取“得到”App在线课程

Python爬虫编程思想(61): 项目实战:抓取租房信息

Python爬虫编程思想(69): 项目实战--抓取当当图书排行榜

Python爬虫编程思想(69): 项目实战--抓取当当图书排行榜