Python爬虫编程思想(38):项目实战:抓取糗事百科网的段子
Posted 蒙娜丽宁
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫编程思想(38):项目实战:抓取糗事百科网的段子相关的知识,希望对你有一定的参考价值。
本节的项目会使用requests库抓取糗事百科网的段子,读者可以用下面的URL访问访问糗事百科段子页面。
https://www.qiushibaike.com/text
页面如图1所示。
在页面的下方是带有数字链接的导航条,可以切换到不同的页面,每一页会显示一定数量的段子。所以要实现抓取多页段子的爬虫,不仅要分析当前页面的html代码,还要可以抓取多页的HTML代码。
现在切换到其他页面,看一下URL的规律。第1、2、3也对应的UR
以上是关于Python爬虫编程思想(38):项目实战:抓取糗事百科网的段子的主要内容,如果未能解决你的问题,请参考以下文章
Python爬虫编程思想(92):项目实战:抓取京东图书评价
Python爬虫编程思想(126):项目实战--实时抓取“得到”App在线课程
Python爬虫编程思想(126):项目实战--实时抓取“得到”App在线课程