【scrapy爬虫实战】Discuz 论坛版块全部帖子信息爬取

Posted 2023-05-06

参考技术A Discuz 是一款由php编写的开源论坛

Discuz 官方论坛: https://www.discuz.net/forum.php

要爬取的页面地址:

Discuz BUG与问题交流板块; https://www.discuz.net/forum-70-1.html

应该打开创建项目命令生成的那个目录 如果选择再下层目录 就不能导模块了

遍历帖子列表

时间信息同样有两种状态 第二种带有 "发表于 " 字样

存储

列表遍历完成

获取下一页的url 定义一个类的变量来记录页数

结果存在data.json中

Python网络爬虫实战-Scrapy视频教程 Python系统化项目实战课程 Scrapy技术课程

课程目录
01.scrapy是什么.mp4
Python实战-02.初步使用scrapy.mp4
Python实战-03.scrapy的基本使用步骤.mp4
Python实战-04.基本概念介绍1-scrapy命令行工具.mp4
Python实战-05.本概念介绍2-scrapy的重要组件.mp4
Python实战-06.基本概念介绍3-scrapy中的重要对象.mp4
Python实战-07.scrapy内置服务介绍.mp4
Python实战-08.抓取进阶-对“西刺”网站的抓取.mp4
Python实战-09.“西刺”网站爬虫的核心代码解读.mp4
Python实战-10.Scrapy框架解读—深入理解爬虫原理.mp4
Python实战-11.实用技巧1—多级页面的抓取技巧.mp4
Python实战-12.实用技巧2—图片的抓取.mp4
Python实战-13.抓取过程中的常见问题1—代理ip的使用.mp4
Python实战-14.抓取过程中的常见问题2—cookie的处理.mp4
Python实战-15.抓取过程中的常见问题3—js的处理技巧.mp4
Python实战-16.scrapy的部署工具介绍-scrapyd.mp4
Python实战-17.部署scrapy到scrapyd.mp4
Python实战-18.课程总结.mp4
Python实战-Scrapy课件源码.zip
Python实战-<python爬虫参考资料>
Python实战- Python+爬虫学习系列教程+-+v1.0.pdf
Python实战- Python网络数据采集.pdf
Python实战- 网络爬虫-Python和数据分析.pdf

下载地址：百度网盘下载