小白写爬虫
Posted huhume
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了小白写爬虫相关的知识，希望对你有一定的参考价值。
写的第一个爬虫，基本思路：
定义 pageMax 方法 获取整体数据信息，最大页数
定义 request的方法获取单页数据
定义parse方法分析单页数据，提取items，存储在生成器yield中
定义search方法循环获取数据，保存在本地
另外，通过history文件记录抓取历史
saveImg对文件是否已存在做判断
以上是关于小白写爬虫的主要内容，如果未能解决你的问题，请参考以下文章