scrapy爬取天气数据
Posted 留校察看
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了scrapy爬取天气数据相关的知识，希望对你有一定的参考价值。
看了scrapy，打算构建自己的天气数据，目标源：就是你了，中国天气网！
仔细点两下这个网站，发现可以由各个省、直辖市到省市所属的地级市，再到各县，页面在这：
点开就可以看到中国所有的省、直辖市，但港澳台的天气数据没有，所以就把这三个地区过滤掉。
接下来，就是一步步的解析，基本上没什么好讲的，最后把结果存入mongodb。项目地址：
以上是关于scrapy爬取天气数据的主要内容，如果未能解决你的问题，请参考以下文章
0 scrapy架构介绍1 scrapy解析数据2 settings相关配置，提高爬取效率3 持久化方案 4 全站爬取cnblogs文章