scrapy爬取天气数据

Posted 留校察看

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy爬取天气数据相关的知识,希望对你有一定的参考价值。

看了scrapy,打算构建自己的天气数据,目标源:就是你了,中国天气网!

仔细点两下这个网站,发现可以由各个省、直辖市到省市所属的地级市,再到各县,页面在这:

点开就可以看到中国所有的省、直辖市,但港澳台的天气数据没有,所以就把这三个地区过滤掉。

 

接下来,就是一步步的解析,基本上没什么好讲的,最后把结果存入mongodb。项目地址:

WeatherCrawler

以上是关于scrapy爬取天气数据的主要内容,如果未能解决你的问题,请参考以下文章

怎么用python爬需要登录的网站数据

scrapy爬取前端渲染页面

scrapy爬取数据时,为啥总是302

scrapy 全站数据爬取

用scrapy爬取京东的数据

0 scrapy架构介绍1 scrapy解析数据2 settings相关配置,提高爬取效率3 持久化方案 4 全站爬取cnblogs文章