Python爬虫实战，Scrapy实战，中国地震台网数据可视化

Posted 2021-06-21 楚_阳

前言

总感觉最近好多地震的新闻，就想着爬一波地震相关的数据来看看。

开发工具

Python 版本：3.6.4

相关模块：

scrapy模块；

jieba模块；

pyecharts模块；

folium模块；

wordcloud模块；

fake_useragent模块；

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

数据爬取

首先新建一个project：

然后打开中国地震台网：

http://news.ceic.ac.cn/index.html

发现使用网站自带的查询功能就可以查询到指定时间和经纬度范围的地震数据：

OK，那就开始写代码吧~

先在items.py文件内定义我们要爬取的数据：

class EarthquakeItem(scrapy.Item):

在spiders文件夹下新建main.py函数写我们爬虫主程序，这里我们爬取的是从2000年1月1日开始至今网站上所有有记录的地震数据(事实上，跑完代码发现网站里只有从2012年开始的地震数据T_T)：

\'\'\'main\'\'\'

OK，大功告成了，在第一个earthquake文件夹下运行如下命令就行了：

scrapy crawl earthquake -o eqdata.json -t json

爬取的数据将保存在eqdata.json文件内。

文章到这里就结束了，感谢你的观看，关注我每天分享Python爬虫实战系列，下篇文章分享爬虫天气数据并分析。

为了感谢读者们，我想把我最近收藏的一些编程干货分享给大家，回馈每一个读者，希望能帮到你们。

干货主要有：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

All done~完整源代码+干货详见个人简介或者私信获取相关文件。。