Python爬虫实战，Scrapy实战，爬取并简单分析知网中国专利数据

Posted 2021-06-17 楚_阳

前言

今天我们就用scrapy爬一波知网的中国专利数据并做简单的数据可视化分析呗。让我们愉快地开始吧~

PS：本项目仅供学习交流，实践本项目时烦请设置合理的下载延迟与爬取的专利数据量，避免给知网服务器带来不必要的压力。

开发工具

Python版本：3.6.4

相关模块：

scrapy模块；

fake_useragent模块；

pyecharts模块；

wordcloud模块；

jieba模块；

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

数据爬取

我们需要爬取的数据例如下图所示：

即包括以下这些内容：

爬取思路：

我们可以很容易地发现每个专利的详情页url都是类似这样的：

http://dbpub.cnki.net/grid2008/dbpub/Detail.aspx?DBName=SCPD年份&FileName=专利公开号&QueryID=4&CurRec=1

因此，只要改变专利公开号即可获得对应专利的详情页url(经测试，即使年份对不上也没关系)，从而获得对应专利的信息，具体而言代码实现如下：

All done~完整源代码详见个人简介相关文件。

PS：代码运行方式为运行main.py文件。

数据可视化

为避免给知网服务器带来不必要的压力，这里我们只爬了2014年的一部分知网中国专利数据(就跑了一个多小时吧)，对这些数据进行可视化分析的结果如下。

我们先来看看申请专利的省份分布呗：

然后再来统计一下专利代理机构？

最后再来看看所有专利摘要做成的词云呗：

还有所有专利标题做成的词云呗：

文章到这里就结束了，感谢你的观看，关注我每天分享Python系列爬虫，下篇文章分享Python爬虫知乎表情包。

为了感谢读者们，我想把我最近收藏的一些编程干货分享给大家，回馈每一个读者，希望能帮到你们。

干货主要有：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

All done~完整源代码+干货详见个人简介或者私信获取相关文件。。