Python爬虫实战,爬取A股公司数据,简单分析A股公司并生成词云
Posted 楚_阳
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫实战,爬取A股公司数据,简单分析A股公司并生成词云相关的知识,希望对你有一定的参考价值。
前言
利用Python爬取并简单分析A股公司数据。让我们愉块地开始吧~
开发工具
Python版本:3.6.4
相关模块:
requests模块;
bs4模块;
lxml模块;
pyecharts模块;
wordcloud模块;
jieba模块;
以及一些Python自带的模块。
环境搭建
安装Python并添加到环境变量,pip安装需要的相关模块即可。
数据爬取
目标网站:
http://www.askci.com/reports/
需要爬取的数据如下图所示:
直接借助BeautifulSoup提取的这些数据,简单一些,源代码如下:
完整源代码详见个人主页或私信获取相关文件中的Spider.py文件。
运行效果截图如下:
All done~
数据分析
在数据爬取部分,我们共获得了3573条A股公司数据,下面我们就来简单地可视化分析一波吧~
首先让我们来看看A股公司的区域分布吧:
其中A股公司超过三百家的省份有:
-
广东
-
北京
-
浙江
-
江苏
接下来再来看看A股公司的收入情况吧:
其中主营业业务收入TOP10为:
再来看看A股公司的员工数量呗:
再来看看A股公司的上市时间分布呗:
其中,2013年上市的公司数量最少(2个);2017年上市的公司数量最多(438个)。
OK,要不我们再来看看A股公司所在的行业类型占比TOP10吧:
就很真实。
最后,我们把A股公司主营业务画成词云看看呗:
文章到这里就结束了,关注我每天分享Python数据爬虫案例,下篇文章分享是Python简单分析高考数据
为了感谢读者们,我想把我最近收藏的一些编程干货分享给大家,回馈每一个读者,希望能帮到你们。
干货主要有:
① 2000多本Python电子书(主流和经典的书籍应该都有了)
② Python标准库资料(最全中文版)
③ 项目源码(四五十个有趣且经典的练手项目及源码)
④ Python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习)
⑤ Python学习路线图(告别不入流的学习)
⑥ Python为期两天的爬虫训练营直播权限
All done~完整源代码+干货详见个人简介或者私信获取相关文件。。
以上是关于Python爬虫实战,爬取A股公司数据,简单分析A股公司并生成词云的主要内容,如果未能解决你的问题,请参考以下文章
利用Python爬虫爬取淘宝商品做数据挖掘分析实战篇,超详细教程
Python爬虫实战,Scrapy实战,爬取并简单分析知网中国专利数据
Python爬虫实战,Scrapy实战,爬取并简单分析安居客租房信息
Python爬虫实战,openpyxl模块学习,爬取房价信息并简单的数据分析