Python爬虫应用实战-爬取股票数据做分析

Posted 2021-12-28 文宇肃然

01

本文涉及到的知识点

1、python字符串：分割、拼接、中文字符判断；

2、python正则表达式；

3、爬虫requests请求库、xpath获取数据、代理服务器；

4、selenium用法：无头浏览器、元素定位、显式等待、数据获取；

5、python操作mongodb

02

网站分析

代码和数据我们到后面再贴上，先来分析下目标网站，这样有利于我们爬取过程更加清晰

目标网站：开放式基金排行 _ 天天基金网

我们爬取的就是【开放式基金】里的数据：

我们随便点开一个基金，就可以进入其详情页面，不知道你发现没有，该基金详情页面的url就是首页该基金的基金代码和 http://fund.eastmoney.com/ 的一个组合

比如：

040011 --- 华安核心优选混合的url：华安核心优选混合(040011)基金净值_估值_行情走势-天天基金网

005660 --- 嘉实资源精选股票A的url：嘉实资源精选股票A(005660)基金净值_估值_行情走势-天天基金网

ok，好，我们在基金详情页面往下拉就可以找到该基金的股票持仓信息，也就是该基金买了哪些股票：</