Python爬虫实战(3)selenium完成瀑布流数据爬取

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫实战(3)selenium完成瀑布流数据爬取相关的知识,希望对你有一定的参考价值。

参考技术A

爬取时间:2021/01/27
系统环境:Windows 10
所用工具:Jupyter Notebook\\Python 3.0
涉及的库:selenium\\time\\pandas\\matplotlib\\jieba\\stylecloud

蛋肥想法: 借助selenium,实现对“查看更多”的自动点击,目标是获取2020年的文章相关数据。

蛋肥想法: 36氪的数据很满足强迫症,没有空格换行,只需筛选出2020年的数据保存。

蛋肥想法: 此次重点是学习selenium,所以只简单做一下数据可视化。

以上是关于Python爬虫实战(3)selenium完成瀑布流数据爬取的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫实战:模拟登录淘宝网站

[Python3网络爬虫开发实战] 1.2.4-GeckoDriver的安装

[Python3网络爬虫开发实战] 1.7.3-Appium的安装

[Python3网络爬虫开发实战] 1.2.3-ChromeDriver的安装

[Python3网络爬虫开发实战] 1.2.2-Selenium的安装

python爬虫积累--------selenium+python+PhantomJS的使用