Python+selenium+firefox模拟登录微博并爬取数据(1

Posted 梦子Python7762

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python+selenium+firefox模拟登录微博并爬取数据(1相关的知识,希望对你有一定的参考价值。

1:环境python3.5,最新 firefox,selenium-3.14.0.

本来准备用无界面的,但是感觉效果不好看出来所以先用有界面的浏览器来做。分几次来慢慢写。这节先配置好环境。

2:安装:

Python Selenium库的版本要对应浏览器的版本,不然可能会出现打不开浏览器,或者打开浏览器,打不开页面的情况。这个非常重要。

开始时:

我直接 pip install -i https://pypi.douba.com/simple selenium 。下载的版本不对。(太低了。)

最新版的应该是如下图的:

Python+selenium+firefox模拟登录微博并爬取数据(1)

切记一定要安装最新的这个版本 :

Pip install selenium==3.14.0。

接下来 就是下载驱动了:

Github上面下载,地址为:

https://github.com/mozilla/geckodriver/releases

Python+selenium+firefox模拟登录微博并爬取数据(1)

最新的是这个。他要求的selenium版本要在3.11 之上。所以这里得尊重一下。开始我没注意到python 安装的selenium的版本。导致。访问页面一直打不开。

下载后,解压保存到一个目录中。我放在了python的安装目录下的Script目录下。因为这个目录我配到了环境变量中。

Python+selenium+firefox模拟登录微博并爬取数据(1)

最后去火狐官网下载一个最新的浏览器。(安装过程中有选项,最好把自动升级最好关了)。

Python+selenium+firefox模拟登录微博并爬取数据(1)

这些装完了,就可以使用了。:

Python+selenium+firefox模拟登录微博并爬取数据(1)

这里页面加载需要一些时间,为了保证能正常的加载上。我们然他睡十秒再执行。

最后完成:(先不要在意这些细节)

Python+selenium+firefox模拟登录微博并爬取数据(1)

下节做模拟登陆并跳转到榜单界面。
image

你要不要也来试试,用 Python 测测你和女神的颜值差距(仅供娱乐,请勿联想) 如果真的遇到好的同事,那算你走运,加油,抓紧学到手。
python、爬虫技巧资源分享Q群:766610200
包含python, pythonweb、爬虫、数据分析等Python技巧,以及人工智能、大数据、数据挖掘、自动化办公等的学习方法。
打造从零基础到项目开发上手实战全方位解析!
点击:加入

以上是关于Python+selenium+firefox模拟登录微博并爬取数据(1的主要内容,如果未能解决你的问题,请参考以下文章

python-web-selenium模拟控制浏览器

python selenium模拟滑动操作

selenium+python - webdriver​模拟键盘ENTER没有效果

通过Python3+selenium自动测试网页

python selenium 模拟鼠标点击无效是啥原因

Python+Selenium 自动化实现实例-打开浏览器模拟进行搜索数据并验证