Python爬虫系列:从零开始,安装环境

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫系列:从零开始,安装环境相关的知识,希望对你有一定的参考价值。

在上一个系列,我们学会使用rabbitmq。本来接着是把公司的celery分享出来,但是定睛一看,celery4.0已经不再支持Windows。公司也逐步放弃了服役多年的celery项目。恰好,公司找人进来新人也要给他们培训爬虫。接下来,我们就从零开始,学习爬虫,目标是能掌握到执行js,反爬虫这个水平,做一般的商业爬虫没问题。牛小妹,接下来要仔细看了哦。

软件环境:

python 3.6.3:不必说

beautifulsoup4:pip install beautifulsoup4 用来解析HTML

requests2.18:pip install requests 用来请求网页

网上,还大量有urllib,urllib2等玩意,我一一尝试。最后信了这个:

技术分享

事实却是如此。

接下来,我们将用request获取网页。。。。。。

以上是关于Python爬虫系列:从零开始,安装环境的主要内容,如果未能解决你的问题,请参考以下文章

python从零开始 -- 第1篇之环境搭建

小白从零开始学编程--python安装与环境搭建

《从零开始,学会Python爬虫不再难!!!》系列导航(持续更新中)

《从零开始,学会Python爬虫不再难!!!》系列导航(持续更新中)

1,Python爬虫环境的安装

从零开始写Python爬虫 --- 2.1 Scrapy 爬虫框架的安装与基本介绍