python爬虫知识总结

Posted cthon

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬虫知识总结相关的知识,希望对你有一定的参考价值。

环境要求:

  1、编程语言版本python3;

  2、系统:win10;

 

一、安装python3

不是本文重点,提供几个思路:

  1、官网:https://www.python.org/

     IDE:pycharm

  2、anaconda安装后自带python

  等等。

二、配置环境变量

  需要配置的路径有两个

  1、python.exe所在路径(python所在)

  2、Script文件夹下的路径(pip所在)

二、安装requests包。

  管理员运行cmd。

  输入命令:pip3 install requests

  测试:在cmd下运行一下代码实例测试: 

import requests

requests.get(http://www.baidu.com)

  结果如图:  

技术分享图片

 

以上是关于python爬虫知识总结的主要内容,如果未能解决你的问题,请参考以下文章

python爬虫知识总结

scrapy主动退出爬虫的代码片段(python3)

python爬虫知识点总结Selenium库详解

python爬虫总结

Python爬虫--高性能的异步爬虫

PHP爬虫技术知识点总结