Python爬虫知识点——代理

Posted 南邮果粒橙

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫知识点——代理相关的知识,希望对你有一定的参考价值。

代理

基本原理

代理实际上指代理服务器。功能是代理 网络用户去取得网络信息,是网络信息的中转站。

正常的请求过程为:发送请求给服务器===>web服务器吧响应传回

设置代理服务器后:==>向代理服务器发送请求==>请求发送给代理服务器==>再由代理服务器发送web服务器==>由代理服务器把web服务器返回的响应转发给本机

作用

突破自身IP访问限制,访问些平时不能访问的站点。

访问一些单位或团体内部资源:比如使用教育网内地址段免费代理服务器,就可以用于对教育网开放的各类FTP下载上传,以及各类资料查询共享等服务。

提高访问速度:通常代理服务器都设置-一个较大的硬盘缓冲区,当有外界的信息通过时,同时也将其保存到缓冲区中,当其他用户再访问相同的信息时,则直接由缓冲区中取出信息传给用户,以提高访问速度。

隐藏真实IP:上网者也可以通过这种方法隐藏自己的IP,免受攻击。对于爬虫来说,我们用代理就是为了隐藏自身IP,防止自身的IP被封锁。

代理分类

根据代理的协议,代理可以分为如下类别。
  • FTP代理服务器:  主要用于访问FTP服务器,一般有上传、 下载以及缓存功能,端口一般为   21、2121等。

  • HTTP代理服务器:主要用于访问网页,一般有内容过滤和缓存功能,端口一般为808080、3128 等。
  • SSL/TLS代理:主要用于访同加密网站,般有 SsL 或TLS 加密功能(最高支持128位加密强度),端口一般为443。
  • RTSP代理:主要用于访问Real流媒体服务器,一般有缓存功能, 端口般为554。
  • Telnet代理: 主要用于tenei远程控制黑客人侵计算机时常用于隐藏身份),端口一般为23
  • POP3/SMTP代理:主要用于POP3/SMTP方式收发邮件,一般有缓存功能,端口-般为1025.口SOCKS代理:只是单纯传递数据包,不关心具体协议和用法,所以速度快很多,一般 有   存功能,端口一般为1080。SOCKS代理协议又分为SOCKS4和SOCKS5,前者只支持TCP而后者支持TCP和UDP,还支持各种身份验证机制、服务器端域名解析等。简单来说SOCKS4能做到的SOCKS5都可以做到,但SOCKSS能做到的SOCKS4不一定能做到。

2.根据匿名程度区分   根据代理的匿名程度,代理可以分为如下类别。
  • 高度匿名代理:会将数据包原封不动地转发,在服务端看来就好像真的是一 个普通客户端访问,而记录的IP是代理服务器的IP。
  • 普通匿名代理:会在数据包上做一些改动, 服务端上有可能发现这是个代理服务器,也有一定几率追查到客户端的真实IP。代理服务器通常会加人的HTTP头有HTTP_VIA和HTTP_X_FORWARDED_FOR.
  • 透明代理:不但改动了数据包,还会告诉服务器客户端的真实IP。这种代理除了能用缓存技术调高浏览速度,能用内容过滤提高安全性之外,并无其他显著作用,最常见的例子是内网中的硬件防火墙。
  • 间谍代理:指组织或个人创建的用于记录用户传输的数据, 然后进行研究、监控等目的代理服务器。

    常用代理设置

  • 网上的免费代理
  • 付费的代理服务
  • ADSL拨号

文章摘自崔庆才的《Python3网络爬虫开发实战》


以上是关于Python爬虫知识点——代理的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫 - requests(高级)

python scrapy 代理中间件,爬虫必掌握的内容之一

Python 爬虫知识点

Python爬虫代理池

python爬虫——scrapy的使用

爬虫学习 06.Python网络爬虫之requests模块