什么是HTTP代理

Posted 2023-05-04

http代理，指的就是将采用http访问的数据（http数据流），用第三者中转（比如网站-代理-你的电脑）的行为；或者是具有转发http消息功能的服务器。
现实中http一般被用来做访问代理，比如某网站你不能直接访问（比如有ip限制，或者你的网络有端口限制等等），就可以采用代理的方式访问。最简单的就是设置一个http代理，它将你的访问请求打包，对外以它的名义发出去，或者是接受消息，再转给你。 参考技术A 我们平时
浏览网页
就算是http代理
通过http协议
上网的就是
也就是超文本传输协议本回答被提问者采纳 参考技术B

HTTP代理指的是使用代理服务器使网络用户访问外部网站。代理服务器是介于浏览器和Web服务器之间复的一台服务器，是建立在超文本传输协议上的网络浏览方式，作用是可以防伪部分对协议进行了限制的制局域网。

以Ipidea的国内IP和全球IP举例：

关于HTTP代理服务器的主要功能包括五个方面：

突破自身IP访问限制，访问国外站点；

访问一些单位或团体百内部资源，如某大学的内部网，使用教育网内地址段免费代理服务器可以用于对教育 网开放的各类度下载上传以及各类资料查询共享等服务；

突破中国电信的IP封锁：中国电信有很多网站限制了用户访问问，使用HTTP代理可以突破访问限制；

提高访问速度：通常代理服务器都设置一个较大的硬盘缓冲区，当有外界的信息通过时将信息保答存到缓冲区中，当其他用户再访问相同的信息时， 可直接由缓冲区中取出信息传递给用户，提高访问速度；

隐藏真实IP：HTTP代理可以隐藏IP地址，避免受到网络攻击。

爬虫需要什么HTTP代理

先说网络爬虫为何要换IP，由于很多网址都会对网络爬虫行为采取识别，如果认定你的行为是网络爬虫，便会锁死你的IP，造成网络爬虫抓取不了信息，防止反爬虫的办法有很多，比如说降低采集速度，或是换IP来躲避网址的检测，故而顺利进行采集工作。但是首选便是采用高效优质代理IP。

再说什么是HTTP代理：超文本传输协议（HTTP)是互联网上应用最为广泛的一种网络协议。所有的WWW文件都必须遵守这个标准。HTTP代理代理客户机的http浏览，主要代理浏览器浏览网页，它的端口一般为80、8080、3128等。
HTTP代理IP一共可以分成4种类型：透明代理IP、匿名代理IP、高匿名代理IP、混淆代
理IP。从最根本的安全程度来说，它们的顺序排列是高匿>混淆>匿名>透明。

因此建议网络爬虫工作者采用高匿名HTTP代理IP，但并并非意味着着，采用了HTTP代理IP就可以无视反爬虫策略了。比如说你采用了透明代理或普通匿名代理，目标服务器一下便会察觉你是"一只披着羊皮的狼"，被封停那就是毫无疑问的;又比如说采用了很多人用过的IP，单IP浏览次数超出了目标服务器的阈值，依旧会触发反爬虫机制，造成IP被封。
因此大家还要留意浏览频率不可以过快，不可以有规律性的浏览网址等，有的网站反爬虫策略很严格，还要留意cookie，UA等问题。唯有做好反爬虫策略研究跟HTTP代理IP搭配使用，才能顺利进行爬虫。