Shell 命令 curl 和 wget 使用代理采集网页的总结大全

Posted ithomer

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Shell 命令 curl 和 wget 使用代理采集网页的总结大全相关的知识,希望对你有一定的参考价值。

Linux Shell 提供两个非常实用的命令来爬取网页,它们分别是 curl 和 wget

米扑代理,作为大数据分析研究的基础服务,对其做了深入的研究和总结。

 

curl 和 wget 使用代理

curl 支持 http、https、socks4、socks5

wget 支持 http、https

 

Shell curl wget 示例

#!/bin/bash
#
# curl 支持 http、https、socks4、socks5
# wget 支持 http、https
#
# 米扑代理示例:
# https://proxy.mimvp.com/demo2.php
#
# 米扑代理购买:
# https://proxy.mimvp.com
#
# mimvp.com
# 2015-11-09

#【米扑代理】:本示例,在CentOS、Ubuntu、MacOS等服务器上,均测试通过
#
# http代理格式 		http_proxy=http://IP:Port
# https代理格式 		https_proxy=http://IP:Port


## proxy no auth
# curl和wget,爬取http网页
{‘http‘: ‘http://120.77.176.179:8888‘}
curl -m 30 --retry 3 -x http://120.77.176.179:8888 http://proxy.mimvp.com/test_proxy2.php        			# http_proxy
wget -T 30 --tries 3 -e "http_proxy=http://120.77.176.179:8888" http://proxy.mimvp.com/test_proxy2.php  	# http_proxy

# curl和wget,爬取https网页(注意:添加参数,不经过SSL安全验证)
{‘https‘: ‘http://46.105.214.133:3128‘}
curl -m 30 --retry 3 -x http://46.105.214.133:3128 -k https://proxy.mimvp.com/test_proxy2.php        							# https_proxy
wget -T 30 --tries 3 -e "https_proxy=http://46.105.214.133:3128" --no-check-certificate https://proxy.mimvp.com/test_proxy2.php	# https_proxy

    
# curl 支持socks
# 其中,socks4和socks5两种协议的代理,都可以同时爬取http和https网页
{‘socks4‘: ‘101.255.17.145:1080‘}
curl -m 30 --retry 3 --socks4 101.255.17.145:1080 http://proxy.mimvp.com/test_proxy2.php
curl -m 30 --retry 3 --socks4 101.255.17.145:1080 https://proxy.mimvp.com/test_proxy2.php
    
{‘socks5‘: ‘82.164.233.227:45454‘}
curl -m 30 --retry 3 --socks5 82.164.233.227:45454 http://proxy.mimvp.com/test_proxy2.php
curl -m 30 --retry 3 --socks5 82.164.233.227:45454 https://proxy.mimvp.com/test_proxy2.php

# wget 不支持socks



## proxy auth(代理需要用户名和密码验证)
# curl和wget,爬取http网页
curl -m 30 --retry 3 -x http://username:[email protected]:5718 http://proxy.mimvp.com/test_proxy2.php				# http
curl -m 30 --retry 3 -x http://username:[email protected]:5718 https://proxy.mimvp.com/test_proxy2.php				# https
curl -m 30 --retry 3 -U username:password -x http://210.159.166.225:5718 http://proxy.mimvp.com/test_proxy2.php				# http
curl -m 30 --retry 3 -U username:password -x http://210.159.166.225:5718 https://proxy.mimvp.com/test_proxy2.php			# https
curl -m 30 --retry 3 --proxy-user username:password -x http://210.159.166.225:5718 http://proxy.mimvp.com/test_proxy2.php	# http
curl -m 30 --retry 3 --proxy-user username:password -x http://210.159.166.225:5718 https://proxy.mimvp.com/test_proxy2.php	# https

wget -T 30 --tries 3 -e "http_proxy=http://username:[email protected]:5718" http://proxy.mimvp.com/test_proxy2.php
wget -T 30 --tries 3 -e "https_proxy=http://username:[email protected]:5718" https://proxy.mimvp.com/test_proxy2.php
wget -T 30 --tries 3 --proxy-user=username --proxy-password=password -e "http_proxy=http://2.19.16.5:5718" http://proxy.mimvp.com/test_proxy2.php
wget -T 30 --tries 3 --proxy-user=username --proxy-password=password -e "https_proxy=http://2.19.16.5:5718" https://proxy.mimvp.com/test_proxy2.php


# curl 支持socks
curl -m 30 --retry 3 -U username:password --socks5 21.59.126.22:57216 http://proxy.mimvp.com/test_proxy2.php				# http
curl -m 30 --retry 3 -U username:password --socks5 21.59.126.22:57216 https://proxy.mimvp.com/test_proxy2.php				# https
curl -m 30 --retry 3 --proxy-user username:password --socks5 21.59.126.22:57216 http://proxy.mimvp.com/test_proxy2.php		# http
curl -m 30 --retry 3 --proxy-user username:password --socks5 21.59.126.22:57216 https://proxy.mimvp.com/test_proxy2.php		# https

# wget 不支持socks

  

 

 

wget 配置文件设置代理

vim ~/.wgetrc

http_proxy=http://120.77.176.179:8888:8080
https_proxy=http://12.7.17.17:8888:8080
use_proxy = on
wait = 30

# 配置文件设置后,立即生效,直接执行wget爬取命令即可
wget -T 30 --tries 3 http://proxy.mimvp.com/test_proxy2.php
wget -T 30 --tries 3 https://proxy.mimvp.com/test_proxy2.php

  

 

 

Shell 设置临时局部代理

# proxy no auth
export http_proxy=http://120.77.176.179:8888:8080
export https_proxy=http://12.7.17.17:8888:8080

# proxy auth(代理需要用户名和密码验证)
export http_proxy=http://username:[email protected]:8888:8080
export https_proxy=http://username:[email protected]:8888:8080

# 直接爬取网页
curl -m 30 --retry 3 http://proxy.mimvp.com/test_proxy2.php			# http_proxy
curl -m 30 --retry 3 https://proxy.mimvp.com/test_proxy2.php		# https_proxy
wget -T 30 --tries 3 http://proxy.mimvp.com/test_proxy2.php			# http_proxy
wget -T 30 --tries 3 https://proxy.mimvp.com/test_proxy2.php		# https_proxy

# 取消设置
unset http_proxy
unset https_proxy

  

 

 

Shell 设置系统全局代理

# 修改 /etc/profile,保存并重启服务器
sudo vim /etc/profile		# 所有人有效
或
sudo vim ~/.bashrc			# 所有人有效
或
vim ~/.bash_profile			# 个人有效
	
	
## 在文件末尾,添加如下内容
# proxy no auth
export http_proxy=http://120.77.176.179:8888:8080
export https_proxy=http://12.7.17.17:8888:8080

# proxy auth(代理需要用户名和密码验证)
export http_proxy=http://username:[email protected]:8888:8080
export https_proxy=http://username:[email protected]:8888:8080


## 执行source命令,使配置文件生效(临时生效)
source /etc/profile
或
source ~/.bashrc
或
source ~/.bash_profile


## 若需要机器永久生效,则需要重启服务器
sudo reboot

  

    

 

米扑代理示例

米扑代理,专注为企业提供国内大数据研究服务,技术团队来自百度、小米、阿里、创新工场等,为国内企业提供大数据采集、数据建模分析、结果导出展示等服务。

米扑代理示例,包含Python、Java、PHP、C#、Go、Perl、Ruby、Shell、NodeJS、PhantomJS、Groovy、Delphi、易语言等十多种编程语言或脚本,通过大量的可运行实例,详细讲解了使用代理IP的正确方法,方便网页爬取、数据采集、自动化测试等领域。

技术分享图片

 

米扑代理示例官网 

https://proxy.mimvp.com/demo2.php

 

以上是关于Shell 命令 curl 和 wget 使用代理采集网页的总结大全的主要内容,如果未能解决你的问题,请参考以下文章

wget和curl中使用代理

wget和curl中使用代理

shell curl 参数

shell脚本实现执行http的一个post或者get方法是怎么实现的吖?

Curl命令Elinks命令lynx命令Wget命令lftp命令

命令行代理神器 proxychains