一、Curl命令
语法
curl(选项)(参数)
选项
| -a/--append | 上传文件时，附加到目标文件 |
| -A/--user-agent <string> | 设置用户代理发送给服务器 |
| -anyauth | 可以使用“任何”身份验证方法 |
| -b/--cookie <name=string/file> | cookie字符串或文件读取位置 |
| --basic | 使用HTTP基本验证 |
| -B/--use-ascii | 使用ASCII /文本传输 |
| -c/--cookie-jar <file> | 操作结束后把cookie写入到这个文件中 |
| -C/--continue-at <offset> | 断点续转 |
| -d/--data <data> | HTTP POST方式传送数据 |
| --data-ascii <data> | 以ascii的方式post数据 |
| --data-binary <data> | 以二进制的方式post数据 |
| --negotiate | 使用HTTP身份验证 |
| --digest | 使用数字身份验证 |
| --disable-eprt | 禁止使用EPRT或LPRT |
| --disable-epsv | 禁止使用EPSV |
| -D/--dump-header <file> | 把header信息写入到该文件中 |
| --egd-file <file> | 为随机数据(SSL)设置EGD socket路径 |
| --tcp-nodelay | 使用TCP_NODELAY选项 |
| -e/--referer | 来源网址 |
| -E/--cert <cert[:passwd]> | 客户端证书文件和密码 (SSL) |
| --cert-type <type> | 证书文件类型 (DER/PEM/ENG) (SSL) |
| --key <key> | 私钥文件名 (SSL) |
| --key-type <type> | 私钥文件类型 (DER/PEM/ENG) (SSL) |
| --pass <pass> | 私钥密码 (SSL) |
| --engine <eng> | 加密引擎使用 (SSL). "--engine list" for list |
| --cacert <file> | CA证书 (SSL) |
| --capath <directory> | CA目录 (made using c_rehash) to verify peer against (SSL) |
| --ciphers <list> | SSL密码 |
| --compressed | 要求返回是压缩的形势 (using deflate or gzip) |
| --connect-timeout <seconds> | 设置最大请求时间 |
| --create-dirs | 建立本地目录的目录层次结构 |
| --crlf | 上传是把LF转变成CRLF |
| -f/--fail | 连接失败时不显示http错误 |
| --ftp-create-dirs | 如果远程目录不存在，创建远程目录 |
| --ftp-method [multicwd/nocwd/singlecwd] | 控制CWD的使用 |
| --ftp-pasv | 使用 PASV/EPSV 代替端口 |
| --ftp-skip-pasv-ip | 使用PASV的时候,忽略该IP地址 |
| --ftp-ssl | 尝试用 SSL/TLS 来进行ftp数据传输 |
| --ftp-ssl-reqd | 要求用 SSL/TLS 来进行ftp数据传输 |
| -F/--form <name=content> | 模拟http表单提交数据 |
| --form-string <name=string> | 模拟http表单提交数据 |
| -g/--globoff | 禁用网址序列和范围使用{}和[] |
| -G/--get | 以get的方式来发送数据 |
| -H/--header <line> | 自定义头信息传递给服务器 |
| --ignore-content-length | 忽略的HTTP头信息的长度 |
| -i/--include | 输出时包括protocol头信息 |
| -I/--head | 只显示请求头信息 |
| -j/--junk-session-cookies | 读取文件进忽略session cookie |
| --interface <interface> | 使用指定网络接口/地址 |
| --krb4 <level> | 使用指定安全级别的krb4 |
| -k/--insecure | 允许不使用证书到SSL站点 |
| -K/--config | 指定的配置文件读取 |
| -l/--list-only | 列出ftp目录下的文件名称 |
| --limit-rate <rate> | 设置传输速度 |
| --local-port<NUM> | 强制使用本地端口号 |
| -m/--max-time <seconds> | 设置最大传输时间 |
| --max-redirs <num> | 设置最大读取的目录数 |
| --max-filesize <bytes> | 设置最大下载的文件总量 |
| -M/--manual | 显示全手动 |
| -n/--netrc | 从netrc文件中读取用户名和密码 |
| --netrc-optional | 使用 .netrc 或者 URL来覆盖-n |
| --ntlm | 使用 HTTP NTLM 身份验证 |
| -N/--no-buffer | 禁用缓冲输出 |
| -o/--output | 把输出写到该文件中 |
| -O/--remote-name | 把输出写到该文件中，保留远程文件的文件名 |
| -p/--proxytunnel | 使用HTTP代理 |
| --proxy-anyauth | 选择任一代理身份验证方法 |
| --proxy-basic | 在代理上使用基本身份验证 |
| --proxy-digest | 在代理上使用数字身份验证 |
| --proxy-ntlm | 在代理上使用ntlm身份验证 |
| -P/--ftp-port <address> | 使用端口地址，而不是使用PASV |
| -q | 作为第一个参数，关闭 .curlrc |
| -Q/--quote <cmd> | 文件传输前，发送命令到服务器 |
| -r/--range <range> | 检索来自HTTP/1.1或FTP服务器字节范围 |
| --range-file | 读取（SSL）的随机文件 |
| -R/--remote-time | 在本地生成文件时，保留远程文件时间 |
| --retry <num> | 传输出现问题时，重试的次数 |
| --retry-delay <seconds> | 传输出现问题时，设置重试间隔时间 |
| --retry-max-time <seconds> | 传输出现问题时，设置最大重试时间 |
| -s/--silent | 静默模式。不输出任何东西 |
| -S/--show-error | 显示错误 |
| --socks4 <host[:port]> | 用socks4代理给定主机和端口 |
| --socks5 <host[:port]> | 用socks5代理给定主机和端口 |
| --stderr <file> | |
| -t/--telnet-option <OPT=val> | Telnet选项设置 |
| --trace <file> | 对指定文件进行debug |
| --trace-ascii <file> | Like --跟踪但没有hex输出 |
| --trace-time | 跟踪/详细输出时，添加时间戳 |
| -T/--upload-file <file> | 上传文件 |
| --url <URL> | Spet URL to work with |
| -u/--user <user[:password]> | 设置服务器的用户和密码 |
| -U/--proxy-user <user[:password]> | 设置代理用户名和密码 |
| -w/--write-out [format] | 什么输出完成后 |
| -x/--proxy <host[:port]> | 在给定的端口上使用HTTP代理 |
| -X/--request <command> | 指定什么命令 |
| -y/--speed-time | 放弃限速所要的时间，默认为30 |
| -Y/--speed-limit | 停止传输速度的限制，速度时间 |
实例
文件下载
curl命令可以用来执行下载、发送各种HTTP请求，指定HTTP头部等操作。如果系统没有curl可以使用yum install curl安装，也可以下载安装。curl是将下载文件输出到stdout，将进度信息输出到stderr，不显示进度信息使用--silent选项。
curl URL --silent
这条命令是将下载文件输出到终端，所有下载的数据都被写入到stdout。
使用选项-O将下载的数据写入到文件，必须使用文件的绝对地址：
curl http://man.linuxde.net/text.iso --silent -O
选项-o将下载数据写入到指定名称的文件中，并使用--progress显示进度条：
curl http://man.linuxde.net/test.iso -o filename.iso --progress
######################################### 100.0%
断点续传
curl能够从特定的文件偏移处继续下载，它可以通过指定一个便宜量来下载部分文件：
curl URL/File -C 偏移量 #偏移量是以字节为单位的整数，如果让curl自动推断出正确的续传位置使用-C -： curl -C -URL
使用curl设置参照页字符串
参照页是位于HTTP头部中的一个字符串，用来表示用户是从哪个页面到达当前页面的，如果用户点击网页A中的某个连接，那么用户就会跳转到B网页，网页B头部的参照页字符串就包含网页A的URL。
使用--referer选项指定参照页字符串：
curl --referer http://www.google.com http://man.linuxde.net
使用--cookie "COKKIES"选项来指定cookie，多个cookie使用分号分隔：
curl http://man.linuxde.net --cookie "user=root;pass=123456"
将cookie另存为一个文件，使用--cookie-jar选项：
curl URL --cookie-jar cookie_file
用curl设置用户代理字符串
有些网站访问会提示只能使用IE浏览器来访问，这是因为这些网站设置了检查用户代理，可以使用curl把用户代理设置为IE，这样就可以访问了。使用--user-agent或者-A选项：
curl URL --user-agent "Mozilla/5.0" curl URL -A "Mozilla/5.0"
其他HTTP头部信息也可以使用curl来发送，使用-H"头部信息" 传递多个头部信息，例如：
curl -H "Host:man.linuxde.net" -H "accept-language:zh-cn" URL
curl的带宽控制和下载配额
使用--limit-rate限制curl的下载速度：
curl URL --limit-rate 50k
命令中用k（千字节）和m（兆字节）指定下载速度限制。
使用--max-filesize指定可下载的最大文件大小：
curl URL --max-filesize bytes
如果文件大小超出限制，命令则返回一个非0退出码，如果命令正常则返回0。
用curl进行认证
使用curl选项 -u 可以完成HTTP或者FTP的认证，可以指定密码，也可以不指定密码在后续操作中输入密码：
curl -u user:pwd http://man.linuxde.net
curl -u user http://man.linuxde.net
只打印响应头部信息
通过-I或者-head可以只打印出HTTP头部信息：
[[email protected] text]# curl -I http://man.linuxde.net HTTP/1.1 200 OK Server: nginx/1.2.5 date: Mon, 10 Dec 2012 09:24:34 GMT Content-Type: text/html; charset=UTF-8 Connection: keep-alive Vary: Accept-Encoding X-Pingback: http://man.linuxde.net/xmlrpc.php
二、Elinks命令
elinks命令能实现一个纯文本界面的WWW浏览器，操作方式与“lynx”类似
语法
elinks(选项)(参数)
选项
-anonymous：是否使用匿名帐号方式；
-auto-submit：对于偶然遇到的第一个表单是否自动提交；
-config-dir：指定elinks指令运行时读取和写入自身的配置和运行状态的存放目录；
-dump：将HTML文档以纯文本的方式打印到标准输出设备；
-version：显示指令的版本信息；
-h：显示帮助信息。
参数
URL：指定要访问的URL地址。
三、lynx命令
语法
lynx(选项)(参数)
选项
-case：在搜索字符串时，区分大小写；
-ftp：关闭ftp功能；
-nobrowse：关闭目录浏览功能；
-noclor：关闭色彩显示模式；
-reload：更新代理服务器的缓存，只对首页有效；
--color：如果系统支持彩色模式，则激活彩色模式；
--help：显示指令的帮助信息；
--versiom：显示指令的版本信息。
参数
URL：指定要访问的网站的URL地址。
内部命令
移动命令
下方向键：页面上的下一个链接(用高亮度显示)。 上方向键：页面上的前一个链接(用高亮度显示)。 回车和右方向键：跳转到链接指向的地址。 左方向键：回到上一个页面。
滚动命令
+、Page-Down、Space、Ctrl+f：向下翻页。 -、Page-Up、b、Ctrl+b：向上翻页。 Ctrl+a：移动到当前页的最前面。 Ctrl+e：移动到当前页的最后面。 Ctrl+n：向下翻两行。 Ctrl+p：往回翻两行。 )：向下翻半页。 (：往回翻半页。 #：回到当前页的 Toolbar 或 Banner。
文件操作命令
c：建立一个新文件。
d：下载选中的文件。
E：编辑选中的文件。
f：为当前文件显示一个选项菜单。
m：修改选中文件的名字或位置。
r：删除选中的文件。
t：Tag highlighted file。
u：上载一个文件到当前目录。
其他命令
?、h：帮助。
a：把当前链接加入到一个书签文件里。
c：向页面的拥有者发送意见或建议。
d：下载当前链接。
e：编辑当前文件。
g：跳转到一个用户 指定的URL或文件。
G：编辑当前页的URL，并跳转到这个URL。
i：显示文档索引。
j：执行预先定义的“短”命令。
k：显示键盘命令列表。
l：列出当前页上所有链接的地址。
m：回到首页 。
o：设置选项。
p：把当前页输出到文件，e-mail，打印机或其他地方。
q：退出。
/：在当前页内查找字符串。
s：在外部搜索输入的字符串。
n：搜索下一个。
v：查看一个书签文件。
V：跳转到访问过的地址。
x：不使用缓存。
z：停止当前传输。
[backspace]：跳转到历史页(同 V 命令)。
=：显示当前页的信息。
：查看当前页的源代码。
!：回到shell提示符下。
_：清除当前任务的所有授权信息。
*：图形链接模式的切换开关。
@：8位传输模式或CJK模式的切换开关。
[：pseudo_inlines 模式的切换开关。
]：为当前页或当前链接发送一个“head”请求。
Ctrl+r：重新装如当前页并且刷新屏幕。
Ctrl+w：刷新屏幕。
Ctrl+u：删除输入的行。
Ctrl+g：取消输入或者传送。
Ctrl+t：跟踪模式的切换开关。
;：看Lynx对当前任务的跟踪记录。
Ctrl+k：调用 Cookie Jar 页。
数字键：到后面的第 n 个链接。
四、Wget命令
wget命令用来从指定的URL下载文件。wget非常稳定，它在带宽很窄的情况下和不稳定网络中有很强的适应性，如果是由于网络的原因下载失败，wget会不断的尝试，直到整个文件下载完毕。如果是服务器打断下载过程，它会再次联到服务器上从停止的地方继续下载。这对从那些限定了链接时间的服务器上下载大文件非常有用。
语法
wget(选项)(参数)
选项
-a<日志文件>：在指定的日志文件中记录资料的执行过程；
-A<后缀名>：指定要下载文件的后缀名，多个后缀名之间使用逗号进行分隔；
-b：进行后台的方式运行wget；
-B<连接地址>：设置参考的连接地址的基地地址；
-c：继续执行上次终端的任务；
-C<标志>：设置服务器数据块功能标志on为激活，off为关闭，默认值为on；
-d：调试模式运行指令；
-D<域名列表>：设置顺着的域名列表，域名之间用“，”分隔；
-e<指令>：作为文件“.wgetrc”中的一部分执行指定的指令；
-h：显示指令帮助信息；
-i<文件>：从指定文件获取要下载的URL地址；
-l<目录列表>：设置顺着的目录列表，多个目录用“，”分隔；
-L：仅顺着关联的连接；
-r：递归下载方式；
-nc：文件存在时，下载文件不覆盖原有文件；
-nv：下载时只显示更新和出错信息，不显示指令的详细执行过程；
-q：不显示指令执行过程；
-nh：不查询主机名称；
-v：显示详细执行过程；
-V：显示版本信息；
--passive-ftp：使用被动模式PASV连接FTP服务器；
--follow-ftp：从HTML文件中下载FTP连接文件。
参数
URL：下载指定的URL地址。
实例
使用wget下载单个文件
wget http://www.linuxde.net/testfile.zip
以下的例子是从网络下载一个文件并保存在当前目录，在下载的过程中会显示进度条，包含（下载完成百分比，已经下载的字节，当前下载速度，剩余下载时间）。
下载并以不同的文件名保存
wget -O wordpress.zip http://www.linuxde.net/download.aspx?id=1080
wget默认会以最后一个符合/的后面的字符来命令，对于动态链接的下载通常文件名会不正确。
错误：下面的例子会下载一个文件并以名称download.aspx?id=1080保存:
wget http://www.linuxde.net/download?id=1
即使下载的文件是zip格式，它仍然以download.php?id=1080命令。
正确：为了解决这个问题，我们可以使用参数-O来指定一个文件名：
wget -O wordpress.zip http://www.linuxde.net/download.aspx?id=1080
wget限速下载
wget --limit-rate=300k http://www.linuxde.net/testfile.zip
当你执行wget的时候，它默认会占用全部可能的宽带下载。但是当你准备下载一个大文件，而你还需要下载其它文件时就有必要限速了。
使用wget断点续传
wget -c http://www.linuxde.net/testfile.zip
使用wget -c重新启动下载中断的文件，对于我们下载大文件时突然由于网络等原因中断非常有帮助，我们可以继续接着下载而不是重新下载一个文件。需要继续中断的下载时可以使用-c参数。
使用wget后台下载
wget -b http://www.linuxde.net/testfile.zip Continuing in background, pid 1840. Output will be written to `wget-log‘.
对于下载非常大的文件的时候，我们可以使用参数-b进行后台下载，你可以使用以下命令来察看下载进度：
tail -f wget-log
伪装代理名称下载
wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" http://www.linuxde.net/testfile.zip
有些网站能通过根据判断代理名称不是浏览器而拒绝你的下载请求。不过你可以通过--user-agent参数伪装。
测试下载链接
当你打算进行定时下载，你应该在预定时间测试下载链接是否有效。我们可以增加--spider参数进行检查。
wget --spider URL
如果下载链接正确，将会显示:
Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Remote file exists and could contain further links,
but recursion is disabled -- not retrieving.
这保证了下载能在预定的时间进行，但当你给错了一个链接，将会显示如下错误:
wget --spider url Spider mode enabled. Check if remote file exists. HTTP request sent, awaiting response... 404 Not Found Remote file does not exist -- broken link!!!
你可以在以下几种情况下使用--spider参数：
- 定时下载之前进行检查
- 间隔检测网站是否可用
- 检查网站页面的死链接
增加重试次数
wget --tries=40 URL
如果网络有问题或下载一个大文件也有可能失败。wget默认重试20次连接下载文件。如果需要，你可以使用--tries增加重试次数。
下载多个文件
wget -i filelist.txt
首先，保存一份下载链接文件：
cat > filelist.txt
url1
url2
url3
url4
接着使用这个文件和参数-i下载。
镜像网站
wget --mirror -p --convert-links -P ./LOCAL URL
下载整个网站到本地。
--miror开户镜像下载。-p下载所有为了html页面显示正常的文件。--convert-links下载后，转换成本地的链接。-P ./LOCAL保存所有文件和目录到本地指定目录。
过滤指定格式下载
wget --reject=gif ur
下载一个网站，但你不希望下载图片，可以使用这条命令。
把下载信息存入日志文件
wget -o download.log URL
不希望下载信息直接显示在终端而是在一个日志文件，可以使用。
限制总下载文件大小
wget -Q5m -i filelist.txt
当你想要下载的文件超过5M而退出下载，你可以使用。注意：这个参数对单个文件下载不起作用，只能递归下载时才有效。
下载指定格式文件
wget -r -A.pdf url
可以在以下情况使用该功能：
- 下载一个网站的所有图片。
- 下载一个网站的所有视频。
- 下载一个网站的所有PDF文件。
FTP下载
wget ftp-url wget --ftp-user=USERNAME --ftp-password=PASSWORD url
可以使用wget来完成ftp链接的下载。
使用wget匿名ftp下载：
wget ftp-url
使用wget用户名和密码认证的ftp下载：
wget --ftp-user=USERNAME --ftp-password=PASSWORD url
五、lftp命令
lftp命令是一款优秀的文件客户端程序，它支持ftp、SETP、HTTP和FTPs等多种文件传输协议。lftp支持tab自动补全，记不得命令双击tab键，就可以看到可能的选项了。
语法
lftp(选项)(参数)
选项
-f：指定lftp指令要执行的脚本文件；
-c：执行指定的命令后退出；
--help：显示帮助信息；
--version：显示指令的版本号。
参数
站点：要访问的站点的ip地址或者域名。
实例
登录ftp
lftp 用户名:密码@ftp地址:传送端口（默认21）
也可以先不带用户名登录，然后在接口界面下用login命令来用指定账号登录，密码不显示。
查看文件与改变目录
ls
cd 对应ftp目录
下载
get当然是可以的，还可以：
mget -c *.pdf #把所有的pdf文件以允许断点续传的方式下载。
mirror aaa/ #将aaa目录整个的下载下来，子目录也会自动复制。
pget -c -n 10 file.dat #以最多10个线程以允许断点续传的方式下载file.dat，可以通过设置pget:default-n的值而使用默认值。
上传
同样的put、mput都是对文件的操作，和下载类似。
mirror -R 本地目录名
将本地目录以迭代（包括子目录）的方式反向上传到ftp site。
模式设置
set ftp:charset gbk
远程ftp site用gbk编码，对应的要设置为utf8,只要替换gbk为utf8即可。
set file:charset utf8
本地的charset设定为utf8,如果你是gbk，相应改掉。
set ftp:passive-mode 1
使用被动模式登录，有些site要求必须用被动模式或者主动模式才可以登录，这个开关就是设置这个的。0代表不用被动模式。
书签
其实命令行也可以有书签，在lftp终端提示符下：
bookmark add ustc
就可以把当前正在浏览的ftp site用ustc作为标签储存起来。以后在shell终端下，直接lftp ustc就可以自动填好用户名和密码，进入对应的目录了。
bookmark edit
会调用编辑器手动修改书签。当然，也可以看到，这个书签其实就是个简单的文本文件。密码，用户名都可以看到。
配置文件
vim /etc/lftp.conf
一般，我会添加这几行：
set ftp:charset gbk set file:charset utf8 set pget:default-n 5
这样，就不用每次进入都要打命令了。其他的set可以自己tab然后help来看。