curl命令整理

Posted 2020-09-03

##curl命令

curl命令是一个功能强大的网络工具，它能够通过http、ftp等方式下载文件，也能够上传文件。

#####1. 下载单个文件，默认将输出打印到标准输出中(STDOUT)中
```
curl http://www.baidu.com
```

#####2. 通过-o/-O选项保存下载的文件到指定的文件中：
-o：将文件保存为命令行中指定的文件名(mypage.html)的文件中

```
curl -o mypagebaidu.html http://www.baidu.com

```
同样可以使用转向字符">"对输出进行转向输出
```

curl http://www.yahoo.com >mypageyahoo.html

```
-O：使用URL中默认的文件名保存文件到本地
```
curl -O http://www.qq.com

```
同时获取多个文件
```

curl -O www.sohu.com -O www.sina.com.cn

```

#####3. 断点续传：
当文件在下载完成前结束该进程，可通过-C 选项继续对该文件进行下载（已经下载过的文件不会被下载）

```
curl -O http://www.gnu.org/software/gettext/manual/gettext.html

curl -C - -O http://www.gnu.org/software/gettext/manual/gettext.html

```

#####4.对CURL使用网络限速
通过--limit-rate选项对CURL的最大网络使用进行限制

```
curl --limit-rate 1000B -O
http://www.gnu.org/software/gettext/manual/gettext.html

```

#####5. 下载指定时间内修改过的文件
当下载一个文件时，可对该文件的最后修改日期进行判断，如果该文件在指定日期内修改过，就进行下载，否则不下载。
该功能可通过使用-z选项来实现：

```
// 若yy.html文件在2011/12/21之后有过更新才会进行下载
curl -z 21-Dec-11 http://www.example.com/yy.html

```

#####6.CURL授权
在访问需要授权的页面时，可通过-u选项提供用户名和密码进行授权
```
curl -u username:password URL
```
通常的做法是在命令行只输入用户名，之后会提示输入密码，这样可以保证在查看历史记录时不会将密码泄露

```
curl -u username URL
```

#####7.FTP下载
CURL同样支持FTP下载，若在url中指定的是某个文件路径而非具体的某个要下载的文件名，CURL则会列出该目录下的所有文件名而并非下载该目录下的所有文件

```
// 列出public_html下的所有文件夹和文件
curl -u ftpuser:ftppass -O ftp://ftp_server/public_html/

// 下载xss.php文件
curl -u ftpuser:ftppass -O ftp://ftp_server/public_html/xss.php
```

#####8.上传文件到FTP服务器

通过 -T 选项可将指定的本地文件上传到FTP服务器上
```
// 将myfile.txt文件上传到服务器
curl -u ftpuser:ftppass -T myfile.txt ftp://ftp.testserver.com

// 同时上传多个文件
curl -u ftpuser:ftppass -T "{file1,file2}" ftp://ftp.testserver.com

// 从标准输入获取内容保存到服务器指定的文件中
curl -u ftpuser:ftppass -T - ftp://ftp.testserver.com/myfile_1.txt
```

#####9. 保存与使用网站cookie信息
```
// 将网站的cookies信息保存到sugarcookies文件中
curl -D sugarcookies http://localhost/sugarcrm/index.php

// 使用上次保存的cookie信息
curl -b sugarcookies http://localhost/sugarcrm/index.php
```

#####10.传递请求数据

默认curl使用GET方式请求数据，这种方式下直接通过URL传递数据
```
curl -u username https://api.github.com/user?access_token=XXXXXXXXXX

```
可以通过 --data/-d 方式指定使用POST方式传递数据
```
curl -u username --data "param1=value1&param2=value" https://api.github.com
```

也可以指定一个文件，将该文件中的内容当作数据传递给服务器端
```
curl --data @filename https://github.api.com/authorizations
```
默认情况下，通过POST方式传递过去的数据中若有特殊字符，首先需要将特殊字符转义在传递给服务器端，如value值中包含有空格，则需要先将空格转换成%20
```
curl -d "value%201" http://hostname.com
```
在新版本的CURL中，提供了新的选项 --data-urlencode，通过该选项提供的参数会自动转义特殊字符。
```
curl --data-urlencode "value 1" http://hostname.com
```
除了使用GET和POST协议外，还可以通过 -X 选项指定其它协议
```
curl -I -X DELETE https://api.github.cim
```

POST 一个 jason
这里想要post Json数据到接口上，需要设置好Header，也就是：‘Content-type‘:‘application/x-www-form-urlencoded‘, ‘charset‘:‘utf-8‘, ‘Accept‘: ‘text/plain‘。

```
curl -i -X POST -H "‘Content-type‘:‘application/x-www-form-urlencoded‘, ‘charset‘:‘utf-8‘, ‘Accept‘: ‘text/plain‘" -d ‘json_data={"a":"aaa","b":"bbb","data":[{"c":"ccc","d":"ddd","keywords":[{"e": "eee", "f":"fff", "g":"ggg"}]}]}‘ url

```

curl命令参数

　　-a/--append 上传文件时，附加到目标文件

　　-A/--user-agent <string> 设置用户代理发送给服务器

　　- anyauth 可以使用“任何”身份验证方法

　　-b/--cookie <name=string/file> cookie字符串或文件读取位置

　　- basic 使用HTTP基本验证

　　-B/--use-ascii 使用ASCII /文本传输

　　-c/--cookie-jar <file> 操作结束后把cookie写入到这个文件中

　　-C/--continue-at <offset> 断点续转

　　-d/--data <data> HTTP POST方式传送数据

　　--data-ascii <data> 以ascii的方式post数据

　　--data-binary <data> 以二进制的方式post数据

　　--negotiate 使用HTTP身份验证

　　--digest 使用数字身份验证

　　--disable-eprt 禁止使用EPRT或LPRT

　　--disable-epsv 禁止使用EPSV

　　-D/--dump-header <file> 把header信息写入到该文件中

　　--egd-file <file> 为随机数据(SSL)设置EGD socket路径

　　--tcp-nodelay 使用TCP_NODELAY选项

　　-e/--referer 来源网址

　　-E/--cert <cert[:passwd]> 客户端证书文件和密码 (SSL)

　　--cert-type <type> 证书文件类型 (DER/PEM/ENG) (SSL)

　　--key <key> 私钥文件名 (SSL)

　　--key-type <type> 私钥文件类型 (DER/PEM/ENG) (SSL)

　　--pass <pass> 私钥密码 (SSL)

　　--engine <eng> 加密引擎使用 (SSL). "--engine list" for list

　　--cacert <file> CA证书 (SSL)

　　--capath <directory> CA目录 (made using c_rehash) to verify peer against (SSL)

　　--ciphers <list> SSL密码

　　--compressed 要求返回是压缩的形势 (using deflate or gzip)

　　--connect-timeout <seconds> 设置最大请求时间

　　--create-dirs 建立本地目录的目录层次结构

　　--crlf 上传是把LF转变成CRLF

　　-f/--fail 连接失败时不显示http错误

　　--ftp-create-dirs 如果远程目录不存在，创建远程目录

　　--ftp-method [multicwd/nocwd/singlecwd] 控制CWD的使用

　　--ftp-pasv 使用 PASV/EPSV 代替端口

　　--ftp-skip-pasv-ip 使用PASV的时候,忽略该IP地址

　　--ftp-ssl 尝试用 SSL/TLS 来进行ftp数据传输

　　--ftp-ssl-reqd 要求用 SSL/TLS 来进行ftp数据传输

　　-F/--form <name=content> 模拟http表单提交数据

　　-form-string <name=string> 模拟http表单提交数据

　　-g/--globoff 禁用网址序列和范围使用{}和[]

　　-G/--get 以get的方式来发送数据

　　-h/--help 帮助

　　-H/--header <line> 自定义头信息传递给服务器

　　--ignore-content-length 忽略的HTTP头信息的长度

　　-i/--include 输出时包括protocol头信息

　　-I/--head 只显示文档信息
　　
　　-j/--junk-session-cookies 忽略会话Cookie

　　- 界面<interface> 指定网络接口/地址使用

　　- krb4 <级别> 启用与指定的安全级别krb4

　　-j/--junk-session-cookies 读取文件进忽略session cookie

　　--interface <interface> 使用指定网络接口/地址

　　--krb4 <level> 使用指定安全级别的krb4

　　-k/--insecure 允许不使用证书到SSL站点

　　-K/--config 指定的配置文件读取

　　-l/--list-only 列出ftp目录下的文件名称

　　--limit-rate <rate> 设置传输速度

　　--local-port<NUM> 强制使用本地端口号

　　-m/--max-time <seconds> 设置最大传输时间

　　--max-redirs <num> 设置最大读取的目录数

　　--max-filesize <bytes> 设置最大下载的文件总量

　　-M/--manual 显示全手动

　　-n/--netrc 从netrc文件中读取用户名和密码

　　--netrc-optional 使用 .netrc 或者 URL来覆盖-n

　　--ntlm 使用 HTTP NTLM 身份验证

　　-N/--no-buffer 禁用缓冲输出

　　-o/--output 把输出写到该文件中

　　-O/--remote-name 把输出写到该文件中，保留远程文件的文件名

　　-p/--proxytunnel 使用HTTP代理

　　--proxy-anyauth 选择任一代理身份验证方法

　　--proxy-basic 在代理上使用基本身份验证

　　--proxy-digest 在代理上使用数字身份验证

　　--proxy-ntlm 在代理上使用ntlm身份验证

　　-P/--ftp-port <address> 使用端口地址，而不是使用PASV

　　-Q/--quote <cmd> 文件传输前，发送命令到服务器

　　-r/--range <range> 检索来自HTTP/1.1或FTP服务器字节范围

　　--range-file 读取（SSL）的随机文件

　　-R/--remote-time 在本地生成文件时，保留远程文件时间

　　--retry <num> 传输出现问题时，重试的次数

　　--retry-delay <seconds> 传输出现问题时，设置重试间隔时间

　　--retry-max-time <seconds> 传输出现问题时，设置最大重试时间

　　-s/--silent 静音模式。不输出任何东西

　　-S/--show-error 显示错误

　　--socks4 <host[:port]> 用socks4代理给定主机和端口

　　--socks5 <host[:port]> 用socks5代理给定主机和端口

　　--trace <file> 对指定文件进行debug

　　--trace-ascii <file> Like -- 跟踪但没有hex输出

　　--trace-time 跟踪/详细输出时，添加时间戳

　　-T/--upload-file <file> 上传文件

　　-u/--user <user[:password]> 设置服务器的用户和密码

　　-U/--proxy-user <user[:password]> 设置代理用户名和密码

　　-V/--version 显示版本信息

　　-w/--write-out [format] 什么输出完成后

　　-x/--proxy <host[:port]> 在给定的端口上使用HTTP代理

　　-X/--request <command> 指定什么命令

　　-y/--speed-time 放弃限速所要的时间。默认为30

　　-Y/--speed-limit 停止传输速度的限制，速度时间‘秒

　　-z/--time-cond 传送时间设置

　　-0/--http1.0 使用HTTP 1.0

　　-1/--tlsv1 使用TLSv1（SSL）

　　-2/--sslv2 使用SSLv2的（SSL）

　　-3/--sslv3 使用的SSLv3（SSL）

　　--3p-url 使用url，进行第三方传送

　　--3p-user 使用用户名和密码，进行第三方传送

　　-4/--ipv4 使用IP4

　　-6/--ipv6 使用IP6

　　-#/--progress-bar 用进度条显示当前的传送状态