Shell脚本之;Web自动化

Posted 小春熙子

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Shell脚本之;Web自动化相关的知识,希望对你有一定的参考价值。

1.网站下载:

wget是一个用于文件下载的命令行工具,可以下载网页和远程文件

例如:wget URL

wget https://zhidao.baidu.com/question/1818975931865141188.html

 

(1)可以指定从多个URL处进行下载:

wget URL1 URL2 URL3...

(2)可以使用wget下载FTP服务器中的文件

(3)wget命令参数说明:

-O:指定输出文件名,如果存在同名文件会先将该同名文件清空再将下载文件写入

-o:指定一个日志文件,不必将日志信息打印到stdout

wget https://zhidao.baidu.com/question/1818975931865141188.html -O myweb.html -o weblog   //运行该命令终端不会输出任何东西

 

(3)由于不稳定的Internet连接,下载可能会被迫中断,可以将重试次数做为命令参数,这样一旦中断下载,wget可以在放弃下载之前进行多次尝试

wget -t 5 URL

 

(4)下载限速:限定下载任务能够占用的最大带宽

wget --limit-rate 20k http://example.com/file.iso

 

 (5)指定最大下载配额:配额一旦用完,下载随之停止;避免无意中占用过多的磁盘空间(这里指定下载100M)

wget -Q  100m http://example.com/file1  http://example.com/file2

 

(6)断点续传:wget进行的下载在未完成之前被中断,可以利用选项-c从断点开始继续下载

wget -c URL

 

(7)用cURL下载:curl并不将下载数据写入文件,而是写入标准输出,所以我们必须用重定向操作符把输出重定向到指定文件中

curl https://zhidao.baidu.com/question/1818975931865141188.html > testweb.html

 

(8)复制或者镜像整个网站:wget有一个选项可以像爬虫一样以递归的方式收集网页上的所有URL链接,并逐个下载

wget --mirror http://192.168.23.135/

 或者使用如下方法镜像整个网站:

 wget -r -N -l 10 http://192.168.23.135/

-r:递归遍历网页

-N:允许对文件使用时间戳

-l:指定页面层级,wget只会向下遍历指定的页面级数

 

(9)访问需要认证的HTTP或FTP页面:

 --user 和 --password 提供认证信息

 wget --user username --password pass ftp://192.168.23.21/

 

(10)以格式化纯文本形式下载网页:用  lynx  命令的  -dump 选项将网页以ASCII字符的形式下载到文本文件中

lynx -dump http://www.runoob.com/linux/linux-shell-io-redirections.html > webpages_as_text.txt

这个命令会将所有的超链接(<a href="link">)作为文本输出到页脚列在References标题下

 

以上是关于Shell脚本之;Web自动化的主要内容,如果未能解决你的问题,请参考以下文章

Shell脚本之初见——理论篇

自动化运维必须要学的Shell脚本之——函数的使用

代码片段:Shell脚本实现重复执行和多进程

dotnet项目执行shell脚本实现简单的自动化部署

shell脚本编程之函数

Shell脚本交互之:自动输入密码