Shell脚本之;Web自动化
Posted 小春熙子
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Shell脚本之;Web自动化相关的知识,希望对你有一定的参考价值。
1.网站下载:
wget是一个用于文件下载的命令行工具,可以下载网页和远程文件
例如:wget URL
wget https://zhidao.baidu.com/question/1818975931865141188.html
(1)可以指定从多个URL处进行下载:
wget URL1 URL2 URL3...
(2)可以使用wget下载FTP服务器中的文件
(3)wget命令参数说明:
-O:指定输出文件名,如果存在同名文件会先将该同名文件清空再将下载文件写入
-o:指定一个日志文件,不必将日志信息打印到stdout
wget https://zhidao.baidu.com/question/1818975931865141188.html -O myweb.html -o weblog //运行该命令终端不会输出任何东西
(3)由于不稳定的Internet连接,下载可能会被迫中断,可以将重试次数做为命令参数,这样一旦中断下载,wget可以在放弃下载之前进行多次尝试
wget -t 5 URL
(4)下载限速:限定下载任务能够占用的最大带宽
wget --limit-rate 20k http://example.com/file.iso
(5)指定最大下载配额:配额一旦用完,下载随之停止;避免无意中占用过多的磁盘空间(这里指定下载100M)
wget -Q 100m http://example.com/file1 http://example.com/file2
(6)断点续传:wget进行的下载在未完成之前被中断,可以利用选项-c从断点开始继续下载
wget -c URL
(7)用cURL下载:curl并不将下载数据写入文件,而是写入标准输出,所以我们必须用重定向操作符把输出重定向到指定文件中
curl https://zhidao.baidu.com/question/1818975931865141188.html > testweb.html
(8)复制或者镜像整个网站:wget有一个选项可以像爬虫一样以递归的方式收集网页上的所有URL链接,并逐个下载
wget --mirror http://192.168.23.135/
或者使用如下方法镜像整个网站:
wget -r -N -l 10 http://192.168.23.135/
-r:递归遍历网页
-N:允许对文件使用时间戳
-l:指定页面层级,wget只会向下遍历指定的页面级数
(9)访问需要认证的HTTP或FTP页面:
--user 和 --password 提供认证信息
wget --user username --password pass ftp://192.168.23.21/
(10)以格式化纯文本形式下载网页:用 lynx 命令的 -dump 选项将网页以ASCII字符的形式下载到文本文件中
lynx -dump http://www.runoob.com/linux/linux-shell-io-redirections.html > webpages_as_text.txt
这个命令会将所有的超链接(<a href="link">)作为文本输出到页脚列在References标题下
以上是关于Shell脚本之;Web自动化的主要内容,如果未能解决你的问题,请参考以下文章