使用wget命令爬取整站
Posted LyShark
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了使用wget命令爬取整站相关的知识，希望对你有一定的参考价值。
快速上手(整个bootstrap网页全被你抓取下来了~_~)
wget -c -r -npH -k -nv http://www.baidu.com
参数说明
-c：断点续传
-r：递归下载
-np：递归下载时不搜索上层目录
-nv：显示简要信息
-nd：递归下载时不创建一层一层的目录,把所有文件下载当前文件夹中
-p：下载网页所需要的所有文件(图片,样式,js文件等)
-H：当递归时是转到外部主机下载图片或链接
-k：将绝对链接转换为相对链接,这样就可以在本地脱机浏览网页了
启用地址伪装
-user-agent="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4482.400 QQBrowser/9.7.13001.400"
以上是关于使用wget命令爬取整站的主要内容，如果未能解决你的问题，请参考以下文章