text wget下载网站

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了text wget下载网站相关的知识,希望对你有一定的参考价值。

wget -p -k http://www.example.com/

Some servers will responsd with a 403 code if you use wget without 
a User Agent. For example: -U 'Mozilla/5.0 (X11; U; Linux i686; 
en-US; rv:1.8.1.6) Gecko/20070802 SeaMonkey/1.1.4'

If you're finding you're still missing images etc.. then try adding this: 
-e robots=off 
wget actually reads and respects robots.txt 

===================================
To download just a webpage: 
wget -E -H -k -p http://example.com/page

This means:
-E: Append .html to the file name if it is an HTML file but doesn't end in .html or similar
-H: Download files from other hosts, too
-k: After downloading convert any link in it so they point to the downloaded files
-p: Download anything the page needs for proper offline viewing

以上是关于text wget下载网站的主要内容,如果未能解决你的问题,请参考以下文章

text 下载所有MusicForProgramming();轨道,如果它们尚未下载。 dep:php&wget

curl和wget的区别和使用

curl和wget的区别和使用

curl和wget的区别和使用

高效开发:Centos中,curl 和 wget 的区别和使用

高效开发:Centos中,curl 和 wget 的区别和使用