Web侦察工具HTTrack (爬取整站)

Posted -wenli

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Web侦察工具HTTrack (爬取整站)相关的知识,希望对你有一定的参考价值。

Web侦察工具HTTrack (爬取整站)

HTTrack介绍

爬取整站的网页,用于离线浏览,减少与目标系统交互,HTTrack是一个免费的(GPL,自由软件)和易于使用的离线浏览器工具。它允许您从Internet上下载万维网站点到本地目录,递归地构建所有目录,从服务器获取html,图像和其他文件到您的计算机。HTTrack安排原始网站的相关链接结构。只需在浏览器中打开“镜像”网站的页面,即可从链接到链接浏览网站,就像在线查看网站一样。HTTrack也可以更新现有的镜像站点,并恢复中断的下载。HTTrack完全可配置,并具有集成的帮助系统。

 

HTTrack使用

1.先创建一个目录,用来保存爬下来的网页和数据

[email protected]:~# mkdir dvwa

  

技术分享图片

 

2.打开Httrack

[email protected]:~# httrack

技术分享图片

 

3.给项目命名

Enter project name :dvwa

  技术分享图片

 

4.保存到哪个目录

Base path (return=/root/websites/) :/root/dvwa

  技术分享图片

 

5.网站的url

Enter URLs (separated by commas or blank spaces) :http://192.168.14.157/dvwa/

  技术分享图片

 

 

6.

Action:

(enter)

1 Mirror Web Site(s)

2 Mirror Web Site(s) with Wizard

3 Just Get Files Indicated

4 Mirror ALL links in URLs (Multiple Mirror)

5 Test Links In URLs (Bookmark Test)
0 Quit
:2

技术分享图片

 

//1:直接镜像站点
//2:用向导完成镜像
//3:只get某种特定的文件
//4:镜像在这个url下所有的链接
//5:测试在这个url下的链接
//0:退出

 

7.是否使用代理

技术分享图片

 

 8.你可以定义一些字符,用来爬特定类型的数据,我们全部类型数据都爬得话,设置*

技术分享图片

 

9.设置更多选项,使用help可以看到更多选项,我们默认,直接Enter

技术分享图片

 

 10.开始爬站

技术分享图片

 

 11.查看结果

 技术分享图片

 

 

 








以上是关于Web侦察工具HTTrack (爬取整站)的主要内容,如果未能解决你的问题,请参考以下文章

整站下载工具httrack使用 MAC

scrapy进阶(CrawlSpider爬虫__爬取整站小说)

使用wget命令爬取整站

安全牛学习笔记Web扫描器

WebCollector下载整站页面(JAVA网络爬虫)

简单粗暴爬取拉钩信息,