江湖秘笈：爬虫技术有利有弊，好时便民，坏时祸国，HTTrack高效验证站点防护能力显神通

Posted 2021-04-30 e品江湖网络攻防

关注蓝字 看点网络安全

一天一点

Hello，亲爱的看官们，今天是周日，周末的最后一天，各位是否做好要重新回到工作岗位上奋斗的准备了呢？

 

经过周末的奋力研究，对于前日刚刚惊爆出来的Meltdown和Spectre两个针对CPU出现的漏洞已经有了阶段性成果。相信各位看官也一定因为这两款从天而降的漏洞要做好新的战斗准备了吧。

 

虽然说这两款漏洞的出现很大程度上加深了当前网络安全维护环境的难度，但有矛就会有盾，二者是相依相伴的。从某种意义上来讲，它们的出现很好的弥补和改变了我们对于安全维护的认知。

 

要知道任何一种漏洞的出现并非空穴来风，或许它们本身存在已久，只是在特定时段内并未被我们所获知而已。

 

好啦，开篇一个小回忆，重新进入今天的话题。

HTTrack高效验证显神通

在昨天的内容中，2 cats大侠我为众看官分享了一种来自于离线页面下载分析的工作技巧，此类工作方式主要为印证搜索引擎爬虫技术对页面的检索及源级代码安全审计时所需的漏洞查看工作。

 

现在，我将继续为大家带来一个同类技术，它便是HTTrack离线分析下载页面。

Wget与HTTrack的区别

 

与昨日的Wget属于同类技术，在用法上稍有差异。Wget属于命令界面操作方式的离线下载型技术，HTTrack则属于使用图形界面的便捷式操作技术。

当然，两者最大的区别在于，一个为非开源化程序，一个是基于开源而诞生的。

 

HTTrack技术介绍

作为开源化项目之一的HTTrack技术，可以允许它从www站点进行离线页面下载，将目标站点的页面、图片等信息在递归构建的方式下影像到自己的电脑中来。

 

安装方式：

 

将HTTrack安装到电脑系统中难免需要使用一些操作命令，具体如下：

 

apt-get update；

apt-get install httrack；

 

从这两条命令的特点来看，其实与Wget并无太大差异。

 

创建目录存储下载站点：

 

root@2cats:~# mkdir bodedit httrack；

 

这条命令同样与Wget无过大差异。

 

接着就可以进入到页面离线下载状态中来啦。

工具演示

1

这便是HTTrack进行离线下载模式的情况，当然它是拥有图形界面操作模式的，只是今天先不演示，具体的还请看官们自行下载体验。

 

2

 

当整个目标站点被下载后，我们可以从目录清单中查看整个页面的信息资料。只是，HTTrack所下载站点存在一个小小的缺陷，那就是站内动态内容是无法得到验证的，例如用户输入信息时的响应状态。

 

2cats个人建议

其实，这款工具要说功能偏向的话，可能更加趋近于搜索引擎爬虫方面的验证工作，而非为源级安全审计人员进行代码验证工作。

例如看官们在使用它的图形界面时，会看到有一个名为“更新时采取其他手段防止重复下载”的选项，该选项后会跟随一个下拉菜单，从内中选项可以看出，它是允许不遵守robots协议的。

 

因此，2 cats大侠我才给出个人的见解为，此工具的主要安全验证目的在于针对不考虑Cookies为前提的情况下，对目标站点验证是否有效的防御和组织来自于搜索引擎爬虫技术的另类安全手段。

2cats 寄语

老规矩不变，

如果有任何问题依旧可以发给e品小顽童。

小顽童的邮箱是：

[e-mail]。

 

 

期待各位的来信交流！

Believe

  e品江湖 

  不失初心 不忘初衷

长按扫码 加关注！