网站爬取工具

Posted chevin

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了网站爬取工具相关的知识,希望对你有一定的参考价值。

有时候需要将网站资源爬取到本地,文件少的情况下可以使用Chrome一个个保存。如果文件太多,则需要使用下面的辅助工具。

1.Teleport Ultra(不是Teleport Pro)

技术分享图片

有点:爬取文件以及结构比较完整;

缺点:会修改原文件。会在js中增加tpa标签和在html中增加tppabs标签!

 

2.Offline Explorer

技术分享图片

优点:基本不修改源文件;

缺点:文件爬取可能缺失;偶尔崩溃;

 

针对两个工具的优缺点,结合使用Teleport Ultra的网站组织结构以及图片、音效资源,同时使用Offline Explorer的js/css/html等资源;

 

以上。

以上是关于网站爬取工具的主要内容,如果未能解决你的问题,请参考以下文章

如何爬取抖音商品数据

Web侦察工具HTTrack (爬取整站)

如何爬取URL不变的网站内容

python爬虫-基础入门-爬取整个网站《1》

爬取菜谱网站

如何进行手机APP的数据爬取?