如何批量抓取网页目录下的所有文件

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何批量抓取网页目录下的所有文件相关的知识,希望对你有一定的参考价值。

注意我说的是批量抓取,不是一个一个打开网页然后保存
注意我说的是网页目录,不是网址

1、首先,如图所示,我们找到目标文件夹,我们需要把文件夹内的所有文件的文件名批量复制。

2、我们打开WINRAR,然后打开到目标文件夹,如图所示,全选所有文件后,右键单击选择“添加文件到压缩文件中”。

3、此时,弹出“压缩文件名和参数”面板,我们点击其中的“文件”标签,就可以在要添加的文件中看到所有文件的文件名了(显示不全),我们按“ctrl+c”复制下来。

4、然后,我们打开Word或者记事本,按“ctrl+v”粘贴,就可以批量得到文件名了,效果如下图所示。

参考技术A   如果是有链接的下载,用迅雷的批量下载,不过我觉得楼主的意思是要下载某网站目录下的文件.用浏览器的文件--保存,如果不行,推荐使用webzip这个软件WebZIP 是著名的离线浏览器软件,在它的帮助下你能够完整下载网站的内容,或者你也可以选择自行设置下载的层数、文件类型、网页与媒体文件的定位以及网址过滤器,以便按己所需地获取网站内容。
  你下载到本地硬盘中的网站内容将仍保持原本的 html 格式,其文件名与目录结构都不会变化,这样可以准确地提供网站的镜像。现在使用 WebZIP 中新的 FAR 插件工具,你可以把下载的内容制作成 HTML-帮助文件(.chm)。你也可以把抓取的网站内容压缩为 ZIP 文件。本回答被提问者和网友采纳
参考技术B 打开那个带目录的网页,然后提取该网页的源代码,就把该网页目录下每一篇文件对象的链接地址提取出来了,然后批量将这些链接地址下载下来就行了的呀。 参考技术C 目录名/*.*(星点星,即所有文件)

Win 7 如何批量提取指定文件夹下的所有文件名称及其路径?

Win 7 批量提取指定文件夹下的所有文件名称及其路径的方法如下:

1、在需要提取名称的文件夹中右键新建一个“文本文档”。

2、打开文本文档,在文档输入DIR /S/B >列表.TXT。

3、将文本文档另存为“列表.BAT”,保存在需提取文件名称的文件夹中。

4、双击存好的BAT文件“列表.BAT”。

5、双击后,对话框会一闪出现后消失,之后会出现如图“列表.TXT”文件。

6、打开“列表.TXT”文件,即可看到文件夹内的名称及其路径都提取完毕。

参考技术A

批量提取指定文件夹下的所有文件名称及其路径使用一个批处理脚本即可轻松实现。

软件工具:win7、文本文档。

1、在指定的文件夹中新建一个记事本(文本文档)。

2、在记事本中输入DIR /S/B >输入路径和文件文件名.TXT,然后保存。

3、将刚才创建的这个记事本的扩展名改.bat。

4、双击打开运行这个.bat脚本,运行时会有个CMD窗口一闪而过。然后得到一个“输入路径和文件文件名.TXT”的文本。

5、打开这个“输入路径和文件文件名.TXT”文本,就可以看到该文件夹中所有文件、文件夹及子文件夹的路径和文件名。里面每一行是一个文件、文件夹的具体路径;最后一个\\后面的就是文件名称。

本回答被提问者采纳
参考技术B http://jingyan.baidu.com/article/d71306350d083913fdf47592.html追问

谢谢您,追问一下,路径是否能提取呢呢,以及如果有子文件夹,里面的文件也会提取出来吗?

追答

http://jingyan.baidu.com/article/066074d64a823dc3c31cb041.html
这样可以获取某文件夹下的全部文件列表(含子目录)

追问

不好意思哈,还有一个不理解的地方,为什么我的中文路径的结果都是问号“???”,很感谢您的回答,谢谢~~

追答

没有啊 听过你说的 我刚才刚测试的,是正常的啊。
结果如下:

C:\Documents and Settings\Administrator\桌面\测试\FILESLIST111.TXT
C:\Documents and Settings\Administrator\桌面\测试\R.BAT
C:\Documents and Settings\Administrator\桌面\测试\中文
C:\Documents and Settings\Administrator\桌面\测试\你好
C:\Documents and Settings\Administrator\桌面\测试\国家
C:\Documents and Settings\Administrator\桌面\测试\我是
C:\Documents and Settings\Administrator\桌面\测试\新建 文本文档.txt

以上是关于如何批量抓取网页目录下的所有文件的主要内容,如果未能解决你的问题,请参考以下文章

VBA如何批量抓取数据

如何用Java抓取网页的具体内容

如何利用java中url实现网页内容的抓取

搜索引擎对网页抓取

如何使用Java抓取网页上指定部分的内容

JAVA 抓取搜索网页内容