HtmlParse：一款超轻量级的HTML文件解析和爬取工具

Posted 2022-06-15 一只会铲史的猫

HtmlParse 是一款基于windwos平台的html文档解析工具，可快速构建DOM树，从而轻松实现网页元素的爬取工作。DOM树就是一个HTML文档的节点树，每个节点由：标签（Tag）、属性（Attribute）、文本（Text）三个值来描述。
 
所谓的HTML文档解析，指的就是如何构建一颗DOM树，只有成功构建出DOM树，才有可能进行后续的数据爬取和分析工作。显然，构建DOM树是比较复杂的过程，因为不是每一个HTML文档都会严格按照规范来书写，因此解析过程需要具有一定容错能力。此外，解析效率也是一个需要考虑的因素，也就是说最好通过一次文档扫描即可建立起DOM树，而不是反复扫描。
 
下面是HtmlParse介绍。
 

工具特点

1、绿色纯天然，无任何第三方依赖库，文件大小不到150K；
2、解析速度快，具有一定的HTML语法容错能力，可快速将HMTL文档解析为DOM树；
3、基于命令行参数，可通过不同参数获取指定TAG的属性值和文本内容，从而实现网页爬取功能；
4、可将爬取数据输出为json格式，方便第三方程序进一步分析和使用；
5、可爬取script脚本到指定的js文件中；

下载地址：http://softlee.cn/HtmlParse.zip
 

使用方法

HtmlParse HtmlPathFile -tag TagName [-attr] [Attribute] [-o] [JsonPathFile]

解析指定的HTML文档，并将文档中指定的标签及属性输出到指定文件中。

如果要抓取doctype，可使用-tag doctype，将整个doctype内容获取。此时将会忽略-attr指定的任何属性值。

 

举例说明

1、爬取网页中所有超链接

HtmlParse c:/sina.html -tag a -attr href -o c:/sina.json

解析C盘下的sina.html文档，并提取该文档中的所有超链接到sina.json文件中。其中-tag a -attr href，用于指定获取超链接标签a的href属性。

2、爬取网页中所有图片链接

HtmlParse c:/sina.html -tag img -attr src -o c:/sina.json

解析C盘下的sina.html文档，并提取该文档中的所有图片链接到sina.json文件中。

3、爬取网页中所有脚本

HtmlParse c:/sina.html -tag script -o c:/sina.js

解析C盘下的sina.html文档，并提取该文档中的所有脚本函数到sina.js文件中。

 

输出内容

如果通过-o参数指定输出文件，则会生成一个json格式的文档。
TagName为爬取的标签名称，比如超链接的a，其值是一个json数组，数组中的每个内容为Json对象，每个Json对象，有属性和文本构成。如果-attr 指定了要爬取的属性，则AttrName为指定的属性名称，比如href或src。text为该标签的文本内容，有些标签不存在文本内容，比如img、meta等，则该值为空。json格式如下：

  "TagName":
  
     "AttrName":"AttrValue1", "text":"text1"
     "AttrName":"AttrValue1", "text":"text2"
  

下面是一个sina网页的所有超链接json

    "a": [
        "href": "javascript:;",
        "text": "设为首页"
    , 
        "href": "javascript:;",
        "text": "我的菜单"
    , 
        "href": "https://sina.cn/",
        "text": "手机新浪网"
    , 
        "href": "",
        "text": "移动客户端"
    , 
        "href": "https://c.weibo.cn/client/guide/download",
        "text": "新浪微博"
    , 
        "href": "https://so.sina.cn/palmnews/web-sinanews-app-download.d.html",
        "text": "新浪新闻"
    , 
        "href": "https://finance.sina.com.cn/mobile/comfinanceweb.shtml",
        "text": "新浪财经"
    , 
        "href": "https://m.sina.com.cn/m/sinasports.shtml",
        "text": "新浪体育"
    , 
        "href": "https://tousu.sina.com.cn/about_app/index?frompage=heimaopc",
        "text": "黑猫投诉"
    , 
        "href": "http://blog.sina.com.cn/lm/z/app/",
        "text": "新浪博客"
    , 
        "href": "https://games.sina.com.cn/o/kb/12392.shtml",
        "text": "新浪游戏"
    , 
        "href": "https://zhongce.sina.com.cn/about/app",
        "text": "新浪众测"
    , 
        "href": "https://mail.sina.com.cn/client/mobile/index.php?suda-key=mail_app&suda-value=login",
        "text": "新浪邮箱客户端"
    , 
        "href": "javascript:;",
        "text": "关闭置顶"
    , 

写在最后

网页下载可通过wincurl工具。

下载地址：http://softlee.cn/wincurl.zip

介绍文章：《wincurl：一款基于HTTP协议的轻量级web资源抓取和上传工具》