JAVA爬虫--JS文件数据快速解析

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了JAVA爬虫--JS文件数据快速解析相关的知识,希望对你有一定的参考价值。

   最近在做一个足球数据爬虫,连接的是某常用足球比分直播平台的网站。在抓取的过程中方法很简单。打开网页地址,进入开发者模式,查看其数据加载。

发现其比分数据是采用获取平台js文件的方式从服务器下载下来然后执行js进行比分展现的.

    技术分享图片

  使用jsoup开源框架进行获取,在代码中合理的设置header。代码如下:

    技术分享图片

    解析方法如下:

    技术分享图片

输出结果:

    技术分享图片

又或者使用以下方法解析,但相对复杂,没有上述方法来的优雅,显得繁琐难懂:

技术分享图片


以上是关于JAVA爬虫--JS文件数据快速解析的主要内容,如果未能解决你的问题,请参考以下文章

Java 爬虫工具Jsoup解析

JAVA爬虫实践(实践三:爬虫框架webMagic和csdnBlog爬虫)

Java爬虫技术快速入门

Java爬虫技术快速入门

java网络爬虫

java爬虫怎么抓取js动态生成的内容