抓取js动态生成数据

Posted 2020-09-13 啄木鸟伍迪

　　最近在抓数据，一般的网页数据抓取相对容易一些，今天在抓电视猫的节目单，发现有些数据时抓取不到的，Java端得到的html文件里面没有某一段代码，查了很多资料，发现说是js动态生成的数据，无法直接抓取，有一种解决方法是利用找到ajax请求地址和参数，重新抓取，该方法存在一个问题，就是当参数被加密过时，该方法就不好用了，所以，这里用了一个办法，就是利用HTMLunit来抓取（可以利用jsuop来处理HTML文件），jar包下载地址：http://download.csdn.net/detail/joy460154849/9822849（HTMLunit所用到的jar包全部导入后，稍微调整一下，因为有些有重复导入或者版本问题）代码如下：

public static String  getHtml(String url){
        // 模拟一个浏览器  
        @SuppressWarnings("resource")
        WebClient webClient = new WebClient();  
        //webclient参数载体  
        WebClientOptions clientOptions = webClient.getOptions();  
        // 设置webClient的相关参数  
        clientOptions.setjavascriptEnabled(true);  
        clientOptions.setCssEnabled(false);  
        webClient.setAjaxController(new NicelyResynchronizingAjaxController());  
        clientOptions.setTimeout(35000);  
        clientOptions.setThrowExceptionOnScriptError(false);  
        // 模拟浏览器打开一个目标网址  
        HtmlPage rootPage = null;
        try {
            rootPage = webClient.getPage(html);
        } catch (FailingHttpStatusCodeException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (MalformedURLException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }  
  
        //保存页面  
        //rootPage.save(new File("/home/share/Test/1"));  
          
        //body html信息  
        HtmlElement htmlElement = rootPage.getBody();  
        String xmlContent = htmlElement.asXml();  
        return xmlContent;
    }