Java使用HtmlUnit抓取js渲染页面

Posted 2020-09-19 疯子加天才

需求：

需要采集js渲染的页面，有些网站的页面是js渲染的

实现：

基于htmlUnit实现：

1. public static void getAjaxPage() throws Exception{  
2.     WebClient webClient = new WebClient();  
3.     webClient.setjavascriptEnabled(true);  
4.     webClient.setCssEnabled(false);  
5.     webClient.setAjaxController(new NicelyResynchronizingAjaxController());  
6.     webClient.setTimeout(Integer.MAX_VALUE);  
7.     webClient.setThrowExceptionOnScriptError(false);  
8.     HtmlPage rootPage = webClient.getPage("http://tt.mop.com/read_14304066_1_0.html");  
9.  
10.     System.out.println(rootPage.asXml());  
11. } 

maven依赖：

1. <dependency> 
2.     <groupId>net.sourceforge.htmlunit</groupId> 
3.     <artifactId>htmlunit-core-js</artifactId> 
4.     <version>2.9</version> 
5.     <scope>compile</scope> 
6. </dependency> 
7. <dependency> 
8.     <groupId>net.sourceforge.htmlunit</groupId> 
9.     <artifactId>htmlunit</artifactId> 
10.     <version>2.9</version> 
11.     <scope>compile</scope> 
12. </dependency> 

说明：

Nutch插件：nutch-htmlunit用于替换Nutch自身的Http Fetch组件