Java通过selenium自动化爬去数据
Posted zrbchina
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Java通过selenium自动化爬去数据相关的知识,希望对你有一定的参考价值。
Selenium,作为一个Web应用程序测试的工具。
1,配置selenium的路径和浏览器,我用的是firefox
webdriver.firefox.bin=D:/tools/firefox/firefox.exe
webdriver.gecko.driver=D:/project/geckodriver.exe
分别为firefox的安装路径和firefox的驱动路径,这个驱动主要是驱动firefox自动打开,点击按钮等操作。
2,
public class Selenium{ private static String driver = ""; private static String fireFox = ""; static { //读取配置文件中关于Selenium的配置 Properties properties = new Properties(); InputStream in = Object.class.getResourceAsStream("/selenium.properties"); try { properties.load(in); //驱动路径 driver = properties.getProperty("webdriver.gecko.driver"); //浏览器路径 fireFox = properties.getProperty("webdriver.firefox.bin"); } catch (Exception e) { e.printStackTrace(); } finally { try { in.close(); } catch (IOException e) { e.printStackTrace(); } } } WebDriver webDriverPC = new FirefoxDriver();
public static void main(String[] args) { String content = webDriverPC.get("http://www.baidu.com") } }
这样就可以得到请求后的html,在用
Jsoup处理
Document doc = Jsoup.parse(content);
可得到里面的内容。
以上是关于Java通过selenium自动化爬去数据的主要内容,如果未能解决你的问题,请参考以下文章
java+Selenium+TestNg搭建自动化测试架构实现代码和数据的分离
如何通过 selenium、appium、java 和 android 以更快的方式多次点击一个元素
Selenium Xpath元素无法定位 NoSuchElementException: Message: no such element: Unable to locate element(代码片段