(java)selenium webdriver学习---实现简单的翻页,将页面内容的标题和标题链接取出

Posted 夏日的向日葵

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了(java)selenium webdriver学习---实现简单的翻页,将页面内容的标题和标题链接取出相关的知识,希望对你有一定的参考价值。

selenium webdriver学习---实现简单的翻页,将页面内容的标题和标题链接取出;

该情况适合能能循环page=1~n,并且每个网页随着循环可以打开的情况,

注意一定是自己拼接的url可以打开,如:http://ask.testfan.cn/articles?page=15,就可以翻到文章分类的第15页;

import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Set;
import java.util.concurrent.TimeUnit;

import org.apache.commons.io.FileUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.omg.CORBA.PUBLIC_MEMBER;
import org.openqa.selenium.By;
import org.openqa.selenium.OutputType;
import org.openqa.selenium.TakesScreenshot;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.phantomjs.PhantomJSDriver;
import org.openqa.selenium.support.ui.ExpectedCondition;
import org.openqa.selenium.support.ui.ExpectedConditions;
import org.openqa.selenium.support.ui.Wait;
import org.openqa.selenium.support.ui.WebDriverWait;

public class YsfTest_20180727{
    private static final int ExpectedCondition = 0;
    private static final int Boolean = 0;
    public static void main(String[] args) throws InterruptedException, IOException{
        WebElement search = null;
        System.setProperty("webdriver.chrome.driver","C:/Program Files (x86)/Google/Chrome/Application/chromedriver.exe");
        WebDriver driver = new ChromeDriver();
        int pageNum = 15;
        int i =1;
        while(i <= pageNum){
            driver.get("http://ask.testfan.cn/articles?page="+ i);
            //窗口最大化
            driver.manage().window().maximize();
            //将title里面的a标签取出
            List<WebElement> ll = driver.findElements(By.cssSelector(".title > a"));
            //循环a标签
            for(WebElement w:ll){
                //将a标签对应的文本取出
                System.out.println(w.getText());
                //将a标签下href的元素值url取出
                System.out.println(w.getAttribute("href"));
                }
            System.out.println("第"+i+"页面抓取完毕");
            i = i + 1;
        }
        System.out.println("全部抓取完毕");
        driver.close();
    } 
}

该示例抓取的是Testfan软件测试社区的文章标题及链接(只抓了15页),抓取结果以第一页为例:

****************

【工具分享】Jmeter大文件分析利器,比官方快30倍的分析工具
http://ask.testfan.cn/article/1275
Selenium之操作360浏览器
http://ask.testfan.cn/article/1223
Testfan3月接口免费福利课程——秒杀说明
http://ask.testfan.cn/article/1201
Python覆盖率
http://ask.testfan.cn/article/1193
2018职业测试必读书单
http://ask.testfan.cn/article/1191
Selenium——去掉Chrome正受到自动软件测试的控制(Java)
http://ask.testfan.cn/article/1187
【原创】appium-desktop版本配置命令行运行服务(Mac)
http://ask.testfan.cn/article/1186
【原创】appium-desktop版本配置命令行运行服务(windows)
http://ask.testfan.cn/article/1185
Macaca环境配置及样例执行
http://ask.testfan.cn/article/1181
Selenium环境汇总
http://ask.testfan.cn/article/1173
Appium Hybrid混合应用测试——Native切换WebView
http://ask.testfan.cn/article/1169
android 】查看被测应用程序package和launchable-activity
http://ask.testfan.cn/article/1168
快捷定位Appium滑动坐标
http://ask.testfan.cn/article/1158
测试用例的设计方法
http://ask.testfan.cn/article/1157
测试工作常用命令
http://ask.testfan.cn/article/1153
jekins安装文档
http://ask.testfan.cn/article/1152
Qtp常见问题解答(百度整理)
http://ask.testfan.cn/article/1151
Testfan10月户外爬山活动报名中
http://ask.testfan.cn/article/1150
APP测试基本流程
http://ask.testfan.cn/article/1149
软件测试面试题:软件测试工具的应用
http://ask.testfan.cn/article/1148
第1页面抓取完毕

******************

本例用到,窗口最大化:driver.manage().window().maximize();

将title里面的a标签取出并放在list里:
 List<WebElement> ll = driver.findElements(By.cssSelector(".title > a"));

将a标签对应的文本取出:w.getText();

将a标签下href的元素值url取出:w.getAttribute("href");

 











































以上是关于(java)selenium webdriver学习---实现简单的翻页,将页面内容的标题和标题链接取出的主要内容,如果未能解决你的问题,请参考以下文章

[Selenium+Java] Verify Tooltip Using Selenium WebDriver

使用java在Selenium WebDriver(Selenium 2)中向上或向下滚动页面

零基础Selenium:Webdriver图文入门教程java篇(附相关包下载)

如何使用 Java 在 selenium webdriver 中打开新选项卡,或者如何使用 selenium webdriver 使用动作类在 selenium 中按 ctrl + T [重复]

java+selenium webdriver怎么实现数据参数化

无法使用Selenium和Java 11导入org.openqa.selenium.WebDriver