JSoup - abs:href 获取的绝对地址为空问题

Posted 平凡之路

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了JSoup - abs:href 获取的绝对地址为空问题相关的知识,希望对你有一定的参考价值。

Summary

  • 在获取 a 标签中的 href 值得时候,发现可以获取到相对地址,但是使用 abs:href 的是返回结果是空的。
  • 查看文档发现,Jsoup.parse 的第二个参数可以传入 baseURL,我们在这里获取即可。

Demo

  • Scala 代码
val urlList = Jsoup.parse(html,"https://www.jianshu.com/").getElementsByAttributeValue("target","_blank").select(".title")
println(urlList)
println(htmlPage.getBaseURL)
urlList.forEach(
  // Element:
  x => {
    println(x.absUrl("href"))
    println(x.absUrl("abs:href"))
  }
)
  • Scala 代码
def getContentUrls: List[URL] = {
  val listBuffer = new ListBuffer[URL]
  val urlList = Jsoup.parse(html).select("""a[href~=.*?.html]""")
  urlList.foreach(x => {
    val url =  new URL (x.attr("abs:href"))   // 获取元素A Element 的绝对路径信息
    logger.info("获取URL的绝对路径信息: " + url)
    listBuffer += url
  })
  listBuffer.toList
}

以上是关于JSoup - abs:href 获取的绝对地址为空问题的主要内容,如果未能解决你的问题,请参考以下文章

Jsoup-- Jsoup获取DOM元素属性值

Jsoup 快速入门

使用Spring Data ElasticSearch+Jsoup操作集群数据存储

jsoup入门

jsoup入门

jsoup教程