使用 jsoup 解析 JavaScript

Posted 2023-02-26

【中文标题】使用 jsoup 解析 JavaScript

【英文标题】：Parse JavaScript with jsoup

【发布时间】：2013-02-01 00:32:45

【问题描述】：

在html 页面中，我想选择javascript 变量的值。 下面是HTML页面的sn-p：

<input id="hidval" value="" type="hidden"> 
<form method="post" style="padding: 0px;margin: 0px;" name="profile" autocomplete="off">
<input name="pqRjnA" id="pqRjnA" value="" type="hidden">
<script type="text/javascript">
    key="pqRjnA";
</script>

我的目标是使用jsoup从此页面读取变量key的值。jsoup 可以吗？如果是那怎么办？

【问题讨论】：

您必须获取脚本内容，然后手动解析，或者查看是否可以使用 Rhino 从执行的 JS 片段中获取上下文。

@Reimeus：没有。初始化可以在其他地方完成，一些值被分配给变量key。

添加了 kotlin 标记，因为 similar Koltlin question 被标记为重复并链接到此问题。

【参考方案1】：

由于 jsoup 不是 javascript 库，您有两种方法可以解决此问题：

A.使用 javascript 库

专业版：

完整的 Javascript 支持

缺点：

其他库/依赖项

B.使用Jsoup + 手动解析

专业版：

不需要额外的库 简单的任务就足够了

缺点：

不如 javascript 库灵活

这里有一个示例如何使用 jsoup 和一些 "manual" 代码获取key：

Document doc = ...
Element script = doc.select("script").first(); // Get the script part


Pattern p = Pattern.compile("(?is)key=\"(.+?)\""); // Regex for the value of the key
Matcher m = p.matcher(script.html()); // you have to use html here and NOT text! Text will drop the 'key' part


while( m.find() )

    System.out.println(m.group()); // the whole key ('key = value')
    System.out.println(m.group(1)); // value only

输出（使用您的 html 部分）：

key="pqRjnA"
pqRjnA

【讨论】：

嘿，Jsoup + manual parsing 是很好的解决方案，但是在我使用 js 变量作为数组时会中断。 eg: keyArray = [1, 2, 3]你能给我解决办法吗。

您可以改用这个正则表达式：(?s)(keyArray)\\s??=\\s??\\[(.*?)\\]。如果定义了两个组：组 1 = 变量名，组 2 = 值（[ ] 内的那些）。

如果我在脚本标签中有 abc.xyz.init(requiredJsonObjectAsAnArgument); 之类的东西，我只想解析 requiredJsonObjectAsAnArgument。你能建议我适用于这种情况的正则表达式吗？

请尝试(?s)\\.init\\(\\(.+?)\\\\); - 组#1 包含requiredJsonObjectAsAnArgument。

【参考方案2】：

Kotlin question 被标记为重复并指向此问题。 所以，这就是我使用 Kotlin 的方法：

val (key, value) = document
    .select("script")
    .map(Element::data)
    .first  "key" in it  // OR single  "key" in it 
    .split("=")
    .map(String::trim)
val pureValue = value.replace(Regex("""["';]"""), "")
println("$key::$pureValue") // key::pqRjnA

另一个版本：

val (key, value) = document
    .select("script")
    .first  Regex("""key\s*=\s*["'].*["'];""") in it.data() 
    .data()
    .split("=")
    .map  it.replace(Regex("""[\s"';]"""), "") 
println("$key::$value") // key::pqRjnA

脚注

要获取文档，您可以这样做：

来自文件：

val input = File("my-document.html")
val document = Jsoup.parse(input, "UTF-8")

从服务器：

val document = Jsoup.connect("the/target/url")
    .userAgent("Mozilla")
    .get()