爬虫之js逆向（易车网实例）

Posted 2021-07-11 程序员唐丁

前几天想对中国市场上所有汽车品牌的所有车型的配置参数做一个统计分析，但是苦于没有数据，因此想着用爬虫去获取相关数据。然后发现几个著名的汽车网站的数据也大同小异，所以最后锁定易车网平台来获取所有品牌旗下的所有车型的配置参数。然后在爬取过程中我发现配置参数的数据并不在网页源代码中，经过检查发现数据是访问一个后台API获取的。然而在我直接访问这个API链接时报了以下错误：

然后经过一通分析与定位发现了需要传给后台校验的请求头参数是："x-sign"和"x-timestamp"两个

经过分析可以知道"x-timestamp"是一个实时时间戳，这个通过函数很容易解决，可是"x-sign"是一个加密签名，我们应该怎么办呢？

这个时候就得说说JS逆向了。

首先我们用chrome浏览器通过检查找到生成"x-sign"的js函数

然后将生成"x-sign"的js函数都抠出来，如果js代码较短我们可以用Python进行复写，如果较长那么我们可以选择用Python直接调用这部分的js代码。

经过分析我找到了生成"x-sign"的js函数段

function yiche(t) {
    var a = (new Date).getTime();
    var n = {cid: 508, param: ""};
    n.param = "{\\"cityId\\":1501,\\"serialId\\":\\"+ +2573\\"}";
    r = g("cid=" + 508 + "&param=" + param + Y + a);
    return a, r
}

然后我将得到的"x-sign"的值写进请求头，发现请求成功～～惊喜，soeasy

以奥迪A6L为例看下爬取的结果

详细代码已上传csdn资源文件中，也可以关注“程序员唐丁”公众号联系管理员获取。