瓜子二手车爬虫源码

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了瓜子二手车爬虫源码相关的知识,希望对你有一定的参考价值。

/*使用javascript编写的爬虫源码,用于爬取瓜子二手车上的二车手信息。

代码粘贴到神箭手云爬虫平台(http://www.shenjianshou.cn/)上就可以直接跑了,

不需要安装编译环境。要爬取其他网站,可以更改源码即可。

 

代码执行具体步骤点这里

更多源码下载点这里

*/

 

 

var scanUrl = "http://www.guazi.com/hz/buy/";//@input(scanUrl, 入口url, 请输入一个需爬取城市的url,格式为:“http://www.guazi.com/城市名称/buy/”)

if (scanUrl.trim().length > 0) {
    var city = scanUrl.trim().substring(scanUrl.indexOf(".com/") + 5, scanUrl.indexOf("/buy/"));
}

var configs = {
    domains: ["guazi.com"],
    scanUrls: [scanUrl],
    contentUrlRegexes: ["https?://www\\.guazi\\.com/" + city + "/\\w+\\.htm"],
    helperUrlRegexes: ["https?://www\\.guazi\\.com/" + city + "/buy/(o\\d+/)?"],
    enableJS: false,
    interval: 10000,
    fields: [
        {
            name: "car_name",
            selector: "//h1[contains(@class,‘dt-titletype‘)]"
        },
        {
            name: "car_price",
            selector: "//span[contains(@class,‘fc-org pricestype‘)]"
        },
        {
            name: "car_license",
            selector: "//li[contains(@class,‘one‘)]/b"
        },
        {
            name: "car_mileage",
            selector: "//ul[contains(@class,‘assort‘)]/li[2]/b"
        },
        {
            name: "car_gearbox",
            selector: "//ul[contains(@class,‘assort‘)]/li[3]/b"
        },
        {
            name: "car_emission_standard",
            selector: "//li[contains(@class,‘em-sta detailHoverTips‘)]/b"
        },
        {
            name: "car_license_location",
            selector: "//ul[contains(@class,‘assort‘)]/li[5]/b"
        },
        {
            name: "car_owner",
            selector: "//li[contains(@class,‘owner‘)]/text()[2]"
        },
        {
            name: "car_description",
            selector: "//*[@id=‘base‘]/p"
        }
    ]
};

configs.afterExtractField = function(fieldName, data, page) {
    if (fieldName == "car_price") {
        var price = extract(data, "//b").replace("¥", "¥");
        var coinUnit = exclude(data, "//b");
        return (price + coinUnit);
    }
    else if (fieldName == "car_owner") {
        return data.trim();
    }
    else if (fieldName == "car_description") {
        return data.replace("<em></em>", "");
    }
    return data;
};

var crawler = new Crawler(configs);
crawler.start();

 

以上是关于瓜子二手车爬虫源码的主要内容,如果未能解决你的问题,请参考以下文章

Tableau可视化分析实战系列(三十二)-瓜子二手车市场数据分析(Scrapy+Tableau)

node.js+mongodb 爬虫

上车了,上车了(python爬取瓜子二而手车数据)

瓜子二手车的谎言!

Python高级应用程序设计任务

一年佣金翻番,看瓜子二手车如何亩产万斤