nodejs 爬虫模板 map&array 数据模型

Posted ```...简单点

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了nodejs 爬虫模板 map&array 数据模型相关的知识,希望对你有一定的参考价值。

app.get(‘/knowledge‘, function (req, res, next) {
    var listUid = req.query.listUid;
    var url = "http://www.lengdou.net/page/" + listUid + "/";
    // console.log(‘--------开始检测--------‘);
    var content = {};
    var map = new Array();
    superagent
        .get(url)
        .end(function (err, sres) { // callback
            // 常规的错误处理
       if (err) {
                res.send(‘{\"code\":\"300\",\"msg\":\"读取出错!!\"}‘);
            }
            try {
                var $ = cheerio.load(sres.text);
                var lists = $(".list").each(function (index, element) {
                    var text = $(this).find(".list-content").find("p").text();
                    var url = $(this).find(".list-content").find("img").attr("src");
                    console.log(text + url + "\n");
                    var content = {};
                    content[‘text‘] = text;
                    content[‘url‘] = url;
                    map[index] = content;
                });
                res.send(JSON.stringify(map));
            } catch (e) {
            }
        });
});

 

以上是关于nodejs 爬虫模板 map&array 数据模型的主要内容,如果未能解决你的问题,请参考以下文章

nodejs 模板引擎ejs的简单使用

TypeScript之Map的遍历

js的map和reduce方法之对象数组去重

nodejs之egg框架整合ejs模板

百度地图商家爬虫

模板—Hash_map