node简单的爬虫

Posted 139199228-haicao

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了node简单的爬虫相关的知识,希望对你有一定的参考价值。

1、需要安装3个包

  express

  request  让请求变得更简单

  cheerio 爬取来的数据,让它变成DOM树,方便我们拿数据

const express = require("express");
const request = require("request");
const cheerio = require("cheerio");


const app = express()

app.get("/",(req,res)=>{
    request("https://mp.weixin.qq.com/s/CMeABQiFn5EXsqdqTmfTuQ",function(err,response,body){
        if(!err&&res.statusCode===200){
            $ = cheerio.load(body)
            var arr = [];
            
            for(let i=0;i<$("h4").length;i++){
                arr.push({
                    "title":$("h4").eq(i).text(),
                    "content":$("h4").eq(i).next().text()
                })
            }
            res.json(arr);
        }
    })
    
})
app.listen(8000,()=>{
    console.log("ok")
})

 

以上是关于node简单的爬虫的主要内容,如果未能解决你的问题,请参考以下文章

一个简单的小说爬虫

scrapy按顺序启动多个爬虫代码片段(python3)

scrapy主动退出爬虫的代码片段(python3)

node简单的爬虫

node 写的简单爬虫

node写简单的爬虫