node 写的简单爬虫

Posted 2020-10-24 aSnow

安装cheerio

npm install cheerio --save

引入http和cheeri

var http=require("http");
var cheerio=require("cheerio");

1.爬取新闻

我们选择新浪新闻来进行爬取

http://news.sina.com.cn/china/

http.get(url,function(res){
     var html=\'\';
     res.on(\'data\',function(data){
         html +=data
     })
 
     res.on(\'end\', function() {
         var $=cheerio.load(html);
        $("#subShowContent2_static .news-item h2").each((iten,i)=>{
            console.log($(i).text());
        })
　　　　　　console.log("数据加载完毕");
     });
 }).on(\'error\', function() {
     console.log("获取数据出错！")
 });

结果如下：

2.爬取图片

我们选择天极网的图片进行爬取

http://pic.yesky.com/

http.get(url, function (res) {
        var imageData =\'\';
        res.on(\'data\',function(data){  //图片加载到内存变量
            imageData += data;
        }).on(\'end\',function(){        //图片加载完
            var $=cheerio.load(imageData);
            $Imgs = $(\'img\'),
            $Imgs.each((iten,i)=>{
            console.log($(i).attr(\'src\')+"------");
           })   
        });
    });

结果如下：