node小爬虫

Posted 。。。

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了node小爬虫相关的知识,希望对你有一定的参考价值。

这一章主利用node的http模块制作一个网页的小爬虫来爬去网页信息,其中对于后端html的节点的获取采用了cheerio模块,这

/**
 * Created by Administrator on 2016/9/16.
 */
var http = require(‘http‘);
var cheerio = require(‘cheerio‘);
var url = ‘http://www.imooc.com/learn/348‘;
function filterChapters(html){
      var $ = cheerio.load(html);// 要使用cheerio模块先要用npm install cheerio加载进来,然后再前面引入(var cheerio = require(‘cheerio‘);)
      var chapters = $(‘.chapter‘);

    var courseData = [];
    chapters.each(function(item){

        var chapter = $(this);
        var chapterTitle = chapter.find(‘strong‘).text();

        var videos = chapter.find(‘.video‘).children(‘li‘);

        var chapterData = {
            chapterTitle:chapterTitle,
            videos:[]
        }
        videos.each(function(item){
            var video = $(this).find(‘.J-media-item‘);
            var videoTitle = video.text();

            var id = video.attr(‘href‘).split(‘video/‘)[1];

            chapterData.videos.push({
                title:videoTitle,
                id:id,
            })

        })
        courseData.push(chapterData);

    })

    return courseData;

}

function printCourseInfo(courseData){

    courseData.forEach(function(item){

         var chapterTitle = item.chapterTitle;
        console.log(chapterTitle );
        item.videos.forEach(function(video){
            console.log(video.id)
            //console.log(‘ 【‘+ video.id + ‘】 ‘+ video.title + ‘\n‘);

        })
    })
}

http.get(url,function(res){
    var html = ‘‘;
    res.on(‘data‘,function(data){ res会监听data事件的发生
        html += data;
    });
    res.on(‘end‘,function(){

        var courseData = filterChapters(html);

        printCourseInfo(courseData);
    })
}).on(‘error‘,function(){
    console.log(‘获取课程出错!‘)
})

 

个模块可以在后端获取html页面的元素

,获取方法类似于jquery

代码如下

以上是关于node小爬虫的主要内容,如果未能解决你的问题,请参考以下文章

Node.js JavaScript 片段中的跳过代码

Node.js(十三)——Promise重构爬虫代码

Node.js umei图片批量下载Node.js爬虫1.00

node爬虫入门

Node.js——HTTP小爬虫

基于node的简单爬虫