Node.js——HTTP小爬虫

Posted 2020-09-06

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Node.js——HTTP小爬虫相关的知识，希望对你有一定的参考价值。

HTTP爬虫

网络上每时每刻都有海量的请求，有从客户端到服务器端的，也有服务器端到服务器端的

一般在浏览器里，我们是通过ajax来完成表单的提交或者是数据的获取，

那在http模块里呢get和request这两个接口来完成数据的获取或者是提交。

来个实例，爬一下51cto博客的数据

先从最简单的爬虫开始，爬源码

示例代码如下：

var http = require(‘http‘)
var url = ‘http://mazongfei.blog.51cto.com/3174958/1909817‘

http.get(url, function(res){
	var html = ‘‘
	
	res.on(‘data‘,function(data){
		html += data
	})
	
	res.on(‘end‘,function(){
		console.log(html)
	}).on(‘error‘,function(){
		console.log(‘获取博客页面出错‘)
	})
})

运行结果态度，截取一段如下：

源码虽然爬下来了，但是对我们来说没有多大意义，我们想拿到博客的标题信息，（因知识储备不够，未能爬到博客的代码，初步理解是Reboot文件）改爬慕课网

那这个时候就需要我们分析源码，把有价值的东西给筛选出来；

我们怎么对源码进行分析呢，这里推荐一个模块：cherio

它就像jquery一样能够操作装载后台html，简单而又方便

首先先安装一下该模块： npm install cheerio

var http = require(‘http‘)
var cheerio = require(‘cheerio‘)
var url = ‘http://www.imooc.com/learn/348‘

function filterChapters(html){
	var $ = cheerio.load(html)
	var chapters = $(‘.chapter‘)
	//我们想拿到一个数组，格式如下：
	/*[{
		chapterTitle:‘‘,
		videos:[
			title:‘‘,
			id:‘‘	
		]
	}]*/
	var courseData = []
	//遍历的里面拿到数据
	chapters.each(function(item){
		var chapter = $(this);
		
		//章节标题
		var chapterTitle = chapter.find(‘strong‘).text()
		console.log(chapterTitle)
		var videos = chapter.find(‘.video‘).children(‘li‘)
		var chapterData = {
			chapterTitle:chapterTitle,
			videos:[]
		}
		
		//遍历videos
		videos.each(function(item){
			var video = $(this).find(‘.J-media-item‘)
			var videoTitle = video.text()
			var id = video.attr(‘href‘).split(‘video/‘)[1]
			
			chapterData.videos.push({
				title:videoTitle,
				id:id
			})
		})
		
		
		courseData.push(chapterData)
	})
	
	return courseData
}

function printCourseInfo(courseData){
	//数组中的遍历
	courseData.forEach(function(item){
		var chapterTitle = item.chapterTitle
		
		item.videos.forEach(function(video){
			console.log(‘【‘+video.id+‘】‘+video.title);
		})
	})
}

http.get(url, function(res){
	var html = ‘‘
	
	res.on(‘data‘,function(data){
		html += data
	})
	
	res.on(‘end‘,function(){
		//处理
		var courseData = filterChapters(html)
		printCourseInfo(courseData)
	}).on(‘error‘,function(){
		console.log(‘获取页面出错‘)
	})
})

运行结果如下：