nodejs实现最简单的爬虫

Posted 2020-11-02 maorongmaomao

本文将以抓取百度搜索结果中关键词的相关搜索为例子，教会大家以nodejs制作最简单的爬虫： 

开始之前呢，先来个公众号求粉：

  

 

将使用的node模块及属性介绍：

 

request：

 

     用于发送页面请求，抓取页面代码

     GET请求

     

 

cheerio：

        

   cheerio 是一个 jQuery Core 的子集，其实现了 jQuery Core 中浏览器无关的 DOM 操作 API：

   本例子中将使用load方法，以下是一个简单的示例：

    

 

express：

 

     基于Node.js 平台,快速、开放、极简的 web 开发框架，这里主要用来做简单的路由功能，就不做详细介绍了，主要是用了get，具体可以参考官网。

 

 

具体实现：

 

1.首先，我们要使用express搭建简单的node服务

 

 

 

使用命令行运行node demo.js,并在浏览器中访问 localhost:3000/key 运行结果为

 

 

 

2. 使用request实现页面抓取功能

 

 

使用命令行运行node demo.js,并在浏览器中访问 localhost:3000/key 运行结果为

 

 

 

3.使用cheerio将页面代码解析为jquery格式，并用jQuery语法找到抓取的内容位置，这样这个爬虫就实现了！

 

想要知道具体的解决方案，请关注我的公众号哦～回复 “node爬虫”获取原文哟

 

公众号

 

使用命令行运行node demo.js,并在浏览器中访问 localhost:3000/index 运行结果为

tips：

有些网站不是utf-8编码模式，这时可以使用iconv-lite来解除gb2312的乱码问题

当然各个网站都有反爬虫功能，可以通过 研究怎么模拟一个正常用户的请来规避部分问题（百度的中文搜索也会被屏蔽）

本文只是个入门，后序有机会将和大家详细讨论进阶版哦