js爬虫心得

Posted 2020-08-20 任小小

第一步：分析要爬的网站：包括是否需要登陆、点击下一页的网址变化、下拉刷新的网址变化等等
第二步：根据第一步的分析，想好爬这个网站的思路
第三步：爬好所需的内容 保存

爬虫过程中用到的一些包：

（1）const request =  require(‘superagent‘); // 处理get post put delete head 请求  轻量接http请求库,模仿浏览器登陆

（2）const cheerio = require(‘cheerio‘); // 加载html
（3）const fs = require(‘fs‘); // 加载文件系统模块 将数据存到一个文件中的时候会用到

        fs.writeFile(‘saveFiles/zybl.txt‘, content, (error1) => { // 将文件存起来 文件路径 要存的内容 错误
             if (error1) throw error1;
             // console.log(‘ text save ‘);
         });

（4）const fs      = require(‘graceful-fs‘); // 将文件存为xlse

       const writeStream = fs.createWriteStream(‘saveFiles/trader.xlsx‘); //新建xlsx文件

       writeStream.write(title);//像slsx里面写入内容

（5）const Promise = require(‘bluebird‘); //异步处理

（6）const Nightmare = require(‘nightmare‘);//一个高层次的浏览器自动化图书馆  先要安装phantomjs 然后在装nightmare 

（7）const co        = require(‘co‘);

爬虫的相关思路：

（1）获取首页面的所需内容
（2）在首页面的所有内容里面获取所需内容的链接
（3）将（2）里面的链接存到一个list里面去
（3）新写一个function，采用.pop()方法，用来取通过链接得到的新的内容
（4）判断list.length是否大于0，
（5）如果不是，开始爬子页面 并且调用该方法
（6）如果list的长度为0，就说明这一页爬完了，开始下一页，则将url改变
（7）重复（2）（3）（4）（5）（6）直至所有页面爬完