爬虫的终极形态:nightmare

Posted 丶不知

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫的终极形态:nightmare相关的知识,希望对你有一定的参考价值。

 

爬虫的终极形态:nightmare

nightmare 是一个基于 electron 的自动化库(意思是说它自带浏览器),用于实现爬虫或自动化测试。相较于传统的爬虫框架(scrapy/pyspider),或者dom操作库(cheerio/jsdom),或者基于浏览器的自动化框架(selenium/phantomjs),他的优势在于提供了一个简洁有效 的编程模型。

来看官网给出的一个对比场景:

同样是实现一个向yahoo自动提交关键词并搜索的功能

1. PhantomJS实现

2. nightmare实现

 

怎么玩

安装

 

涉及到下载并编译一个electron,你国网速下需耐心等待

配置 options

 

 

实例化

 

 

交互用的API

简单介绍几个:

  • .goto(url[, headers]) 跳转到url
  • .viewport(width, height) 浏览器窗口大小
  • .wait(selector) 等待某个dom元素出现
  • .click(selector) 点击某个dom元素
  • .type(selector[, text]) 在某个dom元素中输入
  • .inject(type, file) 在页面上挂载 js/css 文件内容
  • .evaluate(fn[, arg1, arg2,...]) 在客户端注入JS脚本并执行,从而实现electron模型下的C/S互动及数据交换
  • ……

自动登录并轮询的例子

有那么一个网站(比如叫chagang.site),在我登录进去后,会不定时的查岗,需要点击一个按钮以证明没有离线,怎么用nightmare实现自动挂机呢?

大概分这么几步走:

  1. 先跳转到该网站
  2. 模拟输入帐号信息后点击submit
  3. 登录后等待主界面加载出现
  4. 在客户端起一个定时器,2秒一次轮询那个查岗按钮,发现就模拟点击

 

好像也没有多难 技术分享

小结

本文只涉及到API中的一小部分,宝贝都在文档里。用 nightmare,就是希望借助这种简洁模型的梳理,相对愉悦的实现自动化交互(至于标题,终归是意义过剩的产物,请忽略他的招摇。

以上是关于爬虫的终极形态:nightmare的主要内容,如果未能解决你的问题,请参考以下文章

nodejs爬虫笔记---利用nightmare模拟点击下一页

基于 Electron 的爬虫框架 Nightmare

记一次nodejs 爬虫(利用递归循环nightmare)

[企业大脑智能决策中枢系统]9. 政府大脑:政府数字化转型的终极形态

云计算进化进行时,Serverless会成为终极形态吗?丨科技云·视角

AMA预告元宇宙:互联网的终极形态,下一个大风口?