phantomjs2.1 初体验

Posted 2020-09-21 雪松

上次看了一下scrapy1.1的新手指南

决定写个小爬虫实验一下

目标网站是http://www.dm5.com/manhua-huofengliaoyuan
准备爬取漫画火凤燎原的已有章节，将图片保存到本地

开始一切顺利，从漫画目录页面开始，拿到了每一话（卷）的地址

然而访问后发现页面中的图片地址都是加过密的，找不到真实地址。
（网页源代码中没有，f12看network大概看了一下，也没有发现地址，所以应该是加密了）

后来试着打开了几个漫画网站，只有腾讯动漫能在页面中找到图片的连接。

决定试一试phantomjs

PhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准：DOM 操作，CSS选择器，JSON，Canvas 以及SVGPhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准：DOM 操作，CSS选择器，JSON，Canvas 以及SVG。
<!-- more -->

以下使用火凤燎原第5卷第2页的地址http://www.dm5.com/m5342-p2/为例子
按着官网指南走一边。

安装phantomjs2.1.1

从这里下载对应好的包
或者自己下载源码进行编译(据说自己编译巨慢)

我下载的是phantomjs-2.1.1-linux-x86_64.tar.bz2
解压缩，在目录里执行

./bin/phantomjs -v
-->2.1.1

话说这样执行没问题，也给了+x权限，但是ln -s 到/usr/bin目录下却无法执行。。
将phantomjs连接到python环境的bin目录下。

新手指南

官方新手指南
我是按着官方走，但是实验自己需要爬取的页面

Hello,World!

新建一个文档hello.js
内容：

# 在控制台打印日志
console.log(‘Hello, world!‘);
// 退出phantomjs
phantom.exit();

在hello.js目录下执行

phantomjs hello.js
--> Hello,world!

注意任何时候都不要忘记phantom.exit();
他用来让phantomjs退出

载入页面并将整个页面保存成图片

//创建一个webpage对象
var page = require(‘webpage‘).create();
// 打开页面
page.open(‘http://www.dm5.com/m5342-p2/‘, function(status) {
  // 输出状态
  console.log("Status: " + status);
  if(status === "success") {
    // 如果状态为success，将整个page保存为hfly.jpg（也可以是png，pdf, gif）
    page.render(‘hfly.jpg‘);
  }
  phantom.exit();
});

执行代码后

http://oc1suuvql.bkt.clouddn.com/image/3f0da110-75fa-44be-b504-9f0b01a0dc89.jpg

感觉速度很慢，不过这是保存了整个页面，如果只保存图片会不会快一点？
官网真贴心，紧跟着就给了一个测速脚本

测试速度loadspeed.js

这个速度是phantomjs加载页面并且渲染页面的总耗时。

var page = require(‘webpage‘).create(),
  system = require(‘system‘),
  t, address;

if (system.args.length === 1) {
  console.log(‘Usage: loadspeed.js <some URL>‘);
  phantom.exit();
}

t = Date.now();
// 读取控制台参数
address = system.args[1];
page.open(address, function(status) {
  if (status !== ‘success‘) {
    console.log(‘FAIL to load the address‘);
  } else {
    t = Date.now() - t;
    console.log(‘Loading ‘ + system.args[1]);
    console.log(‘Loading time ‘ + t + ‘ msec‘);
  }
  phantom.exit();
});

执行，参数为要测试的地址
地址前面要加上http://或者https://

phantomjs loadspeed.js http://www.baidu.com
-->Loading time 5403 msec
phantomjs loadspeed.js http://www.dm5.com/m5342-p2/
-->Loading time 76584 msec

。。。
敢问你是不是在逗我？秒速五厘米很美、、秒速76厘米就是逗逼了。。
为什么这么慢？他怎么就这么慢？是我环境的问题嘛？
（因为我是用的虚拟机centos7，本地win7 pycharm remote evns，虚拟机的内存小cpu只分配了一个核心，可能渲染的就慢一些？）

早有耳闻phantomjs速度慢，没想到google诚不欺我。。
不行。。我要在本地win7上也试一下。
本地

phantomjs.exe loadspeed.js http://www.baidu.com
-->Loading time 701msec
phantomjs.exe loadspeed.js http://www.dm5.com/m5342-p2/
-->Loading time 5534 msec

我猜对了。。。
那我真是好尴尬，本地win7 安装python3 的各种包真是无力
搞个虚拟机专门用来配置python环境。。没想到phantomjs需要一定的性能。。

我再试试我的vps。。512M，1核，本地虚拟机是1核，768M。

phantomjs.exe loadspeed.js http://www.google.com
-->Loading time 415msec
phantomjs.exe loadspeed.js http://www.nba.com
-->Loading time 2800 msec
phantomjs.exe loadspeed.js http://www.dm5.com/m5342-p2/
-->Loading time 7993 msec

看来不是性能问题，是下载速度。。
我用的虚拟机是本地桥接，没想到网速会差这么多

!!又尼玛反转，剧情神打脸，啪啪啪啪

http://oc1suuvql.bkt.clouddn.com/image/ccf06c6b-c876-4f45-a194-ba04e5eea016.jpg

虚拟机的网速也是呱呱叫的
目前，唯一能解释的就是vmware不行，效率低（本身就是虚拟机）
但是vps也是虚拟机来着。。到底人家专业做的么？

小结：使用phantomjs，要么在本地机器上运行，要么直接放vps上运行。
用vmware，慢出个翔、、

代码评估（code evaluation）

不知道怎么翻译，明明就是分析代码然后取出需要的内容

使用evaluate()方法去审核页面代码，这个方法是沙盒式的，不会去执行页面外的js代码。
（也就是说在外面定义的变量不能在evalute方法中使用）
evalute方法是直接去操作page对象了，把处理后取得的内容返回。

evaluate()方法返回一个对象，也只能返回一个对象，不能包含函数。

// 获得页面标题
url = ‘http://www.dm5.com/m5342-p2/‘
// 创建webpage对象
var page = require(‘webpage‘).create();
page.open(url, function(status) {
  if(status === "success"){
    // 从page对象里，evalute出来title（不知道怎么翻译。。）
    var title = page.evaluate(function() {
      return document.title;
    });
    console.log(‘Page title is ‘ + title);
  }else {
    console.log(‘failed‘);
  }
  phantom.exit();
});

执行后输出页面标题

通常一个网页自己也有console输出，在chrome里f12选择console就能看到。
这个输出在phantomjs里是不会被显示出来的
evaluate方法里的console.log也不会显示（因为相当于网页自己的console输出了。）
如果想要输出
需要重写onConsoleMessage方法

url=‘http://www.dm5.com/m5342-p2/‘
var page = require(‘webpage‘).create();
page.onConsoleMessage = function(msg) {
  console.log(‘Page title is ‘ + msg);
};
page.open(url, function(status) {
  page.evaluate(function() {
    console.log(document.title);
  });
  phantom.exit();
});

我尼玛。
为啥会有一个百度的广告。
估计是这个网站使用了百度推广或者统计吗？
但是chrome里看控制台，却没有这个百度的输出
不知道为啥

只要phantomjs脚本运行起来，就可以使用css 选择器和标准的js DOM 操作。
所以需要了解一下css selector 和 DOM 操作

自动化任务

由于phantomjs可以加载和操作web界面，所以可以用它来做自动化。
详见page automation tasks

网络监控

歪了歪了，，我只想拿页面上的图片。。
但是官方指南只是介绍大概功能，鉴于这是最后一点内容。也一并记录下来好了

phantomjs 有网络通信的检查功能，很适合用来做网络行为的分析。
当接受到请求时，可以通过重写onResourceRequested和onResourceReceived回调函数来实现接收到资源请求和资源接受完毕的监听。
详见network monitoring

// 网络监听
url=‘http://www.dm5.com/m5342-p2/‘
var page = require(‘webpage‘).create();
page.onResourceRequested = function(request) {
  console.log(‘Request ‘ + JSON.stringify(request, undefined, 4));
};
page.onResourceReceived = function(response) {
  console.log(‘Receive ‘ + JSON.stringify(response, undefined, 4));
};
page.open(url);

这样在webpage载入的时候，会把所有网络请求的请求内容和响应内容打印到控制台。

官方例子

里面有很多样例代码，可以直接看，不同的再去翻手册
Examples

记录一下拿图片地址的代码

果然官方指南只是大略的介绍一下

拿图片地址的文件get_pic_url.js

// 接受漫画网页地址
url = system.args[1];
var page = require(‘webpage‘).create();
page.open(url, function(status) {
  if(status === "success"){
            // 处理页面
          var pic_url = page.evaluate(function() {
            // DOM操作
            return document.getElementById(‘cp_image‘).getAttribute(‘src‘);
          });
          console.log(pic_url);
  }else{
    console.log(‘failed‘);
  }
  phantom.exit();
});

执行 phantomjs get_pic_url.js http://www.dm5.com/m5342-p2/
输出图片地址。

总结

phantomjs是一个无界面的浏览器。
所以在代码最后一定要加入phantom.exit()方法确保其退出。

phantomjs加载页面以后
用evaluate()方法对渲染后的页面代码进行操作，此函数值操作页面，和我们执行的js不在一个域。

phantomjs可以做自动化测试，网络监听等工作。