Python爬虫编程思想(104):Splash基础(支持Lua的轻量级浏览器)

Posted 蒙娜丽宁

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫编程思想(104):Splash基础(支持Lua的轻量级浏览器)相关的知识,希望对你有一定的参考价值。

目录

1. Splash功能简介

2. 安装Docker

3. 安装Splash


        Splash是一个javascript渲染服务,是一个带有HTTP API的轻量级浏览器。可以使用lua语言编写代码对页面进行渲染,Python可以通过HTTP API调用Splash内部的功能,甚至可以与Lua代码进行交互,所以Splash可以很容易与Python集成在一起实现爬虫应用。

1. Splash功能简介


Splash的功能众多,本节会列出一些主要的功能:

  • 由于Splash内置的浏览器使用了Twisted框架,所以可以异步处理多个网页的渲染
  • 获取渲染后的页面源代码或截图
  • 通过关闭图片渲染或者使用Adblock规则来

以上是关于Python爬虫编程思想(104):Splash基础(支持Lua的轻量级浏览器)的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫编程思想(107):基于Splash的爬虫--对象属性

Python爬虫编程思想(108):基于Splash的爬虫--go函数与wait函数

Python爬虫编程思想(105):基于Splash的爬虫--第1个Lua脚本

Python爬虫编程思想(105):基于Splash的爬虫--第1个Lua脚本

Python爬虫编程思想(110):基于Splash的爬虫--更多的Lua函数

Python爬虫编程思想(106):基于Splash的爬虫--异步处理与go函数