Python爬虫编程思想(104):Splash基础(支持Lua的轻量级浏览器)
Posted 蒙娜丽宁
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫编程思想(104):Splash基础(支持Lua的轻量级浏览器)相关的知识,希望对你有一定的参考价值。
目录
Splash是一个javascript渲染服务,是一个带有HTTP API的轻量级浏览器。可以使用lua语言编写代码对页面进行渲染,Python可以通过HTTP API调用Splash内部的功能,甚至可以与Lua代码进行交互,所以Splash可以很容易与Python集成在一起实现爬虫应用。
1. Splash功能简介
Splash的功能众多,本节会列出一些主要的功能:
- 由于Splash内置的浏览器使用了Twisted框架,所以可以异步处理多个网页的渲染
- 获取渲染后的页面源代码或截图
- 通过关闭图片渲染或者使用Adblock规则来
以上是关于Python爬虫编程思想(104):Splash基础(支持Lua的轻量级浏览器)的主要内容,如果未能解决你的问题,请参考以下文章
Python爬虫编程思想(107):基于Splash的爬虫--对象属性
Python爬虫编程思想(108):基于Splash的爬虫--go函数与wait函数
Python爬虫编程思想(105):基于Splash的爬虫--第1个Lua脚本
Python爬虫编程思想(105):基于Splash的爬虫--第1个Lua脚本