Python爬虫编程思想(105):基于Splash的爬虫--第1个Lua脚本
Posted 蒙娜丽宁
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫编程思想(105):基于Splash的爬虫--第1个Lua脚本相关的知识,希望对你有一定的参考价值。
Splash可以通过Lua脚本执行一系列渲染操作,这样我们就可以用Splash来模拟浏览器的操作了。在后面的一些文章中介绍Lua脚本的入口、执行方式以及一些常用的API。
Splash Lua脚本需要一个入口方法,这个方法就是main方法。该方法通常由2个参数:splash和args。不过本节先不使用这args参数,只使用splash参数的go一些方法来实现
本文会利用go方法访问京东商城首页,然后获取京东商城首页的标题。编写的基本步骤如下:
1. 访问京东商城首页
splash:go("https://www.jd.com")
2. 等待京东商城首页加载完毕
splash:wait(0.5) -- 等待0.5秒
以上是关于Python爬虫编程思想(105):基于Splash的爬虫--第1个Lua脚本的主要内容,如果未能解决你的问题,请参考以下文章
Python爬虫编程思想(104):Splash基础(支持Lua的轻量级浏览器)
Python爬虫编程思想(104):Splash基础(支持Lua的轻量级浏览器)
Python爬虫编程思想(107):基于Splash的爬虫--对象属性
Python爬虫编程思想(108):基于Splash的爬虫--go函数与wait函数