还是比Selenium好用？Python使用Splash访问谷歌获取相应内容

Posted 2022-10-18

上次讲了一下playwright获取网站的数据。但是吧这个playwright，他终究是一个自动化调试工具，多多少少会占一点本地的资源。

这次的Splash可不一样了，他是部署在服务器上的，可以把负载的资源放在一个甚至多个服务器上，实现在服务器上将想要请求的网站，请求加渲染，把最后的html返回给你，让你解析数据。

一、Splash和Splash配置​

Splash是一个javascript的渲染服务，这是一款带有HTTP API的轻量级web浏览器，同时啊他还接入了python3的Twisted and QT5库。

Spalsh配置这里介绍下Liunx+Docker的配置，以下几步：

安装Docker，保证Docker安装的版本>=17

使用Docker拉取镜像

启动容器，开启Splash服务

1. Pull the image:  
2.     $ sudo docker pull scrapinghub/splash  
3. Start the container:  
4.     $ sudo docker run -it -p 8050:8050 --rm scrapinghub/splash

配置完成后，在你的浏览器输入服务器地址加端口号8050验证是否成功：

像这样你就成功了

二、Splash+requests的使用

Splash是用Lua语言写的脚本，用Lua语言模拟了浏览器加载的过程，从而返回各种结果，如网页源码，截图等。

那怎么配合python使用呢？

Splash有一个强大的接口：execute。此接口可以实现与Lua脚本的对接。当然Splash还有render接口，在此先按下不表，想要了解的话还是请自行查看文档。

1. import requests  
2. import json  
3.    
4. splashUrl = "我的splash地址:8050/execute"  
5. def get_splash():  
6.     param =   
7.         "timeout": 10,  
8.         "url": https://www.google.com/,  
9.         "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36",  
10.         "lua_source": """  
11.            function main(splash, args)  
12.                splash:go(args.url)  
13.                splash:wait(5)  
14.                splash.images_enabled = false  
15.                return splash:html()  
16.                end  
17.             """  
18.       
19.     response = requests.post(url=splashUrl, data=json.dumps(param),headers="content-type": "application/json")  
20.     print(response.text)

这里是通过requests传参数通过post请求Splash接口，而传递的param参数中不仅有splash的配置，还有lua_source中的Lua脚本。

其中这部分就是刚才浏览器中打开里面的脚本：splash go请求args传入的url连接，等待10秒不获取图片，最后返回请求后的html内容：

1. function main(splash, args)  
2.   splash:go(args.url)  
3.   splash:wait(5)  
4.   splash.images_enabled = false  
5.   return splash:html()  
6. end

其中，在请求execute是的param传参，还可以加上其他的参数，就像里面的timeout就是设置5秒超时，什么get/post请求啦，启动或禁用图片加载啦，禁止或启用js啦都可以加上，详情请自行查询文档哦：

三、Splash+requests的代理配置

哎，Python获取内容怎么能少得了代理呢。

Splash的代理配置非常的简单，在传参的param加上proxy参数就可以了：

1. param =   
2.     "timeout": 10,  
3.     "url": https://api.myip.la/en?json,  
4.     "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36",  
5.     "proxy":getApiIp(),  
6.     "lua_source": """  
7.        function main(splash, args)  
8.            splash:go(args.url)  
9.            splash:wait(5)  
10.            splash.images_enabled = false  
11.            return splash:html()  
12.            end  
13.         """  
14. 

看到这里的IP地址已经挂上了。

说到代理，我这里使用的是ipidea的代理。稳定高效的代理就像是你获取数据道路上的明灯，如黑暗里的一束光。即使再被封禁，被阻拦，也会带你获取到你想要的数据。:)

​​​​​

我以往使用Splash一般是处理前后端分离的网页用的，有时候后台接口获取的json数据并不是我们想要的内容。在写这篇文章之前，我甚至还觉得Splash只能获取get请求，没想到这个东西还是挺好用的。写了文章之后我也学习了不少东西。

最后提一嘴啊，Splash可以多服务器配置负载均衡的，已经有多个Splash的服务器的情况下，在用一台用公网IP的nginx的服务器，修改下nginx的配置文件，配置认证就可以使用了。