scrapy splash必须要用docker吗

Posted 2023-03-17

官方文档解释是必须使用容器！之所以用容器技术，好处是你可以一坨的安装好splash，而不必一点一点的去为安装splash填坑，直接一个：

docker pull scrapinghub/splash

命令即可安装好splash，然后再来一个：

docker run -p 8050:8050 -p 5023:5023 scrapinghub/splash

命令即可使用splash！我想你之所以问这个问题，很大一定程度是应为你不熟悉docker！别犹豫，docker绝对值得你学习，随便花上一两天时间马上就能上手docker！docker这里不多说，自己恶补去！这里给你提醒一点是，安装好splash之后，你可能访问不到，很大一定程度是你把ip弄错了，你访问的应该是你虚拟机的ip:8050，所以你首先要用ifconfig得到linux的ip地址，然后再在你本地浏览器输入ip:8050，则可打开如下界面：

这样的话就说明安装成功，至于怎么用，三言两语也说不完，不会可以私，我！

还有一点需要注意：你虚拟机地址可能每次重启都在变，所以你在渲染的时候一定要注意更改middleware里面ip的地址，不然无法渲染，你原因都找不到

参考技术A 可能是的。我也还要继续研究。 参考技术B ：解决方案： 利用第三方中间件来提供JS渲染服务： scrapy-splash 等。 利用webkit或者基于webkit库 Splash是一个javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器，Splash是用Python实现的，同时使用Twisted和QT。