在云服务器中运行 python 脚本的最简单方法是啥？

Posted 2023-02-26

【中文标题】在云服务器中运行 python 脚本的最简单方法是啥？

【英文标题】：What is the easiest way to run python scripts in a cloud server?在云服务器中运行 python 脚本的最简单方法是什么？

【发布时间】：2015-01-10 04:26:46

【问题描述】：

我有一个网络爬虫 python 脚本需要几个小时才能完成，并且无法在我的本地计算机上完整运行。有没有一种方便的方法可以将它部署到一个简单的 Web 服务器？该脚本基本上将网页下载到文本文件中。这将如何最好地完成？ 谢谢！

【问题讨论】：

可能你要的是this。

【参考方案1】：

既然你说性能是一个问题并且你正在做网络抓取，首先要尝试的是Scrapy 框架——它是一个非常快速且易于使用的网络抓取框架。 scrapyd 工具将允许您分配爬取 - 您可以在不同的服务器上运行多个 scrapyd 服务并在每个服务器之间分配负载。见：

Distributed crawls Running Scrapy on Amazon EC2

还有一个Scrapy Cloud 服务：

Scrapy Cloud 为高效的 Scrapy 开发搭建桥梁 具有强大、功能齐全的生产环境的环境 部署并运行您的爬网。它就像 Scrapy 的 Heroku，虽然 其他技术将在不久的将来得到支持。它运行在 Scrapinghub 平台的顶部，这意味着您的项目可以扩展 需求，根据需要。

【参考方案2】：

您可以在多个地方执行此操作。只需 google 一下“python in the cloud”，你就会想出一些，例如 https://www.pythonanywhere.com/。

此外，还有一些云 IDE 基本上免费为您提供一个小型 VM，您可以在其中在基于 Web 的 IDE 中开发代码并在 VM 中运行，例如http://www.c9.io。

【讨论】：

PythonAnywhere dev here -- 感谢您的提及！ :-) 我还要补充一点，我们有很多客户使用我们的 Scrapy。这种保持脚本运行的方式非常流行：pythonanywhere.com/wiki/LongRunningTasks

【参考方案3】：

作为已经给出的解决方案的替代方案，我建议Heroku。您不仅可以轻松部署网站，还可以为机器人运行脚本。

基本帐户是免费的，而且非常灵活。

This blog entry、this one 和 this video 包含如何使其工作的实际示例。

【参考方案4】：

如果您有 google 电子邮件帐户，则可以访问 google 驱动器和实用程序。选择 colaboratory（或先在更多...选项中找到它）。这个“CoLab”本质上是你在谷歌驱动器上的 python 笔记本，可以完全访问你驱动器上的文件，也可以访问你的 GitHub。因此，除了本地内容之外，您还可以编辑 GitHub 脚本。

【参考方案5】：

在 2021 年，Replit.com 让在云中编写和运行 Python 变得非常容易。

【讨论】：

我无法让我的环境在此工作：-/ 继续！