使用 Spark-Submit 运行烧瓶应用程序

Posted 2023-04-15

技术标签:

【中文标题】使用 Spark-Submit 运行烧瓶应用程序【英文标题】：Run flask App using Spark-Submit 【发布时间】：2018-07-16 06:05:39 【问题描述】：

我正在使用需要一些 Spark 上下文的 Flask 构建 API。这是使用 Spark-Submit for Long run 而不是 python 命令运行 Flask 应用程序的好方法吗？？

【问题讨论】：

你可以使用celery 你能给我任何集成flask Spark和Celery的git链接吗？ 【参考方案1】：

您可以使用Celery : Link to docs

这是在 web 应用程序中调用 Spark 上的异步作业的示例帖子。检查Spark+Celery blog

【讨论】：

【参考方案2】：

您可以在代码中使用python 命令和findspark 运行它。

app.py:

# some imports

import findspark
findspark.init()

# spark imports and routes

【讨论】：

以上是关于使用 Spark-Submit 运行烧瓶应用程序的主要内容，如果未能解决你的问题，请参考以下文章