在命令行中输入啥以在散景服务应用程序中运行 spark？我是不是只需用 && 分隔两个命令行条目？

Posted 2023-04-15

【中文标题】在命令行中输入啥以在散景服务应用程序中运行 spark？我是不是只需用 && 分隔两个命令行条目？

【英文标题】：What does one enter on the command line to run spark in a bokeh serve app? Do I simply separate the two command line entries by &&?在命令行中输入什么以在散景服务应用程序中运行 spark？我是否只需用 && 分隔两个命令行条目？

【发布时间】：2018-11-27 00:53:09

【问题描述】：

我的努力没有奏效： /usr/local/spark/spark-2.3.2-bin-hadoop2.7/bin/spark-submit --driver-memory 6g --packages org.apache.spark:spark-streaming-kafka-0-8_2.11 :2.3.2 runspark.py && bokeh serve --show bokeh_app

runspark.py 包含 spark 的实例化，bokeh_app 是 bokeh server app 的文件夹。 spark 用于更新流式 dask 数据帧。

会发生什么： spark 实例开始运行，在没有散景服务器的情况下正常加载。但是，一旦散景服务器应用程序启动（即）网页打开，spark 实例就会关闭。它不会在控制台输出中发回任何错误。 下面的输出：

2018-11-26 21:04:05 INFO ContextHandler:781 - 开始 o.s.j.s.ServletContextHandler@4f0492c9/static/sql,null,AVAILABLE,@Spark 2018-11-26 21:04:06 INFO StateStoreCoordinatorRef:54 - 注册 StateStoreCoordinator 端点 2018-11-26 21:04:06 INFO SparkContext:54 - 从关机挂钩调用 stop() 2018-11-26 21:04:06 INFO AbstractConnector:318 - 停止 Spark@4f3c4272HTTP/1.1,[http/1.1]0.0.0.0:4041 2018-11-26 21:04:06 INFO SparkUI:54 - 在http://192.168.1.25:4041 停止 Spark Web UI 2018-11-26 21:04:06 信息 MapOutputTrackerMasterEndpoint:54 - MapOutputTrackerMasterEndpoint 停止！ 2018-11-26 21:04:06 INFO MemoryStore:54 - MemoryStore 已清除 2018-11-26 21:04:06 信息 BlockManager:54 - BlockManager 停止 2018-11-26 21:04:06 信息 BlockManagerMaster:54 - BlockManagerMaster 停止 2018-11-26 21:04:07 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint:54 - OutputCommitCoordinator 停止！ 2018-11-26 21:04:07 INFO SparkContext:54 - 成功停止 SparkContext 2018-11-26 21:04:07 信息 ShutdownHookManager:54 - 称为关闭挂钩 2018-11-26 21:04:07 INFO ShutdownHookManager:54 - 删除目录 /tmp/spark-c42ce0b3-d49e-48ce-962c-277b42166267 2018-11-26 21:04:07 INFO ShutdownHookManager:54 - 删除目录 /tmp/spark-bd448b2e-6b0f-467a-9e43-689542c42a6f 2018-11-26 21:04:07 信息 ShutdownHookManager:54 - 删除目录 /tmp/spark-bd448b2e-6b0f-467a-9e43-689542c42a6f/pyspark-117d2a10-7cb9-4eb3-b4d0-f92f9046522c 2018-11-26 21:04:08,542 启动 Bokeh 服务器版本 0.13.0（在 Tornado 5.1.1 上运行） 2018-11-26 21:04:08,547 Bokeh 应用程序运行于：http://localhost:5006/aion_analytics 2018-11-26 21:04:08,547 使用进程 ID 启动 Bokeh 服务器：10769

【问题讨论】：

“不起作用”到底是什么意思？您需要提供更多详细信息、屏幕截图等，以便其他人能够提供帮助。

【参考方案1】：

好的，我找到了答案。这个想法只是将散景服务器嵌入到 pyspark 代码中，而不是从命令行运行散景服务器。正常使用 pyspark submit 命令。

https://github.com/bokeh/bokeh/blob/1.0.1/examples/howto/server_embed/standalone_embed.py

我完全按照上面链接中的内容做了。