在 Databricks 中哪里可以找到火花日志
Posted
技术标签:
【中文标题】在 Databricks 中哪里可以找到火花日志【英文标题】：Where to find spark logs in Databricks 【发布时间】：2021-10-27 09:51:41 【问题描述】：我正在尝试从 Databricks 获取火花日志并检查发送到 SNowflake 的连接字符串。在什么路径可以找到spark log？
我已经启用了这个跟踪选项，但我是否需要为 spark 启用一些额外的日志记录：
sfOptions =
"sfURL" : "test.eu-central-1.snowflakecomputing.com",
"sfUser" : "user",
"sfPassword" : **********
"sfDatabase" : "db",
"sfSchema" : "sch",
"sfWarehouse" : "wh",
"tracing" : "all",
谢谢
【问题讨论】：
【参考方案1】：这实际上取决于信息将记录在哪里 - 仅记录在驱动程序上，或者也记录在执行程序上。如果您navigate to Cluster UI、you'll see two options“驱动程序日志”和“Spark UI”。第一个will give you access to all driver logs for given cluster，您可以通过第二个项目访问执行程序和驱动程序日志 - 它只是一个标准的 Spark UI 选项。
您也可以configure delivery of the logs to DBFS，在这种情况下，您可以将它们从指定位置下载到本地机器进行更多调查（例如，通过databricks-cli）
【讨论】：
以上是关于在 Databricks 中哪里可以找到火花日志的主要内容，如果未能解决你的问题，请参考以下文章
火花作业中的 Azure databricks 群集错误：ExecutorLostFailure