对 Spark Thrift Server 的直线查询未在 Spark History UI 中显示任何内容

Posted 2023-04-18

【中文标题】对 Spark Thrift Server 的直线查询未在 Spark History UI 中显示任何内容

【英文标题】：beeline query to Spark Thrift Server not showing anything in Spark History UI

【发布时间】：2018-01-04 20:01:35

【问题描述】：

我刚刚在端口 10016（默认）上使用 Hive 和 Spark Thrift Server 构建了一个 Hortonworks 集群，并通过直线到 STS 测试了 SELECT 语句

https://spark.apache.org/docs/1.6.0/sql-programming-guide.html#running-the-thrift-jdbcodbc-server

beeline> !connect jdbc:hive2://localhost:10016/default
select * from table1;

我可以得到结果，一切都很好。但我的问题是查询为什么根本不显示在 Spark History Server UI 中？我怎么知道它是否真的是 Spark 做计算工作还是通过 HiveServer2？

更新 1

这是我所拥有的，并且默认情况下已经启用日志：

【参考方案1】：

如果您使用端口 10016 的连接 - 它是 Spark。 请检查属性 spark.eventLog.enabled 是否设置为 true（它必须在 $SPARK_HOME/conf/spark-defaults.conf 中）。

【讨论】：

我在上面添加了我的截图。谢谢。