在哪里可以找到 Spark SQL 语法参考？ [关闭]

Posted 2023-04-17

【中文标题】在哪里可以找到 Spark SQL 语法参考？ [关闭]

【英文标题】：Where to find Spark SQL syntax reference? [closed]

【发布时间】：2015-06-17 09:29:19

【问题描述】：

我们知道spark-sql 的任何语法参考吗？我的意思是像mysql SELECT syntax 或PostgreSQL Documentation: SELECT 这样的风格。

如果不是，我们可以访问的最佳来源是什么？

【问题讨论】：

经过 much 搜索后，我发现了这个问题。我不同意这是题外话，这个问题被标记为 apache-spark 和 apache-spark-sql，我不认为请求帮助以查找这些文档是不合理的。我可以证明这不是一个简单的任务。

我从 databricks 中找到了很好的文档。这是最新版本的 spark-sql 中SELECT 的文档：docs.databricks.com/spark/latest/spark-sql/language-manual/…

这里有一些对我有帮助的非官方文档：people.apache.org/~pwendell/spark-nightly/spark-master-docs/…

这终于在 Spark 3.0 中出现了。您可以在此处查看文档预览：spark.apache.org/docs/3.0.0-preview2/sql-ref-syntax.html

【参考方案1】：

SparkSql 遵循 Hive 风格，因此您可以参考 Hive 语法以获得更好的documentation。

SparkSql 支持和不支持的 Hive 功能可以在官方documentation 中找到。

【讨论】：

spark.apache.org/docs/latest/api/sql/index.html

上面的官方文档链接以及 JasonWayne 的评论未连接到所请求的信息。 spark.apache.org/docs/latest/api/sql/index.html 文档甚至没有列出SELECT。

现在是这样的：spark.apache.org/docs/latest/sql-ref-syntax.html

【参考方案2】：

如果不是，我们可以访问的最佳来源是什么？

我不知道有什么更好的资源可以被认为是“最好的”，除了 Apache Spark 本身的源代码。我可以想象它不像上面提到的源那样用户友好，但是 Apache Spark 是一个高度动态的开源项目，很难跟上所有的变化。

如果您询问所谓的 SQL 模式支持什么，您应该咨询SqlBase.g4，这是 Spark SQL 的 ANTLR 语法。除非 ANTLR 中存在错误，否则除了语法中的内容之外，您什么也做不了。

【讨论】：

Postgres 是一个动态的开源项目，拥有我见过的最好的文档。它是“高度动态的”吗？不确定。