Spark Sql 与 Spark Dataframe API

Posted 2023-04-18

【中文标题】Spark Sql 与 Spark Dataframe API

【英文标题】：Spark Sql vs Spark Data frame API

【发布时间】：2021-08-29 13:01:23

【问题描述】：

谁能解释何时使用 Spark SQL（普通 sql 查询）和 Spark Data Frame 方法。我看到我们可以使用 spark sql 完成所有操作。 哪个性能更好

【问题讨论】：

请编辑问题以将其限制为具有足够详细信息的特定问题，以确定适当的答案。

【参考方案1】：

它们的性能相同。

使用数据框 API 可确保类型安全，并可通过 SQL 引擎/查询构建器进一步优化

【参考方案2】：

从使用的角度来看，在 Spark SQL 中运行之前很难捕获语法错误，而使用 Dataframe API 我们可以在编译时捕获这些错误。