通过 C# 的 Apache Spark 查询 [关闭]

Posted 2023-04-13

【中文标题】通过 C# 的 Apache Spark 查询 [关闭]

【英文标题】：Apache spark queries through C# [closed]

【发布时间】：2015-04-28 21:37:10

【问题描述】：

我想知道是否有一种方法可以使用 C# 编写查询以在 Apache spark 上运行。我知道 spark SQL 查询可以用 java/scala/python 编写。 c#有接口吗？

【问题讨论】：

在线搜索有什么好处？

考虑使用github.com/spark-jobserver/spark-jobserver - 并在 c# 中为数据结构序列化 json 创建一个 rest 接口。我建议使用这种方法，因为作业服务器提供了上下文，允许您返回并重新使用以前的数据帧。

github.com/dotnet/spark 会这样做。

【参考方案1】：

您到底想达到什么目的？如果你想编写使用 spark api 的程序，可能你不走运，因为只有 scala、java 和 python api 被公开。但是，如果您想查询 spark 存储数据，那么您可以看到 thriftserver 带有 spark 并通过它传递您的查询。本质上它应该支持任何 jdbc 连接（参见文档中的直线示例）

【讨论】：

这可以与 Cassandra 一起使用吗？有没有办法通过 thriftserver 传递 Spark SQL 查询以获取数据而无需使用 Spark Jobs？