需要通过 Spark 加载 Hana 表，没有 Spark Vora 集成

Posted 2023-04-17

【中文标题】需要通过 Spark 加载 Hana 表，没有 Spark Vora 集成

【英文标题】：Need to load Hana table through Spark, with no Spark Vora integration as such

【发布时间】：2016-06-13 22:31:18

【问题描述】：

我有一个要求，我必须将数据从 Hadoop 加载到 SAP Hana。我已经使用了 mysql、DB2 和其他一些带有 Spark 的 RDBMS，并使用 1.5.0 版及更高版本的 HSBC Spark Data frame API 以及 Cassandra 和 Hive 但不是 Hana 加载。是否可以在不从 Hana 进行任何修改的情况下这样做侧面不能以任何方式触摸 Hana 安装。

【参考方案1】：

如果您更喜欢留在 Hadoop 方面，您可以使用 Sqoop。

带有 Hive 适配器的 SAP BusinessObjects 数据服务也可以正常工作。

【讨论】：

我们已经有了一种基于文件的方法，我们从 hive 中提取数据并将其复制到 Hana 服务器，然后使用 HDBSQL 命令将其加载到那里。这种方法非常冗长，而且通常效率不高。 Sqoop 对我没有帮助，您能否发布有关 SAP Business Objects Data 服务的更多见解。有一个限制，我们没有太多的权限来玩 Hana 安装，所以我们必须使用外部的东西来加载它。

我不确定你在评论的前半部分在说什么。 Sqoop 绝对能够直接读取 Hive 数据，而无需事先将其提取到文件中（实际上，Hive 本身只是一个接口，从 app/hive/warehouse 或类似的地方读取组织好的文件）。然后 Sqoop 使用 JDBC 将数据直接写入 HANA 表。 SAP 数据服务路径类似：数据服务使用其 Hive 适配器从 Hive 读取数据，然后使用 JDBC 写入 HANA。性能几乎相同，这些选项都不需要更改 HANA。

这个方法涉及到很多业务限制，简而言之，我的要求是我需要使用 Spark 来处理数据并加载到 Hana。处理后将数据加载到 Hana 的最后一步是这里的主要问题，也是我面临的主要问题。