使用 R JDBC 将数据插入到 Impala

Posted 2023-03-22

【中文标题】使用 R JDBC 将数据插入到 Impala

【英文标题】：Inserting data in to Impala with R JDBC

【发布时间】：2016-03-31 19:59:50

【问题描述】：

有谁知道是否可以使用带有 JDBC 的 R（或者不使用 JDBC）将整个表（数据框、矩阵等）插入到 Impala 中？我们可以轻松地从 Impala 中进行选择。

【问题讨论】：

查看 RImpala 包？查看***.com/questions/25430351/… 和***.com/questions/28213022/…

这些链接都没有明确回答我的问题，这就是我问它的原因。甚至 RImpala 文档也没有清楚地说明这一点。想知道它是否真的可行的原因是我已经在尝试不同的东西并且不清楚限制。

也许 pm/attract @Jeff Hammerbacher (@"Jeff Hammerbacher") 关注？他也许能解决你的问题:)

blog.cloudera.com/blog/2013/12/…

【参考方案1】：

#update dqm_results table

dbExecute(impala,"INSERT INTO TABLE VALUES(1, 'test', 523, 'test_value')

【讨论】：

当您使用 1.6M x 55 的表格时，此功能非常慢，您知道另一种将值从 R 插入到 Impala 的方法吗？

@HenryNavarro 您可以尝试将数据框保存为 csv 或 txt 文件，然后使用 LOAD DATA 语句上传文件。您可以参考this了解更多详情。