在 Zeppelin 中保存 AWS Athena 查询的结果

Posted 2023-03-23

技术标签:

【中文标题】在 Zeppelin 中保存 AWS Athena 查询的结果【英文标题】：Save results from AWS Athena query in Zeppelin 【发布时间】：2018-12-17 13:15:45 【问题描述】：

我可以通过我的 Zeppelin 笔记本在 Athena 上成功执行查询，但是我不明白如何保存结果集。

以下代码显示一个表格

%athena
select * from table_name limit 5;

我的目标是将结果保存到 pandas 数据框中，以便将来进行转换。

我可以将其保存为 CSV 并手动导入，但这似乎效率不高。

我正在使用 Zeppelin 0.8.0 和 AthenaJDBC42-2.0.2.jar

【问题讨论】：

【参考方案1】：

我发现使用 athena 进行实验和使用 spark 执行的最佳方式。所以基本上：

%spark.pyspark
df = pd.read_sql("select * from table_name limit 5", conn)

【讨论】：

以上是关于在 Zeppelin 中保存 AWS Athena 查询的结果的主要内容，如果未能解决你的问题，请参考以下文章