在 Redshift 中获取超过 100,000 条记录 [关闭]
Posted
技术标签:
【中文标题】在 Redshift 中获取超过 100,000 条记录 [关闭]【英文标题】:Fetch more than 100,000 records in Redshift [closed] 【发布时间】:2021-10-30 13:22:19 【问题描述】:我需要从 Redshift 获取超过 400,000 条记录并将其导出到 Excel。但在 Redshift 中,最大限制为 100,000。所以我无法在 Excel 中一次性获取记录。
请帮帮我,我该怎么做。
注意:- 我正在使用 Aginity Workbench for Redshift 来查询数据。
提前致谢。
【问题讨论】:
【参考方案1】:这听起来像是您的 SQL 工具的限制。
相反,您可以使用 Redshift UNLOAD - Amazon Redshift 命令运行查询并将结果保存到 Amazon S3。然后,您可以从 S3 下载结果。
这可能会导致多个文件。如果您只想要一个文件,请使用选项PARALLEL OFF
。
【讨论】:
以上是关于在 Redshift 中获取超过 100,000 条记录 [关闭]的主要内容,如果未能解决你的问题,请参考以下文章
如何有效地将大文件加载到 IndexedDB 存储中?我的应用程序在超过 100,000 行时崩溃
对包含超过 100,000,000 条记录的文本文件进行排序
RabbitMQ / ActiveMQ 或 Redis 超过 250,000 msg/s