将数据从 firebase 加载到 amazon redshift

Posted 2023-03-30

【中文标题】将数据从 firebase 加载到 amazon redshift

【英文标题】：Load data from firebase to amazon redshift

【发布时间】：2015-11-24 11:14:55

【问题描述】：

我在 firebase 中有大约 500MB 的数据，我想每天将其移至亚马逊 redshift。解决上述问题的最佳方法是什么。

提前致谢。

【问题讨论】：

我们缺少您的代码和您得到的错误。请阅读如何询问 ***.com/help/how-to-ask 以及如何创建最小、完整和可验证的示例 ***.com/help/mcve

【参考方案1】：

什么是“最佳方式”取决于您的标准，而且通常非常主观。但是一些提示可能会帮助您入门：

不要

使用单个 ref.once('value' 下载整个数据。加载这么多数据需要时间，并且在您完成读取时，您的所有常规用户都将被阻止。

做

考虑使用Firebase's private backups。这些来自不同的数据流，因此不会干扰您的普通用户。但缺点是您需要paid app 才能使用此功能。

做

考虑如何使备份过程流式传输，而不是每天进行。 Firebase 是一个实时数据库，通常在您认为数据流也是实时的时效果最佳。