使用现有数据在Redshift群集上启用加密

Posted 2021-03-28

我一直负责在具有大量现有数据的Redshift集群上启用加密。基于this link，我知道在启用它时，它将创建一个新的集群并复制现有数据，在此期间只读取它。我们有许多针对Redshift集群运行的ETL作业，我正在尝试确定我可以预期迁移需要多长时间。是否有基于数据大小/节点类型/群集配置的任何估计？

答案

是否有基于数据大小/节点类型/群集配置的任何估计？

基本上没有。这需要的时间取决于一些因素，其中一些因素超出了您的控制范围，因此很难预测。

您应该首先对此进行测试，以便了解其含义以及可能需要多长时间，例如：

• 通过还原原始群集的快照来创建新的相同群集
• 按照步骤加密群集并记录所花费的时间
• 理想情况下，使用加密群集测试现有ETL作业
• 删除测试群集

根据我调整群集大小的经验（类似但不完全相同的练习），由于本地AWS资源，网络流量等的可变性，我会在测试时间内留出+/- 10-15％的保证金。

如果可能，我建议终止所有与群集的连接以加快进程。我们发现一个经常轮询我们的集群的进程导致调整大小过程需要更长时间。

对于参考点，具有大约20的节点ds簇。 25 Tb的数据需要大约20个小时才能调整大小。