从 DynamoDB 迁移到 Spanner/BigTable

Posted 2023-02-16

【中文标题】从 DynamoDB 迁移到 Spanner/BigTable

【英文标题】：Migration from DynamoDB to Spanner/BigTable

【发布时间】：2020-03-01 17:03:00

【问题描述】：

我有一个用例，我需要将 70 TB 的数据从 DynamoDB 迁移到 BigTable 和 Spanner。具有单个索引的表将转到 BigTable，否则它们将转到 Spanner。

我可以通过将数据导出到 S3 --> GCS --> Spanner/BigTable 轻松处理历史负载。但具有挑战性的部分是处理在 DynamoDB 上同时发生的增量流负载。 DynamoDB 中有 300 个表。

如何以最好的方式处理这件事？以前有人做过吗？

【参考方案1】：

一种方法可以使用 lambdas 捕获 dynamodb 更改，将更改发布到 GCP pub/sub，然后让 Dataflow 流式管道处理传入的 pub/sub 消息，根据表将其写入 Spanner 或 BigTable

基本的 DynamoDB->Spanner 解决方案记录在此：https://cloud.google.com/solutions/migrating-dynamodb-to-cloud-spanner

这可以适应处理不同表的不同目的地。