对 Google 数据存储的增量备份

Posted

技术标签:

【中文标题】对 Google 数据存储的增量备份【英文标题】:Incremental backups to Google Datastore 【发布时间】:2016-01-11 13:31:43 【问题描述】:

我正在尝试对数据存储区中的数据运行 Google BigQuery。 我已经设法创建了一个备份,将其加载到 BigQuery 并对其进行查询,但是数据存储区会创建其整个数据的备份 - 所以除非我想删除所有旧数据并重新加载它(我不想),否则这是不是一个选项。

我正在寻找一种方法来备份我的一些实体并在 BigQuery 服务上构建增量数据库。

【问题讨论】:

您可以在 Datastore Admin 中选择要备份的实体类型 - 而不是全部:cloud.google.com/appengine/docs/python/console/datastoreadmin。如果您的意思是要导出相同类型的选定实体,则需要执行查询并将它们手动写入 GCS。 你说得对,但这不是我要找的。我正在寻找一种方法来备份一些数据(例如,上周或自上次备份以来的所有新数据)而不是全部(这是控制台现在提供的) 【参考方案1】:

因此,目前显然这不是一个选项 - 您可以使用 cron 作业或开源解决方案自动执行备份过程,但备份仍然适用于整个数据。

您可以关注this issue 以获取有关该问题的更新或尝试this issue 中建议的解决方法(不幸的是,它不适合我的项目)

【讨论】:

以上是关于对 Google 数据存储的增量备份的主要内容,如果未能解决你的问题,请参考以下文章

数据库备份

MySQL之XtraBackup实现完全备份增量备份数据还原

mysql逻辑备份(mysql dump的使用)

存储快照-COW和ROW

mysql备份

初识MariaDB之4——Xtrabackup备份与还原