如何将 Mysql 实时同步到 Bigquery？

Posted 2023-03-25

【中文标题】如何将 Mysql 实时同步到 Bigquery？

【英文标题】：How to Sync Mysql into Bigquery in realtime?

【发布时间】：2016-11-16 10:00:27

【问题描述】：

目前我有一些脚本，它首先删除表并将表从 mysql 上传到 Bigquery。而且很多时候都失败了。此外，它每天只运行一次。我正在寻找一些可扩展的实时解决方案。非常感谢您的帮助:)

【参考方案1】：

阅读 Wepay 的这些系列文章，其中详细介绍了如何使用 Airflow 将 MySQL 数据库同步到 BigQuery：

https://wecode.wepay.com/posts/wepays-data-warehouse-bigquery-airflow https://wecode.wepay.com/posts/airflow-wepay （第三个是关于 BigQuery）

作为总结（引用）：

设置身份验证、连接、DAG。 定义要从 MySQL 中提取哪些列并加载到 BigQuery。 选择如何加载数据：增量或完全。 重复数据删除。