在 python 中使用谷歌数据流从 Bigquery 到 Bigtable 数据传输

Posted 2023-03-31

【中文标题】在 python 中使用谷歌数据流从 Bigquery 到 Bigtable 数据传输

【英文标题】：Bigquery to Bigtable data transfer using google dataflow in python

【发布时间】：2018-09-21 01:50:31

【问题描述】：

我们使用 JAVA 编写的数据流管道将数据从 bigquery 传输到 bigtable。 例如https://github.com/GoogleCloudPlatform/cloud-bigtable-examples/blob/master/java/dataflow-connector-examples/src/main/java/com/google/cloud/bigtable/dataflow/example/BigQueryBigtableTransfer.java

我正在尝试在 python 中编写相同的代码。但我无法获得 python 的 bigtable 数据流连接器。任何线索如何做到这一点？

【问题讨论】：

Python SDK 尚不支持 Bigtable。 beam.apache.org/documentation/io/built-in

@GrahamPolley 谢谢。你知道谷歌人打算什么时候推出它吗？

正在积极更改 Cloud Bigtable 客户端以支持 Beam。现在，我们将看看我们是否应该创建一个示例来说明如何在 Bigtable 方面进行操作。

有 BigTable Python/batch 连接器可用，仅用于写入。 github.com/apache/beam/blob/master/sdks/python/apache_beam/io/…

【参考方案1】：

正如 Graham Polley 所说："The Python SDK doesn't have support for Bigtable yet."。我看到 Bigtable 的工程师已经参与其中，但如果您愿意，也可以在 Public Issue Tracker 中创建功能请求。

【讨论】：

由于还没有连接器，您可以在自己的DoFn中调用客户端库[cloud.google.com/bigtable/docs/samples-python-hello]