Bigtable IO 连接器是不是有 Apache Beam DynamicDestinations？
Posted
技术标签:
【中文标题】Bigtable IO 连接器是不是有 Apache Beam DynamicDestinations？【英文标题】：Is there an Apache Beam DynamicDestinations for Bigtable IO connector?Bigtable IO 连接器是否有 Apache Beam DynamicDestinations？ 【发布时间】：2019-10-07 09:05:25 【问题描述】：Apache Beam 有一个 DynamicDestinations!对于 BigQueryIO。
BigtableIO 是否有任何相同的实现或解决方法？
events.apply(BigTableIO.<UserEvent>write()
.to(new DynamicDestinations<UserEvent, String>()
...
...
【问题讨论】：
【参考方案1】：我会说不，因为 BigQuery 和 BigTable 中的加载模式不同。
确实，使用 BigQuery，您可以导入大块数据，按文件分组，然后将它们加载到不同的表中。动态目的地正是这样做的：数据被路由到正确的块中，然后加载到 BigQuery 中。
但是，对于 BigTable，这种负载是不存在的。因此不能应用相同的逻辑。
作为解决方法，您可以根据您的数据值将自己写入 BigTable 或写入文件并有另一个数据流到load data from Storage to BigTable (Dataflow template exists for this)
【讨论】：
以上是关于Bigtable IO 连接器是不是有 Apache Beam DynamicDestinations？的主要内容，如果未能解决你的问题，请参考以下文章