数据流 UDF 的更新延迟

Posted 2023-03-24

【中文标题】数据流 UDF 的更新延迟

【英文标题】：Update delay for dataflow UDF

【发布时间】：2020-01-29 15:29:42

【问题描述】：

我有一个从 pub/sub 到 bigquery 的数据流，它使用 javascript UDF 来操作数据。如果我修改云存储中的文件，正在运行的数据流是否会自动更新以开始使用这个新的 UDF，是否存在延迟或者我必须手动触发它？我更改了 UDF，但数据流的行为就像是使用旧的一样运行。

另外，调试这些在数据流上运行的 UDF 的最佳方法是什么？

谢谢！

【参考方案1】：

您是指数据流模板，对吗？

很遗憾，当您更改文件时，UDF 不会刷新。要使用新文件进行更新，您需要执行管道更新，或停止/重新启动管道。

至于调试 UDF，我不确定最好的方法是什么；但是您可以访问the DataflowTemplates repository in Github 中的管道代码，并通过在本地运行或编写它的简化版本来调试管道。