使用云功能从云存储中将数据加载到BigQuery中（替代功能？）

Posted 2021-05-01

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了使用云功能从云存储中将数据加载到BigQuery中（替代功能？）相关的知识，希望对你有一定的参考价值。

我目前正在使用云功能将数据从云存储中的csv文件加载到BigQuery。

但是，云功能具有超时限制，我希望这些文件能够在导致问题的地方变得足够大。

此外，插入大查询仅限于10mb/insert_rows。

我还可以使用什么来代替云功能来实现这一目标？需要在文件放入云存储时触发它。

答案

如果要从.CSV插入文件，请使用批量加载作业。要求BigQuery加载文件是次要的工作，BigQuery将继续以异步模式加载它们。

这些负载是免费的，您的云功能无需等待它完成。

每次将新文件放入GCS存储桶时，您都可以设置调用云功能的通知。

以上是关于使用云功能从云存储中将数据加载到BigQuery中（替代功能？）的主要内容，如果未能解决你的问题，请参考以下文章