在 BigQuery 中将 API 调用作为 UDF 的一部分 - 可能吗？

Posted 2023-04-14

技术标签:

【中文标题】在 BigQuery 中将 API 调用作为 UDF 的一部分 - 可能吗？【英文标题】：Making API call as part of UDF in BigQuery - possible? 【发布时间】：2016-04-10 13:16:37 【问题描述】：

我想知道是否可以在 BigQuery 中的 UDF 中对 google maps geocoding api 进行 api 调用？

我有谷歌分析地理字段，例如


"geoNetwork_continent": "Europe",
"geoNetwork_subContinent": "Eastern Europe",
"geoNetwork_country": "Russia",
"geoNetwork_region": "Novosibirsk Oblast",
"geoNetwork_metro": "(not set)"
,

并想致电：

https://maps.googleapis.com/maps/api/geocode/json?address=1600+Amphitheatre+Parkway,+Mountain+View,+CA&key=XXXX

只是想知道我是否能够在 UDF 中使用 javascript 对 BigQuery 中的每一行进行 api 调用。

会非常强大，避免我必须在 R 或 Python 中完成。

UDF 的新手非常多，所以只是想问一下我的建议是否可能（想知道 UDF 中的外部 api 调用是否出于某种原因可能是某种安全问题，或者只是技术上不是可能）。

非常感谢任何建议。

【问题讨论】：

【参考方案1】：

不允许从您的 UDF 进行网络调用。这是出于安全考虑，以及查询被（大量）分片以在 BigQuery 中执行的事实。从查询节点建立每条记录的出站网络连接会 DDOS 很多目标；）

【讨论】：

【参考方案2】：

我认为，目前 UDF 中的 API 调用受 BigQuery UDF 限制https://cloud.google.com/bigquery/user-defined-functions#limitations