Bigquery 的自定义连接器 - Data Studio 用于缓存数据

Posted 2023-03-24

【中文标题】Bigquery 的自定义连接器 - Data Studio 用于缓存数据

【英文标题】：Custom connector for Bigquery - Data Studio to cache data

【发布时间】：2019-11-26 11:41:07

【问题描述】：

我希望 Google 领域的人可以提供帮助。我有一个相当大的查询，我正在 Data Studio 中绘制，但由于 BQ 的设置方式，在 DS 中每次加载/过滤数据时，底层查询运行 x 次，其中 x = nr of plots on DS 页面。

因此，我正在研究编写自定义连接器以在 BQ 和 DS 之间创建缓存数据层的选项，并且希望/想知道是否有人之前做过类似的事情，所以我不会重新发明***。这个想法来自 BQ 大师 Felipe Hoffa，特别是在 2018 年 Google Next 会议上的演讲https://towardsdatascience.com/data-studio-with-bigquery-2018s-best-practices-d2824620cb35

---

更新：根据@Felipe 的问题截取 BI 引擎错误消息

【参考方案1】：

自从 Felipe 和我在 Next '18 上展示了这个，BigQuery BI 引擎就被引入了。因此，您可以采用以下两种方法之一：

为您的 Data Studio 仪表板使用 BigQuery BI engine。这将是一种无需干预的方法，多个查询不会产生额外费用。

使用带有自定义缓存层的自定义连接器。我在Implementing custom cache for your connector with Firebase Realtime Database 上的指南解释了如何实现这一点。我们在 Next '18 中谈到的 Chrome UX Connector 使用了这种方法。这是此连接器的the code。

【讨论】：

您好 Minhaz，感谢您分享代码，我找不到它。 BI Engine 需要处理的数据太多，这就是我寻找其他选项的原因。我将尝试自定义连接器。

@APlatypus，为什么 BI Engine 的数据太多？请添加更多细节

嗨 Felipe，我不知道为什么，这是我收到的错误消息。我将尝试在原始问题中添加屏幕截图。据我了解，BI 引擎应该自动工作，但对于我的数据源（~400GB）它似乎不起作用。 （另外：我现在和你和 Minhaz 聊天时非常震惊：D）