将数据从 Google 表格流式传输到 BigQuery 以在 Tableau 中进行可视化

Posted 2023-03-24

【中文标题】将数据从 Google 表格流式传输到 BigQuery 以在 Tableau 中进行可视化

【英文标题】：Stream data from Google Sheets to BigQuery to visualise in Tableau

【发布时间】：2014-06-03 17:23:15

【问题描述】：

我正在尝试创建从 Google 表格到 BigQuery 的定时自动数据上传，以便我可以在 Tableau 中可视化数据。数据来源于 import.io。

基于on，我已经能够使用 Google Apps 脚本从 Google 表格文件创建 .csv，并将 .csv 文件一次性上传到 BigQuery。但是，这不能用作重复的解决方案，因为 BigQuery 加载脚本需要 .csv 文件的静态 URL（并且每个 .csv 下载文件都有一个唯一的 URL）。

我相信来自 Google 表格或直接来自但研究过 Google BigQuery Analytics 的流式数据还不能解决这个问题。

将数据从 Google 表格流式传输到 BigQuery 需要哪些步骤？

【问题讨论】：

您愿意使用 Python 将 import.io 连接到 BQ 吗？

我正在使用 import.io 的集成脚本将 BQ 连接到谷歌电子表格和谷歌电子表格到 import.io，我将其复制到谷歌表格。我只是在使用 Python 迈出第一步（使用 Mac 终端）。如果使用 Python 是一种更好的方法，如果您可以提供一些链接，那就太好了。害怕我是一个试图学习一些开发人员技能的老化分析师。对不起，如果这是基本的，我非常感谢您的回复。

对于 import.io 端，Python 客户端集成示例可以在这里找到：import.io/data/integrate/#python

【参考方案1】：

在您链接到的示例中，csv 的 URL 不需要是静态的。该示例是插入到 bigquery 中，直接传递 octect/stream 数据，因此您所需要的只是对 csv 文件的引用。

我不知道您将电子表格导出到 csv 时遵循的程序，但您可以查看本教程 https://developers.google.com/apps-script/articles/docslist_tutorial#section2

您将在那里找到如何将您的 csv 数据导出为一个新文件，然后您可以使用该文件从您的 csv 导入（使用 DriveApp 文件夹对象，您可以获得对 csv 文件的引用）。