如何将 52.4 MB 的 XLSX 电子表格加载到 BigQuery 中？

Posted 2023-03-24

【中文标题】如何将 52.4 MB 的 XLSX 电子表格加载到 BigQuery 中？

【英文标题】：How can I load an XLSX spreadsheet with 52,4 MB into BigQuery?

【发布时间】：2019-05-27 18:03:03

【问题描述】：

我正在尝试分析网店中的数百万个搜索查询并将其汇总到 Google Data Studio 中。不幸的是，由于错误，我的 Google Cloud Storage 中的 XLSX：

读取数据时出错，错误信息：CSV 表遇到太多错误，放弃。行数：1；错误： 1. 请查看 errors[] 集合了解更多详情。

读取数据时出错，错误消息：解析从位置 0 开始的行时检测到错误。错误：遇到错误字符 (ASCII 0)。

我将一个 XLSX 文件从我的计算机上传到我的 Google Cloud Storage，并尝试使用 Google BigQuery 从它创建一个表，在导入它时，我收到了这些错误消息。

我想将 BigQuery 用作我的 Google Data Studio 的数据源并聚合 XLSX 文件中的搜索字符串，以便我可以看到哪些查询经常出现但没有任何结果，以及哪些搜索字符串最常被搜索.

非常感谢您帮助我修复错误并找到一种无需长时间加载即可聚合数据的有效方法。

【问题讨论】：

您不能像加载 CSV 一样加载 Excel 文件——它们是不同的格式。看看***.com/a/46799866/6253347 中的建议是否有帮助。

【参考方案1】：

supported data formats 不包括 XLSX。

实现此目的的一个好方法是将 XLSX 转换为 CSV，然后将其加载到 BigQuery。

Here 你有一个如何使用 Python 和 pandas 转换文件的示例。转换完成后，您可以将其上传到 Google Cloud Storage，然后将其加载到 BigQuery。

或者，您可以在不使用 Google Cloud Storage 的情况下上传 directly from your computer。

【讨论】：

非常感谢！最终我可以将其更改为 CSV 格式，将所有字段放在 STRING NULLABLE 上并允许所有错误。这帮助我将它融入 Google Data Studio。 :-)