谷歌大查询:导出表到自己的存储桶导致意外错误

Posted

技术标签:

【中文标题】谷歌大查询:导出表到自己的存储桶导致意外错误【英文标题】:google big query: export table to own bucket results in unexpected error 【发布时间】:2013-01-09 17:40:10 【问题描述】:

我一直在尝试将表格导出到我的谷歌云存储桶。

示例作业 ID:job_0463426872a645bea8157604780d060d

我尝试了很多不同的云存储目标,都显示相同的错误。如果我尝试复制出生报告,它会起作用。

我做错了什么?

谢谢!

丹尼尔

【问题讨论】:

【参考方案1】:

看起来错误说: “表太大,无法导出到单个文件。指定包含 * 的 uri 以进行分片导出。”尝试将目标 URI 切换为 gs://foo/bar/baz*

【讨论】:

这是我尝试的目标位置的变体之一。虽然想出了同样的错误......【参考方案2】:

指定文件扩展名和模式。示例

gs://foo/bar/baz*.gz in case of GZIP (compressed)

gs://foo/bar/baz*.csv in case of csv (uncompressed)

foo 目录是存储桶名称,bar 目录可以是您的 可以即时生成的字符串格式的日期。

【讨论】:

【参考方案3】:

我能够做到:

bq extract --destination_format=NEWLINE_DELIMITED_JSON myproject:mydataset.mypartition gs://mybucket/mydataset/mypartition/*.json

【讨论】:

以上是关于谷歌大查询:导出表到自己的存储桶导致意外错误的主要内容,如果未能解决你的问题,请参考以下文章

谷歌大查询后端错误

将工作从谷歌云存储插入谷歌大查询时路径无效

如何在谷歌大查询中从谷歌云存储上传表格

谷歌大查询限制子句返回太多行

向谷歌大查询插入数据时出现 503 错误

左加入谷歌大查询