谷歌大查询:导出表到自己的存储桶导致意外错误
Posted
技术标签:
【中文标题】谷歌大查询:导出表到自己的存储桶导致意外错误【英文标题】:google big query: export table to own bucket results in unexpected error 【发布时间】:2013-01-09 17:40:10 【问题描述】:我一直在尝试将表格导出到我的谷歌云存储桶。
示例作业 ID:job_0463426872a645bea8157604780d060d
我尝试了很多不同的云存储目标,都显示相同的错误。如果我尝试复制出生报告,它会起作用。
我做错了什么?
谢谢!
丹尼尔
【问题讨论】:
【参考方案1】:看起来错误说:
“表太大,无法导出到单个文件。指定包含 * 的 uri 以进行分片导出。”尝试将目标 URI 切换为 gs://foo/bar/baz*
【讨论】:
这是我尝试的目标位置的变体之一。虽然想出了同样的错误......【参考方案2】:指定文件扩展名和模式。示例
gs://foo/bar/baz*.gz in case of GZIP (compressed)
gs://foo/bar/baz*.csv in case of csv (uncompressed)
foo 目录是存储桶名称,bar 目录可以是您的 可以即时生成的字符串格式的日期。
【讨论】:
【参考方案3】:我能够做到:
bq extract --destination_format=NEWLINE_DELIMITED_JSON myproject:mydataset.mypartition gs://mybucket/mydataset/mypartition/*.json
【讨论】:
以上是关于谷歌大查询:导出表到自己的存储桶导致意外错误的主要内容,如果未能解决你的问题,请参考以下文章