文件的其余部分未处理

Posted 2023-03-24

【中文标题】文件的其余部分未处理

【英文标题】：Rest of the file not processed

【发布时间】：2012-07-05 10:36:38

【问题描述】：

状态显示为成功，但文件实际上并未传输到 big-query。

# bq show -j abc

  Job Type    State      Start Time      Duration   Bytes Processed  
 ---------- --------- ----------------- ---------- ----------------- 
  load       SUCCESS   05 Jul 15:32:45   0:26:24                     

从网页界面，我可以看到实际的错误。

Line:9732968, Too few columns: expected 27 column(s) but got 9 column(s)
Line:10893908 / Field:1, Bad character (ASCII 0) encountered. Rest of file not processed.

1) 我如何知道需要删除哪个坏字符？

2) 为什么“成功”会显示为作业状态？

更新：

职位编号：summary_2012_07_09_to_2012_07_10a2

我在命令提示符下遇到的错误： 加载操作中的 BigQuery 错误：后端错误

很多行根本没有处理。网页界面详情：

行：9857286 / 字段：1，遇到错误字符（ASCII 0）：字段开头：

行：9857287 / 字段：1，遇到错误字符 (ASCII 0)。其余文件未处理。

---

第二次尝试成功处理的所有行：

job_id：summary_2012_07_09_to_2012_07_10a3

更新 2：

行：174952407 / 字段：1，遇到错误字符 (ASCII 0)。其余文件未处理。

职位编号：job_19890847cbc3410495c3cecaf79b31fb

【问题讨论】：

能否发送成功返回但实际未添加数据的作业的作业id？

【参考方案1】：

很抱歉响应缓慢，假期周末意味着 bigquery 团队的大多数人都没有回答支持问题。 “坏字符”看起来可能是一些 gzip 压缩文件的已知错误，我们在文件末尾错误地检测到 ascii 0 值。

如果作业实际上失败但报告成功，这听起来像是一个问题，但我们需要失败作业的作业 ID 才能进行调试。另外，如果您可以重现它，那将很有帮助，因为我们可能不再有原始作业的日志了。

【讨论】：

文件末尾失败，所以我猜这个错误可以忽略。