将多行文本插入 Google Big Query

Posted 2023-03-24

【中文标题】将多行文本插入 Google Big Query

【英文标题】：inserting multiline text into Google Big Query

【发布时间】：2019-09-29 14:29:18

【问题描述】：

我有给我的 .txt 文件。该文件有两列：

ID         | DESCRIPTION
========================
STRING     | MULTI_LINE STRING

所以我遇到的问题是这个大文本文件在从记录到记录时包含多行。

例子：

548f8c9d4b78987b76f86018|facebook|I am a complete description.  Please see what I like below:

-Cars
-Trains
-Computers

I also like Star Trek
w6nc1y0afl2jo3zo9z7jvpo|facebook|I am another description.  HI!

如何将多线接入GBQ？ 谢谢。

【参考方案1】：

一种方法是首先将此文件转换为 JSON 格式。

新行可以编码为\n 字符。

然后将load JSON from GCS 或load from local file 放入一个表中。

示例 JSON 文件：

"id":"1","first_name":"John\nsecond line"
"id":"2","first_name":"Jane\nsecond line"

结果表

+-------------+----+
| first_name  | id |
+-------------+----+
| John        |  1 |
| second line |    |
| Jane        |  2 |
| second line |    |
+-------------+----+

【参考方案2】：

这会将文件加载到 BigQuery 中，但前提是您手动将引号 " 添加到多行句子中：

bq load --allow_quoted_newlines -F "|" dataset.table file.tsv "a,b,c"

修改后的文件如下所示：

i|i|i
548f8c9d4b78987b76f86018|facebook|"I am a complete description.  Please see what I like below:

-Cars
-Trains
-Computers

I also like Star Trek"
w6nc1y0afl2jo3zo9z7jvpo|facebook|I am another description.  HI!

BigQuery 会很好地理解这一点：

【讨论】：

你添加它们：/