使用 Ruby 将数据加载到 BigQuery 时如何跳过前导行?

Posted

技术标签:

【中文标题】使用 Ruby 将数据加载到 BigQuery 时如何跳过前导行?【英文标题】:How to skip leading row when loading data into BigQuery with Ruby? 【发布时间】:2018-11-29 19:12:32 【问题描述】:

我一直按照 Google 的文档使用以下代码通过 Ruby 将数据加载到 BigQuery

# project_id      = "Your Google Cloud project ID"
# dataset_id      = "ID of the dataset containing table"
# table_id        = "ID of the table to import file data into"
# local_file_path = "Path to local file to import into BigQuery table"

require "google/cloud/bigquery"

bigquery = Google::Cloud::Bigquery.new project: project_id
dataset  = bigquery.dataset dataset_id
table    = dataset.table table_id

puts "Importing data from file: #local_file_path"
load_job = table.load_job local_file_path

puts "Waiting for load job to complete: #load_job.job_id"
load_job.wait_until_done!

puts "Data imported"

来自:https://cloud.google.com/bigquery/docs/loading-data-local

一切正常,但我的 CSV 文件需要跳过前两行。

我已阅读更多文档以查看 skip_leading_rows 的实例方法,但不知道如何使用它。 https://googleapis.github.io/google-cloud-ruby/docs/google-cloud-bigquery/latest/Google/Cloud/Bigquery/LoadJob.html

对此有一些建议。谢谢!

【问题讨论】:

【参考方案1】:

根据documentation,我希望这可以工作:

puts "Importing data from file: #local_file_path"
load_job = table.load_job(local_file_path, skip_leading: 1)

【讨论】:

谢谢!我太愚蠢了,错过了那里的参数!

以上是关于使用 Ruby 将数据加载到 BigQuery 时如何跳过前导行?的主要内容,如果未能解决你的问题,请参考以下文章

使用 Python 将 Google Cloud Storage 中的数据加载到 BigQuery 时,如何强制忽略双引号?

使用 UI 将 JSON 加载到 Bigquery 时出错

将数据从 BigQuery 表加载到 Dataproc 集群时出错

将 csv 文件加载到 BIGquery 中并在插入数据时添加日期列

将数据从存储加载到 bigquery 时解析数据类型时出错

将 CSV 从 GCS 批量加载到 BigQuery 时,表数据是增量查看还是仅在所有文件加载后才可查看?