使用 Ruby 将数据加载到 BigQuery 时如何跳过前导行?
Posted
技术标签:
【中文标题】使用 Ruby 将数据加载到 BigQuery 时如何跳过前导行?【英文标题】:How to skip leading row when loading data into BigQuery with Ruby? 【发布时间】:2018-11-29 19:12:32 【问题描述】:我一直按照 Google 的文档使用以下代码通过 Ruby 将数据加载到 BigQuery
# project_id = "Your Google Cloud project ID"
# dataset_id = "ID of the dataset containing table"
# table_id = "ID of the table to import file data into"
# local_file_path = "Path to local file to import into BigQuery table"
require "google/cloud/bigquery"
bigquery = Google::Cloud::Bigquery.new project: project_id
dataset = bigquery.dataset dataset_id
table = dataset.table table_id
puts "Importing data from file: #local_file_path"
load_job = table.load_job local_file_path
puts "Waiting for load job to complete: #load_job.job_id"
load_job.wait_until_done!
puts "Data imported"
来自:https://cloud.google.com/bigquery/docs/loading-data-local
一切正常,但我的 CSV 文件需要跳过前两行。
我已阅读更多文档以查看 skip_leading_rows 的实例方法,但不知道如何使用它。 https://googleapis.github.io/google-cloud-ruby/docs/google-cloud-bigquery/latest/Google/Cloud/Bigquery/LoadJob.html
对此有一些建议。谢谢!
【问题讨论】:
【参考方案1】:根据documentation,我希望这可以工作:
puts "Importing data from file: #local_file_path"
load_job = table.load_job(local_file_path, skip_leading: 1)
【讨论】:
谢谢!我太愚蠢了,错过了那里的参数!以上是关于使用 Ruby 将数据加载到 BigQuery 时如何跳过前导行?的主要内容,如果未能解决你的问题,请参考以下文章
使用 Python 将 Google Cloud Storage 中的数据加载到 BigQuery 时,如何强制忽略双引号?
将数据从 BigQuery 表加载到 Dataproc 集群时出错