将数据从 Google 永久磁盘加载到 BigQuery?

Posted

技术标签:

【中文标题】将数据从 Google 永久磁盘加载到 BigQuery?【英文标题】:Loading data from a Google Persistent Disk into BigQuery? 【发布时间】:2016-06-11 07:04:55 【问题描述】:

将数据加载到当前位于 Google 永久磁盘中的 BigQuery 的推荐方法是什么?是否有针对此特定用例的特殊工具或最佳实践?

【问题讨论】:

【参考方案1】:

复制到 GCS(谷歌云存储),将 BigQuery 指向从 GCS 加载。

永久性磁盘和 BigQuery 之间目前没有直接连接。您可以使用 bq CLI 将数据直接发送到 BigQuery,但如果您需要重试,一切都会变慢。

【讨论】:

以上是关于将数据从 Google 永久磁盘加载到 BigQuery?的主要内容,如果未能解决你的问题,请参考以下文章

在 Google Cloud Platform 中将永久性磁盘挂载到 /home

将文件从 Google Drive 加载到 Bigquery

使用 spark 将 parquet 数据从 Google 云存储加载到 BigQuery

请教horizon7 永久磁盘备份恢复方案

有没有办法在仅附加模式下使用 Google Apps 脚本将数据从 BigQuery 加载到 Google 表格?

将 CSV 文件从 Google Drive 加载到 BigQuery